バツ１バツ２、離婚歴を持ちながらの恋愛は不利？

離婚歴があると、なかなか次の恋愛をしたくてもなんか後ろめたい気分になって積極的になれにくいもの。
「別に離婚なんて、悪いことしたわけでもないのに。」
周りはそういうけど、本人はすっごく気にしているものです。
では、実際のところ離婚歴があると恋愛や、再婚には不利になってしまうのでしょうか？