過去のモラルハラスメントから決別するには？

現在、6歳の娘がいるシングルマザーです。
過去に、夫からの暴言などがあり、男性に対してどこか恐怖心や、怒らせることにおびえてしまいます。また、そういった自分に自信がもてず、落ち込むことがあります。

娘の出産前後の時期、夫から暴言などを言われ精神的にとても辛かった経験があります。当時の夫は、失職し、自暴自棄になっていたかもしれませんが、一度、怒り出すと攻撃的で、人を否定する言葉を発しました。わたしがとてもショックだったのは、妊娠しているかもしれない時期に、夫があることで怒りだし、家を飛び出ていこうとしました。その時に、わたしがおなかに赤ちゃんがいるかもしれない、と伝えると「勝手に生めばいい。認知くらいはしてやる」と言われました。自分の子どもができたかもしれないのに、その言葉はあんまりじゃないか、とその時、あまりにもショックで言葉もでませんでした。最終的には暴力も振るわれました。わたしだけでなく、自分の身内にも攻撃的で、一度、彼の母親や弟に相談しましたが、家族ですら彼には関わりたくない、というような状況でした。警察にも相談し、彼とはそれ以降一切関わっていません。

怒っていないときは、優しい面もありますが、その性格の変貌振りに、わたしも耐え切れなくなり、別れることを決意し、ひとりで出産し、現在まで子どもを育ててきました。そのような人と結婚したわたしが悪いですし、当然、認知もしてもらっていません。彼と一切関わりたくなかったからです。離婚について、父親がいない子どもにしてしまって子どもにはとても申し訳ないと思います。が、わたしは子どものためにもこのような父親と縁を切るべきだと思い、そのことに後悔はありません。
離婚当時は、しばらく毎晩涙がとまらず、そんな日々が数年続きました。娘の成長だけがわたしの支えでした。

現在、親しい男性がいます。紹介で知り合いましたが、優しい人だと思います。わたしの離婚の理由も知っています。けんかもしますが、理性的です。でも、そんな彼に対しても、怒らせないようにしよう、とどこか機嫌を伺うような自分がいて、そんな自分が嫌になるときがあります。
とにかく、こんな過去の記憶を思い出したくない、思い出したときにどうしたらよいのでしょうか。
あまり、まとまりなく申し訳ありません。
なにか、ヒントをいただけるとありがたいです。