相手の妻からの迷惑電話の対応は？

私も彼も既婚者です。彼とは学生時代から交際していましたが縁がなく別れました。その後もう一度交際期間があり（1995年から2年半。私は既婚、彼は独身）、私は夫と離婚するつもりでいたのですが、これもタイミングが合わず彼とは別れることになってしまいました。2004年に別の友人から彼が私と連絡を取りたがっているという事を聞き、2005年に年賀状を私が出し、6月に彼から会えないかという手紙をもらって会い、10月から交際が始まりました。彼は結婚して妻とは1年半位セックスレスで、あまりうまくいっていないというような話をしていました。でも離婚は難しい（子ども。妻とは地方公務員同士で妻の父はその上の立場にいる）。複雑な気持ちだったのですが、私ともう離れたくないという強い言葉を受けとめてしまいました。2007年10月交際が妻に発覚。直後に彼は私ともう会わないと約束させられました。その事は電話で妻から聞きました。私が訴訟をするなら受けて立つ！一方的に私をののしる内容の電話でした。私も会わない旨伝えました。それから1ヶ月後から無言電話がほぼ毎日、多い時は数十回携帯、家の電話にかかってくるようになりました。最初はわからなかったのですが、彼に手紙を書いたら電話をくれて妻の携帯番号であることを知りました。猥褻なメールを送ってきたこともあります。ナンバーディスプレイにしたとはいえ精神的にかなり苦痛で一時は情緒不安定になってしまいました。私の家族に不審に思われないかも心配です。このまま無視をし続けるのが良いのでしょうか。怪しい電話は全部拒否登録しましたが他に有効な対処方があれば教えて下さい。警察に届けると彼とのことが明らかになりますよね…多分それを見越して嫌がらせを続けているのだと思うのですが。お願いします。