不倫同士の別れ方

結婚・引っ越しで、周囲に知り合いがおらず、夫も帰宅が遅く、子宝にも恵まれず、淋しい思いをしていた専業主婦生活を１年続けました。その時彼に出会いました。妻子持ちでしたが優しさに惹かれ、お互いの家族は壊さないようにと、１年不倫関係を続け、今年の夫の転勤で夫の帰りも早くなり、夫への愛情も復活して来ました。そこで、不倫関係を終わらせようと思い何度も話をしました。
しかし、なかなか別れられず、先月、パソコンの中の写真を夫に見られてしまいました。夫には友達と言うことで納得し、夫婦関係に問題はありません。しかし、どうしても不倫という関係を終わらせたく、彼に一方的に別れを告げたのですが、それをきっかけに彼がうつ病になってしまいました。
彼は私と電話で話が出来るだけでも楽になるといい、何度か電話もしてしまいました。しかし、電話をすること自体の罪悪感と、私が冷たくしたら彼が自殺してしまうかもという恐怖に挟まれて自分がおかしくなりそうでした。どうしても辛くて知人に相談したところ、「自分が悪者になってもう連絡は一切取らないほうがいい」と言われ、それを実行して１週間。いまだに彼からメールや電話がきます。
家の電話はナンバーディスプレイにしたので、彼からの電話には出ていません。しかし、メールは拒否をしてもアドレスを変えて送ってきます。「このままにしておくつもりですか、説明してください」という内容を読み怖くなりました。
私たち夫婦の関係を壊しに何か行動を起こすのではないかという事です。そして、自殺してしまうのではないかということです。
携帯の番号やアドレスを変えたほうがいいのですが、主人への説明がつかず、できません。また、彼がそれを知ったら何をするかということが恐いのです。
私はどうしたらいいでしょうか。