離婚の理由について

今夫より離婚の申し出が出ています。夫いわく数年前、家庭内での夫婦喧嘩の際に私が暴力を振るった事、また離婚届を突きつけられてプライドが傷付いたからという事でしたが、暴力は一方的ではなく夫からもありましたし離婚届をこちらが出したのは夫の風俗通いがひどくて、家庭を顧みなかったこと（当時子供は乳児でした。）があり反省を促す意味で持参した物で夫が動じなかった為にすぐに処分してしまいました。一時はけんかになるとお互いに手が出る事がありましたが、ここ数年はほとんどありませんでしたので夫婦仲はうまくいっていると思っておりました。ただ風俗は子供を出産してから続きその事が原因でセックスレスになっておりました。ですが最近夫に愛人がいることが分かり、そのことを追求すると上記のような理由で夫が離婚を言い出しました。そして毎日のように朝帰りをするようになりました。私はそのせいでうつ病になってしまい、今は通院と療養のために実家に子供と戻り別居して1ヶ月くらいになります。夫からの脅迫めいた言葉が恐ろしく自宅に戻れません。しかしながら小さな子供を抱えている上にこのような状況では働けず困っています。
今の状況では夫からの離婚請求に応じなければなりませんか？夫の不貞行為は実家に戻ってすぐに興信所に調査を依頼し証拠の写真や報告書でホテルの出入りも2回ほど押さえています。子供の将来を思うとまだ改善できるなら改善したいと思っていますが、言うことを聞かなければ今の生活は無いと思え、この地域で生活できると思うななどと脅しのような事も言われ恐ろしくて外を子供と出歩く事もためらいます。このような場合どうしたらいいでしょうか？離婚を回避できますか？教えてください。