離婚すべきですか？

結婚して6年目、私32才、主人33才、子供4才、1才の家族です。3ヶ月前に離婚してほしいと言われ、現在私は実家へ子供を連れて別居してます。（子供が夏休みに入ったのでそのタイミングで）
彼の離婚したい理由は、彼がゆうには、私が彼に対する思いやりが足りなかった、自分の事をゴミみたいに扱った、自分の事を嫌いなんだと思ったと思い私の事をだんだん受け入れないようになり、生理的に嫌いで、これ以上は一緒にいれない、お互い幸せになるには離婚するしかないとの事です。
彼は毎日仕事が夜中なので、普段は育児家事はすべて私。平日はほとんど会話も出来ず、私も育児ストレスなどから、彼に冷たくあたったりしていたかもしれないが、夫婦生活は2人目妊娠してからは一度もなかったし、彼もその事は木にしてないとずっとゆっていた。だけど、今さらそれも原因の一つかもといいだし、彼の理想はいつまでもラブラブな夫婦でいたいとゆうのは、私には無理で、体を触られただけでも私は彼を拒否していました。私にもやっぱり原因はあるかと思いますが、こどもの事を考えると本当に離婚していいのかどうか、
彼は精神的にだいぶおかしくなり、早く離婚したいようで、養育費も払うし、金銭面で不安なら多少援助すると言ってますが、具体的にいくらくらい貰えるのかどうかとか、
昨年彼名義でマンションを購入して、まだまだローンも残ってますが、私と子供たちで住む事は出来るのでしょうか？彼はマンションから出て行くとゆっていて、もし誰も住まないならローンを払いながら貸し出すとゆっています。また、私は彼に下の子が3才なるまでは働けないとゆっていて、もし離婚するなら2年待ってほしいと言いましたが、そんなに待てないともゆわれ、その分金銭面はフォローするともゆってます。
ちなみに、彼の去年の年収は６５０万で私は4年前から専業主婦です。
離婚問題について無知ですし、周りに相談も出来ないので、よろしくお願いします。