旦那への接し方

一年ほど前二人目を流産し（４年待ってできた子ども）、直後に転勤になりました。大変でしたが家族で協力し合ってすごしていました。
しかし、９ヶ月たったころ主人の鞄に知らない携帯が…。浮気でした。転勤してすぐに相手から携帯が送られてきて毎日電話をしていたようです。（肉体関係あり） 主人は私に謝って相手と関係をきり、今後おこずかいを１万下げる事。私が思い出して怒り出しても絶対受け止め続けること。飲みに行くときは簡単でいいので相手の名前（○○会社と接待とか程度）を連絡する。など精神誠意あやまっているように感じました。
しかし二ヶ月もたてば飲みの連絡なし、私が浮気を思い出し訴えると逆切れです。この間は私がお金を管理しているのも許せない。と言われました。主人は今の職場がきついらしくチック症状や不眠症状、無気力など鬱の症状があります。私は離婚する気持ちはないのでなんとか協力して楽しい家庭に戻したいのですが、仕事で落ち込むとメールや電話で慰めてほしい。と言われ、家に帰ってきては愚痴を聞かされ…無気力で私や子どもを愛したいのに愛しきれないと言われたり。 私もかなり参っているので主人にどう接していけばいいものかわかりません。転職を勧めても聞く耳なしです。
私が流産や新天地で一番精神的に参っていたときに主人は浮気をして、しかも半年もたってないのに…あなたは私の事は何も聞いてくれない など思ってしまいます。病気だから仕方がないかと思いますが… とりあえず主人を神経内科につれていくべきだとは思うんですが、やはり私が浮気のことなどを忘れて旦那を回復させることが一番優先でしょうか？
長い文章、たくさんのとこを言い過ぎてしまってすみません。
アドバイスよろしくお願いします。