離婚・慰謝料・親権について

私は25歳で3歳の子供が1人います。年収は180万程度で、月に何度か働きに出ています。旦那は現在40歳で、自ら会社をおこし、毎日昼過ぎから21時ぐらいまで働いています。年収は250万程度です。共働きながら、子育ては私がしています。旦那は、たまにの日曜に公園に行く程度です。私が、仕事で朝までかかるときなども、祖母を自宅に呼び面倒は疲れるなどの原因でみません。祖母は、私が帰宅するまで面倒をみて、帰宅後は私が見ると言う感じです。もちろん家事なども一切しません。旦那の行動パターンは、12時に起床→13時に出社→21時帰宅→そこからは明方まで映画を見る・漫画を読むなど自分の時間としています。生活費（互いの給料）も、旦那がすべてを管理しており、私は週に1万円ですべての食費・生活費・交友費などをやりくりしています。今年1月に、上記内容に嫌気がさし離婚を持ち出したのですが、うまくまるめこまれてしまいました。そのまま時間が過ぎ、3月に私は旦那とは違う人を好きになってしまい性行為は行ってないものの、そこまでの段階（手をつないだり・キスをしてしまったり）で2ヶ月がたった今、旦那に再度離婚を持ち出したところ、私の態度の変貌に気づき、携帯を見られすべてがばれてしまいました。「あなたが望むなら離婚してもいいが、親権は渡さないし、慰謝料の請求をする」と言われて、どうすればいいのか分かりません。しかし、旦那とこれから生活をしていく気にはなれません。旦那からすれば浮気のための離婚であり、私は実家が他府県で、旦那は近隣に祖父母がいる・生活力が豊かとの理由で、子供を渡さないといいます。こちらは、今まで散々育児もしなかったので、まったく納得がいきません。調停をするにも、それまでどこに行けばいいかも分かりません。その間、突如として子供をつれて実家に帰ることなど、問題にはならないでしょうか？