離婚後の面接交渉について

男性です。既に元妻から離婚届を（妻の記入部分は記入済）わたされ、離婚届は提出済です。三ヶ月前、元妻は仕事にでかけたきりそのまま実家（母親）のもとに行き、そのまま離婚にいたりました。親権は父親の私で中学一年女子と小学二年女子と五歳男子と暮らしております。元妻がでていったあと三人のこどもは約一ヶ月登校拒否に似た状態と情緒が不安定になりました。幸い私は自営ですので、子供たちのホローをするため、仕事をへらしながら育児・家事等をしながらなんとか頑張ろうとやってきた甲斐があって現在はほぼ通常の生活にもどりつつあります。しかしここにきて元妻から「面接交渉の申し立てをしたのでそのうち電話がくる」とのメールがとどきました。元妻が家をでていった当初は五歳の息子は以前旅行に行った時の家族写真をみて笑いながら涙をながしていたのを見て私も涙がとまりませんでした。知り合いの精神科医に相談したところ「五歳で笑いながら涙をながすなんて最悪に状態。今母親にあわせたら状態がさらに悪化するかもしれない」といわれました。小学二年の次女は最近は「ママの時は○○してくれなかった。例：体操着は毎週金曜日にもってかえってきなさいといわれ金曜以外で体育があり持ってかえるとおこられたと言う」など話すようになりました。中学一年の長女は自由に現在会っております。離婚の原因は妻の借金（本人の破産宣告済と私名義をつかっての借金：私が支払ってます）と浮気（二人の相手とのメールで発覚：長女はひとりの相手のメールのやり取りはみてしまっております）それと私が口うるさいのが性格の不一致ということだそうです。小学二年の次女と五歳の息子の精神状態を考えると今はあわす事は避けたいとおもうのですが、いままでの事例などとてらしいかがなのでしょうか？