はじめまして

2009年9月に離婚して、2013年9月に再婚しています。
今回は前妻との間の娘（5歳）の面会の件で、親権者である前妻から面会調停を起こされています。
再婚する以前は、娘とは毎週末に会い、そ後に前妻と３人で夕食を取ったり、時には3人で泊りがけの旅行をしたりしていました。自分としてはもう一度やり直せるのかと思い、一度それとなく前妻に申し出た事が有りましたが、拒否されたので、自分人生を歩もうと再婚しました。一応、再婚する事を前妻に報告し、娘との面会も食事や旅行は無理としても、今までの様に面会する事を伝えました、但し、娘に対しては、離婚した事、父親が再婚した事をちゃんと話して、自分の家庭に気がねなく遊びに来てもらいたいと伝えたところ、拒否されたので、それなら、月2回に限定したいと申し出で2013年の3月までは、一応月二回の面会を実施していました、その後娘は土曜日は、体育教室・音楽教室、日曜日は水泳教室に通い初め、面会は日曜日の11時からと限定されしまいました。
また、娘を妻に会わせる事に関しても、娘本人は嫌がっていないのに、前妻はヒステリーを起こす位に嫌がり、娘の前で暴力を振るわれた事もありました
そんな状態なので、娘と面会を2013年3月以降断ったのです。その結果、前妻が面会調停を申し出ました。自分としては前妻とは、もう一切関わりたくないので、娘が自分意思で、父親に会に来れるようになるまで、面会を保留したいと申し出ました
それが娘の為にもなるかと思ってです。
だた、1回目の調停の際に、この話をしたら調停員からは面会拒否になると言われました。
子供が父親に会う権利がある事は理解しています、娘を父親に会わせる事が義務だと思い込んでる前妻とは話しになりません。
今後、審判になった場合、強制的に会う事になるのでしょうか？
そもそも、「会わせない」ではなくて「会え」と言った面会調停自体、ナンセンスな事だと思うにですが

難し問題だと思いますが、ご指導・ご回答宜しくお願い致します。