離婚後の面会

2011年8月に調停離婚をし2歳の娘が一人おり親権は私が持ち二人で生活をしています。元旦那からは毎月4万養育費をもらい毎週土日面会[仕事上土曜日はほぼ仕事なので土曜日は形だけみたいな感じです]始めは養育費が遅れる時は連絡があり面会の時も私が面会場所に連れていきそっから2･3時間子供と二人で遊んでいました。しかしある日急に子供が「パパ嫌!!」と言い出し私から離れなくなり私も急なことだったので驚き「何でパパ嫌なん？前までパパと遊んでたやん。」と言ったのですが駄目でした。その日からそんな状況が続き一度だけ物で気をそらしてその場を私だけ離れたのですが離れて少ししたら気付き「ママ!!」と泣き叫んでいました。その日は心を鬼にして2時間ほどしてから迎えに行くと娘がこっちに向かって何ともいえない切ない顔をして来たので心が痛かったです。パパ嫌と言い出してからいつも面会の時は10･15分子供をおだててするのですが無理で元旦那も諦めて帰ります。元旦那との面会ぢゃない日に面会でよく行くデパートに行くと娘が「パパ嫌やで。」と私に言うてきます。そんなことを言う娘。元旦那の目の前でもパパ嫌!!パパばいばい。と言う娘。そんな娘の精神面が心配で当分の間面会をやめたいのですがきっと元旦那は納得しません。嫌がるのは私のせいと言い出すと思うし私にも何で急にそんなことになったのかも未だに分かりません。私の考えは間違っているのでしょうか。