養育費と養子縁組

離婚の際に養育費の公正証書を作成しましたその後、元旦那は再婚してまた離婚しました。私も再婚子供二人は今の主人と養子縁組しました。元旦那の二回目離婚時に養育費が支払えないと言われました。理由は奥さんが残した借金の返済で苦しいから・でも全く支払わないのは無責任すぎるし当時今の主人も開業したてで年収が低い状態だったので子供の習い事の分だけでも協力してほしいから減額の提案をしてみましたが、受け入れてはもらえず元旦那は自分の辛さだけ主張子供の生活を保持しなくてはならない私達に誠意は見せてもらえませんでした。最後は元旦那が友人二人を連れて私に支払わなくてよいと言うよう脅迫してきました。私は納得いきませんでしたがその時仲裁に入った私の父親の説得もあり結局お互い両親の立場（元旦那は地元の同級生なので）を考慮してしばらく（借金がある間）養育費を待ってあげるという話になりました。ところが元旦那は支払わなくてよいと思っていたみたいです・・私は借金が終わる３年は待つときめていたので３年が経った今年７月に元旦那に対して強制執行をしました。強攻手段とは思いましたが私を脅してまで養育費から逃れようとした元旦那が許せなかったので、せっかく作成した公正証書を活用しようと思いました。そうしたら、元旦那は弁護士を立てて民事訴訟を起こして養育費の支払い義務がないと主張。子供は今の主人と養子縁組してるから自分に支払う義務はない。３年前私が子供と会わない条件で支払をしなくて良いといった〜それを一緒に脅迫してきた時にいた友人を証人にして確認書という文書を作ってきました。私はそんな約束した覚えはありません。養育費が支払えない程苦しい人が昨年に３ナンバーの車を購入、男一人実家でご飯を食べ親戚宅に住み一人気楽に生活しています。いくら養子縁組して養父が第一次的扶養義務者だとはいえ実父に全く扶養義務がなくなるのでしょうか？