養育費を減額する手段について

数年前に離婚しており、3歳になる娘が1人おります。その養育費についてご相談させてください。
前妻は出産直後に実家に戻って以来、何かと理由をつけて実家に戻ってしまいました。
その後、理由を言われずに突然「別れたい」と言われました。
何度か話し合いましたが「養育費もいらないから別れたい」との一点張りでした。
実家に戻ったっきり、私の元へ戻ってくることはなく、経済的に不足すると「お金をいれて」と連絡が来るようになりました。
離婚を思い直してもらうこともできず、金銭の催促の連絡が続くあまりノイローゼになりそうになり、実父に相談しました。

いくら前妻が「養育費はいらない」と言ったとして、娘のことを考えると、そうもいきませんでした。
そこで、実父の提案により、家庭裁判所での調停にて、養育費を払う代わりに子供にはある程度、会わせてもらえるように取り決めてもらいました。その際、養育費を毎月2万と決め、これまで支払ってきました。
私自身、突然、突きつけられた離婚に動揺し、しばらく自棄気味になってしまいました。
その時に車を購入してしまい、今、車のローンも支払っています。

私は建築業に携わっておりますが、近年の不況にて仕事が少なく、正規雇用ではありますが月給制ではない為、現在は収入にバラつきがあります。
また婚約者がおりますが、半年前より体調を崩し就業できない為、現在は私の収入のみで生活しております。
経済的には厳しい為、可能な限り節約を試みていますが、前妻から「養育費を支払え」との催促がつきません。
娘のための費用と考えているため、支払わないつもりはないのですが、現状、当初の取り決め通り2万円を支払うことが厳しくなってきております。
今では前妻は養育費を宛てしているようです。
どのように養育費の減額を打診したらよいか、また取りあってくれる公的機関の利用など、ご教示いただければ幸いです。