離婚後の親権変更について

元主人が 親権の変更をするといってきました。
2010年１月離婚、親権、監護権は私（元妻）、子供は１０歳男。
元主人は離婚原因となった女性と既に結婚済

元主人より 養育費は支払ってもらってません
持ち家ローンも私が引継ぎ、私（元妻）は先週より(9/16より）
派遣での仕事に就きました
母子家庭手当てを含め、18万位の収入となります。

元旦那が子供にあわせないなら親権を争うといってきました。
（メールで以前に、子供が会いたいといってくるまで逢わないといってましたが）
私が会わせないのではなく、子供＆元旦那の父を置いて（捨ててと言った方がいいかもしれません）
出て行った元主人には会いたくないといっています。
子供は元旦那の前では萎縮してしまい、
話をしたら怒られる。。、また叩かれるという気持ちがあっての、【会いたくない】です

元旦那は【どちらが経済的に有利で教育環境に適しているかわかるはず】と。
元旦那は すでに結婚しており、私（元妻）と一緒に建てた借家の家賃収入もあり、
奥様との収入もあり。。で収入はかなりあります。
その点私は 派遣で１８万足らず。
贅沢はできませんが、二人で質素ながら楽しい生活を送っていますし、子供に愛情も注いでいます。

金銭的な面では元主人に負けてしまいますが、愛情では負けません。

ですが、この私の経済状態で 親権をあらそわれたら 私は親権をうしなってしまいますか？