戸建を建てたいと思っています。

現在３ＬＤＫ・築１５年のマンションに家族４人で住んでいます。子どもが体格のいい方なので気をつけていましたが、二年前に一度、下の住人の方に足音がうるさいと言われたと管理人さんから聞いて以来、戸建購入の夢を持ちました。
また最近では消費税増税とマンション管理費の値上げの話が浮上し、いよいよマンションの売却をするか考えています。マンションは八年前に中古で買いました。

四社ほどにマンションの査定を依頼し、その結果から戸建購入の際の諸費用分ぐらいはプラスが出るとわかりました。その他、使える頭金は２００万です。

私は幼稚園児１人未就園児１人を抱えてる為、働いていません。主人の年収は５８０万で、４社ほどローンの打診をしましたが、残債があるせいか３６００万しか借り入れできないと１社から返事がありました。あとは否決との事でした。

注文住宅で建てたい夢を持っている主人は、最低でも４２００万は借りたいと言っています。今は共働きも出来ない為、貯金スピードも限度があります。また、管理費が値上がるとしたら８月からで、８０００円もアップするそうです。更に貯金スピードも金額アップも望めない上に、幼稚園代と重なり、かなり家計を圧迫することになります。
お金をはたく事にはなりますが、今の固定費（ローン＋管理費・修繕費・駐車場代）よりも安い賃貸に一時移り住み、ローンをクリアにして、売却のプラスのお金と貯金２００万を合算し、更に頭金を増やせれば？とも考えました。ただ引っ越し代もバカにならないので、このままマンションに住み、遅いなりにも頭金を貯金しつつ、売却と同時に戸建に移り住めるように話を進めるのがいいのか。どちらがいいでしょうか。
長々と書いてしまいましたが、結論の出ない日が長く続き、常に頭からこのことが離れなず、悶々とした日々を送っております。どうか宜しくお願いいたします。