手付金はもどらない？

過日住宅を契約したのですが、問題があり購入を見送りたいと思っています。

流れとしては、
5月13日
土地付一戸建の購入を決意し、契約を交わし手付金30万を支払う

5月14日
兼ねてより申し込んでいたローンの仮審査が条件付きで通る

5月26日
本申込

5月28日
ローン実行の条件である団体信用生命保険で謝絶、団信ワイドの方で審査を進めるとの銀行より連絡

実はこの日がローン特約の期日でした。契約書では、ローンが実行される見込みのない時、この日までに申し出をすれば、ローン特約により契約を白紙に出来るとありました。
しかし、この時は家が手に入るならと、特約による解除は申し出ませんでした。

結果、ワイド団信でも謝絶され、住宅は半分夢と消えました。

仲介会社の方がその後色々と動いてくれて、また別の金融機関の仮審査を通して本審査申込という話になったのが6月11日。
しかし、建物の土地が保留地と呼ばれる所にあり、担保の設定が出来ないとの事で結局また融資は見送り…となりました。

その後、また一件仮審査を通った所がありましたが、金利が高い上、保証人が必要と言われました。
因みに近くに保証人になって頂けそうな人間はいません。

なので、もうこの話自体をなかった事にしたいのですが、手付金が戻って来ないと仲介会社の方に言われショックを受けています。

ローン特約の期限が切れているから、保証人が立てられないのはそちらの都合だとか言われても納得がいきません。

そもそも、契約をする時も、家の金銭的な事情など、そういう事も正直に相談して、それで大丈夫だろうと言われたから契約に踏み切ったんです。
団体信用生命保険も、それほど大きな病気ではなくしかも完治しており、しかし通院期間が微妙に引っかかるので正直に書いたのに、それで謝絶されるとは思いませんでした。

しかも、建物と土地の登記は既に出来上がっており、解約するならその登記の変更手続きの代金も払えと言われました。

言われた通り手付を放棄して、なおかつ登記のお金も支払わないといけないのでしょう