建築請負契約の解約について

昨年９月ころ某ＨＭと建築請負契約を結び契約金を支払いましたが、以下の理由で解約の旨を先方に伝えました。

?ローン審査に通らなかったこと
契約前にＨＭ担当者にローンの可否について確認したところ、事前に金融機関とは打ち合わせが済んでおりローンの借入は大丈夫なので問題ありませんとの説明を受けておりました。
また、ローンについては最適のところを準備し紹介するので任せてくださいとのことでした。※事前に私の収入等は担当者に伝えてありました。
?工事着工日、引き渡し予定日が大幅に遅延すること
現在の住居と建築予定日が離れており、ローン審査に通らなかった事に加え、建築担当者との打ち合わせが契約後１ヶ月で１度ほどしかなく、当初予定していた１１月着工、４月引き渡しが不可能になったこと。
契約時には、遠方であることを当然伝えてあり、着工予定日・引き渡し予定日に間に合うよう、打ち合わせにはＨＭ担当者から足を運ばせて頂くとのことでしたが、実際には上記の様な状況でした。

以上の理由で解約を申し入れ契約金の返金を求めたところＨＭ担当者からは、解約に応じ手続きに入りますが、本社との手続きに時間ががかかることから、すぐには返金できないと言われ、その後、こちらから連絡しても返事が来なくなりました。
すぐにでも解約をし、契約金を返金して貰いたいのですがどうすればよろしいのでしょうか。