融資特約について

住宅購入にあたり、融資特約付の契約を締結しました。特約の内容は、ローンが通らなければ、契約は白紙となる。但し、買主が証明書等を偽造して提出するなどしたことによりローンが通らなければ特約は適用外、というものでした。

契約締結時に仲介業者からは借入の有無等を聞かれ、実は借入があったのですが、仲介業者には何も伝えないまま締結し、ローンの審査に望みました。
審査の申込書にもこの借り入れについて未記入のまま提出し、提出後に金融機関に電話にて借入についてお話致しましたが、否決となってしまいました。
このことが金融機関より仲介業者に伝わり（否決の理由は借入によるものだといわれたそうです）、仲介業者より正直にお話くださいといわれ、全て伝えました。
この時に信用情報（ＣＩＣ等）をＦＡＸするよう言われたのですが、こちらは信用情報機関のＨＰなどに、不動産業者から開示を求められても断るよう記載があったので、お断りしました。
その後、別の銀行５校に申込みを行うに当たって、売れるものなどを売却し、出来る限り借入額を減らし、カード等も解約を行ったのですが借入額の全額返済には至らず、ローン審査否決となってしまいました。

そこで、ローン特約に基づき解除を申し入れたところ、仲介業者からは「ローン特約により契約は解約になるが、最初に借入について何も伝えられず、信用情報の提出にも応じてもらえず、融資の申込みに非協力的であった。ローンの申込書も偽造（借入を書かなかった）されたので、こちらとしてはだまされたとしか思えない。よって手付金の返還はできない」と言われてしまいました。

こちらに非があったこと、および無計画な契約であったことは反省しておりますが、上記の場合、やはり手付金の返還を求めることはできないのでしょうか。
相談に乗っていただければ幸いです。