住宅ローン仮審査結果の取り消し

現在持ちマンション（残債：公庫２，８００万）に在住しております。将来一戸建てへの住み替えを考えておりましたので数社の不動産仲介業者へ登録をしておりましたところ、昨年末に、条件の合う中古戸建てを某大手仲介業者より紹介頂きました。ローンがおりるのであれば購入する旨の書面にサインをし、即大手銀行数社へ住宅ローンの仮申請を致しました。一社はＮＧで、一社は通過したとのことで仲介業者より連絡を貰えましたので、つい先日手付金を払い売主と契約を交わしました。
しかし、昨日の夕方になり銀行から仮申請が最終的に通らなかったとのことで、仲介業者経由で連絡がありました。仲介業者の言い分では仮申請の結果については口頭でのみＯＫの旨、銀行担当から聞いていただけで、書面での通知は貰っておりませんでしたとのことです。よって、銀行には責任は問えませんとのことです。ちなみにわたしが契約した契約書の内容にはローン特約が明記されておりませんので、支払った手付け金は戻らないのでしょうか？
また、元々銀行ローンが通った場合に購入するとのことで初回の購入意思確認の書面に記載しております。
私は仮審査通過結果の書面があることは知りませんでしたが、契約に当たり口頭以外での確認をすべきであったと、落ち度を感じていると共に、大手の仲介業者に委託しておりましたので全てに於いて信用してしまっていたこと大変後悔しております。売主様へも大変迷惑を掛けてしまいそうで、連絡を受けてから仕事もまともに出来ない状態です。