住宅ローン契約の撤回について。

住宅購入の手付金として１５０万円を支払っています。

期日までに書類の手配、銀行（契約書に記載の２銀行）へ事前審査を速やかに行い、結果として融資が通らないとの回答になりました。
理由として、信用情報機関に何かの情報が残っているとの回答でした。
当方も改めて調べ直し、原因を突き止め、速やかに報告しております。
理由はフリーローンの残債が残っていて、返済率の関係で融資は不可の内容でした。
よって、契約解除の申し入れをしたところ、解除には合意しないとの事でトラブルになっています。
売主の申し出として、フリーローンの残債分は物件価格を下げ、初期費用を下げる事で購入を検討するよう提示がありましたが、仮にフリーローンを完済しても、融資可能な金額は必要借入額に届かないことが銀行より書面にて提示がありました。その内容も提示し、改めて解除の申し入れを行いましたが、応じてもらえません。
契約書上にも融資申し先として利用する銀行は明記してあり、融資を受けれない場合は、解除できると明記されています。
当方としては解除の申し入れは正当なものと思われます。
こちらとしては、別銀行にて金利など不利な条件となる可能性の中で、借り入れを行うよりもフリーローンを完済し、新ためて仕切り直しをしたいと申し入れをしております。
当方の申し入れは、「融資利用の特約」には当たらないのでしょうか？
仲介の不動産業者が売主と交渉しておりますが、話が進みません。
当方、不動産関係については素人のため、今後の進め方等についてアドバイス等を」いただきたく投稿しました。
よろしくお願いいたします。