住宅ローン契約の解約について

注文住宅(土地もその工務店で買う予定)を買う本契約まで進んで手付金２０万円を納めています。いざ着工とゆう寸前で銀行にローンが通らなくなりました。それで個人情報を開示しにいった所、夫にいわゆるブラックリストに載っていることが判明しました。その理由は滞納してた時期が続いてたためだと思われます。滞納分は完済しています。滞納時期は約１年前の話で期間は半年ぐらいあったと思います。となると銀行にローンを通すのが難しくなり例え通っても高い金利がつくため支払いはできません。なので契約書にも銀行の借り入れが不可能の場合には手付金を払い戻すとかいてあったので今回の件を白紙撤回し２０万返還を要求したいんです。ただ工務店側は、例え金利がいくらになろうがローンを通すことはできるのでこれにはあてはまらない、と言い、断ったらその今までにかかった違約金を請求することになるとゆってきます。契約する前に滞納していた時もあったとゆわなかったこちらに落ち度があるとゆうのです。でももちろん私たちも家を買うのも初めてで、現在借金をしてるわけでもなくローンを組んでいるわけでもなかった上に、工務店側からも滞納してたことがあったか？などローンが通らないような可能性のある事をきかれたわけでもなかったし、ましてやブラックリストに載っていることも知る由もなかったので、そういった言い訳になるんですが果たして落ち度はあるのでしょうか？そもそも工務店側もローンの審査が通ってから事を始めるべきじゃないのでしょうか？あとどんな金利でも通ればいいってわけじゃないと思うのですがそういった工務店側の言い分は正しいのでしょうか？ちなみに契約書には金利何％でとかどこどこの銀行でとか具体的なことはかかれてませんでした。