建築請負契約解除について

法的にわからないので、教えてください。
本年３月にSH社と新築一戸建の建築請負契約を交わしました。
その時には、土地が決まっていなかったので、契約書内にある工事場所には、一般に仲介販売されている土地

を仮に購入したと仮定して住居表示場所とした契約書でした。当然、その土地を購入するつもりもありませんので、営業がこのような仕様としました。契約後、手付金を入れてほしいとのことで、２００万円を支払いました。土地を探していたのですが、契約後この営業マンからの連絡はなくなり、自分たちで土地を探していました。すると、別のハウスメーカーから連絡があり、理想の土地があるとのことで、結果的にはその土地を購入することとなりました。建築条件はありません。理想の土地を紹介してくれたそのメーカーと契約をしたいと考えておりますが、問題は手付金です。契約書には当方の解除権について明記があり、「これによって生じた損害額を賠償する」とあります。実質の損害は、契約書の収入印紙程度で、建築士による図面の作成もありません。架空の土地上の建築請負契約が有効なのかも判然としません。一部ハウスメーカーの見解は、ありえない契約とのことでした。仮に契約が有効でも家を建てる土地を一切探さない（依頼をしていた）不誠実な対応を理由に解除するにあたり、私に手付金を戻せる法的権利があるのですか。また手付を取り戻す方法などを教えていただきたく質問します。