大手ハウスメーカーさんの、信頼を失う行為ですね。

こんにちは。心中お察しいたします。

このサイトでこうした土地と建物の抱き合わせ的な契約の（営業の）相談を見るたびに、同業者として大変がっかりしてしまいます。


まずは県の相談窓口へ行って経緯を説明し、相談に乗ってもらってください。
不動産取引に関する相談と受付で言えば案内してもらえると思います。
私の私見ですがこれは請負契約と呼べないと思います。

口約束も契約とされていますが、単純な物品の売買ではないのですから少なくとも図面と請負金額が確定していないものは契約とは言わないと思います。

請負契約書を取り交わしたあと、契約金をいただく意味ですが
昔はこの契約金で建築資材の購入に充てていました。現代では解約のペナルティー的な意味合いが強いです。
直接資材を購入する以外に工事着手のために社員を使い、外注先を手配し、各種の申請作業に入ります。もし解約されて、何のペナルティーも無いならば、こうした準備に掛かった費用が損失になってしまうからです。

今回、メーカーさんが「契約金」と主張するのは、そうであれば契約解除にあたっては契約金が解約金に相当するので返金しなくて良いという理屈かと思います。
ただ、それは説明すら受けていなく、書面もないわけですよね。口頭で契約が成立するとしても口頭で説明されていないことは主張できないのでは無いでしょうか？

土地の売買契約についてですが、こちらは契約書があるわけですよね。
仲介手数料が発生するということは、売り主はこの会社ではないということでしょうか？
通常、土地の売買契約にも契約金（手付け金）の取り決めがあり買い主から契約を解除する場合は手付け金相当が違約金となり、売り主が解約する場合は手付け金の倍返しとなっているはずです。仲介業者が自分の判断で白紙に戻す権限は無いと思うのですが。
売買契約書をもう一度ご確認してください。

この50万ほどのお金を得るために、このメーカーさんは大きな信頼を失っているように感じます。