工事請負契約の解除について

住宅建築の計画があり、8月の末にハウスメーカーを回り始めたところ、某ハウスメーカーで話を聞くうちに「ここならいいかな」という気持ちになりました。
営業マンもそれを察してか、「9月から料金改定で坪単価も上がるので、8月中にとりあえずの契約をして、詳細を詰めてから後日変更契約しましょう。」と言われました。併せて、他社に劣らないという自信からかと思いますが「メーカーを回り始めたばかりのようだから、他のメーカーも回ってみて、9月中であれば、当社が気に入らなければ止めてもいいです。」と言われました。

猶予期間を与えてもらったものと思い、1,300万円の工事請負契約を結びました。その際、「契約金」として10万円支払いました。営業マン曰く「仮に9月中にうちとの契約を止める場合は、5万円はお返しします。」とのことでした。

その後、具体的な資金計画や将来の親との同居等の問題から、今回の住宅建築そのものを止めることにしました。

メーカーとの打ち合わせはこれまで5回程度、金融機関や不動産屋に数件問い合わせをしてもらったり、プラン検討をしている段階で、具体の配置図や間取り図を1回作成したもらった程度で、当然着工もまだです。

契約書には、「契約金は解約手付としての性質を有しない」「着工日前に契約を解除した場合は、メーカーが支出した全費用を支払うこと」とあります。

解約の話を正直にメーカーにしようと思っているのですが、こちらの一方的な都合による解約です。トラブルにならないように気をつけることってありますでしょうか？