土地が未定、プランも未確定の契約書にサインをしました。
土地の契約を目前にして色々信用出来なくなったので、その工務店に解約を申し出たところ、170万円払えと言われて困ってます。

以下、経緯です。

去年の10月に愛知県の感動ハウスグループの工務店でお申込み制度により10万円を払い、プラン作成や土地を探してもらっていました。
12月25日に、仮でいいからこの契約書にサインして欲しいと言われました。その時の契約の説明時、工事が始まったら、部材の発注などしていたり、人の手配などもしているから損害賠償の対象になると説明されました。工事が始まる前の解約については何もデメリットはないと説明されました。
年が開けても土地が見つかりませんでしたが、1月末に土地が見つかりました。私が見つけ、不動産屋に足を運び、土地の契約日も決まりました。
ところがその頃から打ち合わせに連絡なしで遅刻したり、こちらの要望を伝えるもプランに反映し忘れたりと心配なことが重なり、さらには社長さんより、感動ハウスはパナソニックを、使ってもらわないといけないのでパナソニックで！と強く言われ、当初どこのメーカー品でも問題ないと言ってたのに、なぜ？とこんな事が続きました。
なので土地の契約日の4日前の2月の22日に解約を申し出ました。

そしたら土地の契約も決まっていて、プランも作った。
実費として170万円払えと脅されました。
申し込み制度の10万円の範疇からなにも逸脱してないのになぜ？
と聞いても、ローン申請の準備や地盤調査のキャンセル料、プラン作成料ほか人件費だと言われました。
ネットでお申込み制度、感動ハウスと検索するとこれらはお申込み制度の範囲内なのに？と聞いても払え！
土地の契約もまだなのに、どうやって実費が発生したのか？
契約書では工事中の実費についての損害しか書いておらず、説明も工事前はデメリットはないといったのに払うのか？
何を言っても170万円払えでした。
お知恵をお貸しください。
よろしくお願いします。