税金控除の為、年内完成の着工枠が僅少という事で、大手HMと契約し、契約金を振込み致しましたが

?希望条件の見積から、予算に合うように、本体価格以外の周辺費用で必要な金額が大幅に変更され、「予算で出来ます」と言われ、後から増額された

?契約前に土地が決まらず「請負契約等だと土地が決まらないとできないのでは？」と質問すると
「どのHMで検討するか決める契約」と簡単な契約のような説明がなされ、代理人（私）が行くと実際は請負契約であった。また基礎を作るまでは解除できるといったが、費用が全くかからないような説明だった。

?土地（契約後期限内に決定）に高額別途費用が発生するのを知りながら、間取りや仕様も決まり着工間近になって、その話を持ち出してきた

?内部設備見積などを中々出してくれないので、自分達でメーカーに連絡し見積をＨＭに送ってもらう事するものまであった

?スケジュール管理が出来ず、着工に間に合わないのではと、不安になり聞いても「大丈夫」といわれたが、契約書にある変更（最終）契約日を過ぎても見積が出ず、期日数日前に
『貴社の着工の為の期限を過ぎても契約が出来ない場合は解除をする』
と言ったが前日にも見積が出ず、間に合わないというと営業担当が独自に社内のルールを変え予定を聞いてもない後日に変更契約を代理人（私）にて契約させようとした（同席した設計士が慌てて社内に遅延の容認に走った）。

?当初の契約の条件として約束していた「年内完成保証の契約等」は出来ないといわれた

と言う理由等で解除致しました。
相手方（上司）も非は認めておりますが、
「契約の説明はうちでよく言う表現」とされ、「ここまで一生懸命やったのだから費用の一部を差し引き請求する」
と言われましたが、支払う必要があるのでしょうか？お手数ですがよろしくご教授下さい。