手付金と仲介手数料の返還もしくは慰謝料を請求したいです。

建築前の新築分譲物件で気になった物件（F棟）がありました。F棟とG棟の間に電柱が建つ予定と聞いて近いと嫌だなと思い、不動産営業に質問したところ「数メートルあいています。」「すぐ電柱ということはありません。」と返答がありましたのでF棟で契約しました。契約の書類を記入していた時（不動産営業と売り主がいました）も念を押して電柱の事を質問しましたが「大丈夫です。」と返答されました。
今、住んでいる所から物件が近いので毎週くらいの頻度で工事の様子を見に行っていました。ベランダが出来きた頃になると電柱はまだ建っていないが道路と近い感じがして少し不安になりました。建物に網がかかっていて距離感がうまくつかめません。
後日、網がとれたらやはり近く、電柱がたったら1mも離れないような感じです。F棟が一番出っ張っているが他の棟は道路まで余裕があるので、わざわざここに電柱を建てなくても良いのにと思いました。「電柱を建てる位置を他へ変更できないか？」と不動産営業へ連絡した所「確認して後日連絡します。」と言われました。連絡を待ったまま16日後、現場周辺の電柱に「電柱工事のお知らせ」が貼っており、新設電柱のイメージが写真に合成されていてそれを見ると合成の出来が悪くGH間のようにも見えるので不動産営業へ電柱工事のお知らせの写真添付してメールを送りました。そしたら同日に返信があり、ようやく電柱の移動は難しい。電柱がGH間に見える件は「確認します。」と回答がありました。隣の電柱くらいの位置に建てば大丈夫かなと思ったのですが、実際は予定の変更は無くFG間に電柱が建ち、より建物側になり測ったところ70cm位しか空きませんでした｡
話が違い、説明義務違反にあたると思うので契約の解除と手付金100万円と仲介手数料532,640円を返還を求めました。
3日後にメールの返信があり、契約解除は受け付けますが、契約書どおり手付金と仲介手数料は放棄していただきます。と回答がありました。

毎週、家の様子を家族で見に行って楽しみにしていました。電柱が70cm位しか離れないのを知っていればF棟を契約することはなく他の棟を契約していたと思います。立地が気に入っていただけに非常に残念です。嘘の説明（記載は無く口頭のみ）により私が損失を受けることは納得できません。手付金と仲介手数料の返還もしくは慰謝料を請求するにはどうしたら良いでしょうか？