仲介手数料の支払いについて

建売住宅の売買契約を完了しました。
しかし、そのあとに調べたら、家のすぐとなりが
抜け道になっており、日中交通量がとても激しく、ダンプも通ります。またその道路に水たまりがあり、市の土木課に聞いたところ湧き水がでているそうです。
家の周りの土も湿っており、明らかに天気がいいのにおかしいです。仲介業者に地盤調査の紙を見せてくれと言ってもなかなか見せてもらえず、大丈夫としか言いませんでした。だめなら補修すると。そういったことが気になり売主とは手付け解約を行い解除をこないだいたしました。 仲介手数料について今、業者と話あっているのですが、今回の手数料はいただき次回ご案内、契約した物件について、手数料はとらないという話がありましたが、納得できません。書面にて手数料は物件引渡し時と書いてあるからです。（手数料もローンで払うつもりでした） また売買契約時においてもやめた場合の説明も特に受けていません。ただ手数料の支払いにはサイン、捺印しております。 湧き水のことも最初は家の外壁工事をやっている者が捨てたんでないかといっていました。 こちらがいろいろ調べて解ったことで業者は何もやっておりません。 これでも今回の物件に関して仲介手数料は払わないといけないのでしょうか？ もし辞めたらどうなりますかと売買契約の時に聞いたら、それなら契約をやめたほうがいいといわれただけで、あとの説明はありませんでした。