【土地購入】地下室の壁・底辺と売り主が撤去してくれない

売買契約書を締結し手付金100万円を売り主に支払いました。
地下4ﾒｰﾄﾙの地下室の壁・底辺があると重要事項で仲介業者から聞きましたが、家の建築にあたり、どんなﾘｽｸになるか十分な説明はありません。
地下室の残骸はそのままにして、基礎の打ち方や地盤改良のやり方を工夫すれば、木造3階は建つという説明です。
ボーリング調査とスウェーデン方式の調査結果、旧家の間取り図面から、大まかな地下室の残り情況はわかります。今は更地になり、地下室を見れません。
木造3階建を計画していますが、売り主は「べた基礎の邪魔にならないよう地下室のうえの壁部分は削っている。全部取り去るなど、これ以上のことはしない」といっています。

質問1売り主は地下室の壁・底辺を完全に撤去する責任はおわないのでしょうか。
仲介業者は売り主に負担させる理屈がないと言います。
仲介業者としては重要事項で説明してあり、手付金の返還を求めるなどの場合は、仲介業者から離れ、民事裁判マターだと主張しています。
希望としては、売り主に撤去費用を負担させてから、家を建てたいです。
質問2もし残念ながら土地購入を諦めた場合、手付金の返還を売り主に求めることはできるでしょうか。
仲介業者の説明不十分という理由＝仲介業者の責任に基づき、売り主から返還をもとめたいですが、どんな主張ができますか。
重要事項説明書「解約の解除に関する事項・手付解除の期日」は仲介業者の指導で、空欄にしています。
借り入れ審査は、本審査が通りました。
ボーリングの結果は7ﾒｰﾄﾙまでN値2、8ﾒｰﾄﾙで4、9ﾒｰﾄﾙで9です。
地下室のあるレベルより深いところでも地盤改良が必要になるかもしれません。
どうぞよろしくお願いします。