条件付土地を購入し、建物請負契約を結ぼうとしている者です。

土地購入から建物請負契約まで、１ヶ月しか期間が設けられておりません。
このことを違法として無効にすることは出来るのでしょうか。
詳細は、以下に記載させていただきます。


１今年の10/30に土地契約をしました。
２契約前は『土地契約後、２箇月弱で建物請負契約を締結するため、先ずは
　土地を押さえ、その後に建物についてゆっくり検討すればいいです』と仲
　介業者にいわれ、契約しました。
　しかし、契約の場で『契約書上は土地契約後３カ月以内に建物請負契約を
　締結しなかった場合は白紙解除となります。しかし、別途合意書を結んで
　その期間を１ヶ月へ変更します。』といわれ、重要事項説明等で５時間位
　打合せした最後にそのようなことを言われ、印鑑を押しました。
３その後、1ヶ月以内に建物の詳細を固めるべく、間取り確定、オプションの
　見積り等やっていきましたが、オプションの見積り等が、約束の期日になっ
　ても提示されなかったり、どこのどの部分のオプションなのか、一式ではな
　く、仕様や内容の説明を依頼しても対応してくれず、また、仲介、建設業者
　をいくらせっついても、スケジュールを後のばしにされたりし、誠意を全く
　感じられない対応をされてきました。
４上記により、白紙解除の期日（11/29）が迫ってしまい、仲介、業者に『当
　方に責はないこと、また当方は白紙解除の意思がないこと』を伝えましたが
　イマイチ伝わっているか分かりません。

　当方は、仲介、建設業者に対しては、怒りを感じておりますが、物件は評価
　しており、出来る限り契約に向けて進めていきたいと考えております。
　
このように、当方に責はないと考えており、また当方から白紙解除する意思
　がない場合であっても、建設業者は白紙解除出来るのでしょうか。
　また、土地契約から1ヶ月しか期間を設けずに建物請負契約を締結する旨の合
　意書の無効を主張し、建設業者の一方的な白紙解除リスクを排除できるので
　しょうか。
　他にも、上記の経緯において、建設業者の対応の不味さを理由にして何かいう
　ことは出来るのでしょうか。


アドバイスを頂けますと幸いです。