建築条件付き売地購入後のトラブル

10月1日に建築条件付き売地４棟のうちの１棟の売買契約を結びました。同時に建設工事請負契約を結び（本来ならここでこの契約をするべきではなかったと、後で色々調べていくうちに分かり後悔しています。）ました。
契約前に、建物については簡単な間取り図の説明を受けました。
その後建物について間取りなどの変更をして、１２月末にはほぼ建物の詳細が決定していました。

ところが、１月８日に不動産屋からその土地を出来れば４棟全て購入したいという人がいるとの連絡を受けました。（４棟を購入したい人は、別の不動産屋を通しています。）その際、３棟ならいらないとの話だったので、私たちとしては譲る気はないかなと話をし、不動産屋もちょっとした相談なのでとかるい調子でした。
その後、１月中旬の売主（設計もお願いしている会社）との打ち合わせの際に、３棟でも購入するとの話が進んでいて建物は３階建ての自宅兼事務所兼板金工場だという話を聞かされます。売主は条件付きを解除して、土地として売買したようです。

私たちとしては、４棟の住宅が建つということで北向きの物件でも妥協して購入したのに条件が変わってきてしまいどうしていいのか途方に暮れています。
土地先行決済との話で、１月から土地のローンも始まっています。

また建物完成時期は契約時には３月３１日でしたが、土地の引き渡しの遅れ（前土地所有者との）や今回の件で大幅に遅れそうです。

建物に関しても、設計図書は平面図・立面図・断面図は頂きましたが仕様書・仕上表などその他の図面がなかなかもらえません。仕様書に関しては、工務店がまだ決まっていないので渡せないとのことでした。建物についての詳細な説明もなく、色々な面で不安になっています。地盤調査は２月上旬に実施、確認申請は２月２週目におりたようです。（当初は１月上旬に両方する予定とのことでしたが、全てがずれ込んでいます。）

３棟購入者のローンの審査で２月上旬からこちらは待たされた状況で、どう動けばよいのか分からなかったのですが、先日ローンがおりたとの話を受けました。

売主・不動産屋ともに不信感も多々あり、契約を解除したいですがこちらが違約金を払うことになるのでしょうか？
こちらが相手方の否を責められるところはありますでしょうか？
読みにくく分かりずらい文章になっていると思いますが、回答宜しくお願い致します。