土地契約後の建物契約への不信について

質問させて頂きます。長くなりますが、宜しくお願いします。
先週気に入った土地が見つかり、某ＨＭさん（以後Ａ会社）を通して土地の売買契約を結びました。
後日注文住宅の建物用の契約を結ぶそうです。建築請負工事計画書へのサインもしました。
しかし、いつの間にか「８0平米の建物」と決まっていました。
私たちは何も聞いてなく、Ａ会社さんで作られた方の間取りを見せられ「どれがいいですか？」と言われ広さの確認もせずに「これがいいね」と軽く選びました。
それが８0平米の建物で、嫌だと言わなかったので決まったようです。
しかし８０平米だと希望の間取りで家が建ちません。確かに値引きしてくれたりしてましたが、希望の家が建たないなら建てる意味がありません。
土地売買契約を結んだ後に「他で建物を建てたい」もしくは「希望の間取りに出来ないなら建物の契約はしない」と言う場合、どうなるのでしょうか？
・資金の追加は出来ません。
・今は住宅ローンの仮審査中です。月々の返済額の問題で難航しているとは聞いてますので、ローンが通るかは分かりません。
・土地の売買契約は終わってますが、建物の契約はまだです。
・土地売買契約で手付金の支払いは終わっており、領収書は貰ってます。
・土地も建物も気に入ってるので、資金追加なしで希望の間取りで建てたいです。
・出来ないなら他社さんに建物を頼みたいです。
・そこで建てたい、と言って値引き・交渉などもしてもらいました。仲介手数料も割引してもらいました。しかし、契約上、仲介手数料契約書は結び、後日同意書を発行して無料になると言われました。条件付きの土地ではないです。

今まで頑張ってもらって申し訳ないとは思いますが正直Ａ会社さんに不信感があります。
でも希望の間取りで建てられるなら、Ａ会社さんでお願いしたいとも思ってます。
住宅ローンはＡ会社さんを通じて仮審査をしており、変更する場合土地売買契約は終わってるので、自分たちで住宅ローンを通すか、他社ＨＭで通すかだとは思いますが、違約金などは発生してしまうのでしょうか？

きちんと理解せずに契約を進めてしまった事が原因だと理解してますが、
このまま建物の契約をしてしまうと、ローン審査が通らなかった場合を除き、契約破棄はできなくなってしまいます。
焦っており分かりにくい文章になっているとは思いますが、ご回答頂ければと思います。