建築費の見積もり内容間違いに伴う追加請求について

設計事務所の新築戸建て（建替え）を依頼し、引渡しを明後日に控えたものです。
この設計事務所とは坪単価×建築面積の建築費用（＝?とする）で施工契約をし、それ以外のオプションや解体費用（＝?とする）は別扱いの契約となっておりました。

打合せ段階では?と?を合わせた見積もり書を提出頂き、その内容で納得し、銀行のローンや諸費用の計算等をしておりました。

ところが、引渡し直前になって見積もり内容に漏れがあったとの連絡がありました。解体費用役１６０万円が抜けているとのことで、自分たちの非を認めているものの、その分を追加で支払ってほしいとのことでした。

私としては引渡し直前の時期に言われても困るという率直な思いと、経済的に支払いができない状況でもあります。一応融資先の銀行に確認しましたが直前での追加融資は受けられないと言われてしまいました。工事前に言ってくれればプランを変更して減額することも可能でしたが、すでに建物も完成しているのでその方法もとれません。

私に非があるとすれば、解体費用が掛かっていることは把握しているにも関わらず見積もり内容をチェックしきれていなかったということですが、見積もり表を見るのも慣れていない素人にすべて責任を押し付けれれてもやっぱり納得いきません。

このようなケースの場合、見積もり漏れの１６０万円を全額支払う義務があるのでしょうか？それとも払うことを拒否してもよいのでしょうか？

どうしても支払わなければならないのであれば、１６０万円をなんとか工面するまで引渡しを延ばしてもらうしかないかと思っています。（すぐに工面できる額ではありませんが）

専門の方に良きアドバイス頂けますと大変ありがたいです。
内容の不足分がございましたら返答させて頂きます。

宜しくお願いいたします。