借り入れ前に職場ふっきできないことが分かった場合

一戸建ての契約を交わして1ヶ月ほどです。
ローンの審査は銀行系では無いフラット35で通っています。
審査は通り易くて有名です。


住宅価格 3700万円
手付金105万円

収入
私 240万円 《個人事業主》
妻 200万円《契約社員》

私が主債務者で、妻が連帯保証人となっています。
私の収入だけではローンが組めなかったので、このような形になりました。
二人共働きなので、返済に問題は無いという考えだったのですが家の契約を済ませ、手付金105万円を支払い、ローンの審査の最中に妻の妊娠が発覚しました。

当然、産休と育休を取り、職場復帰する予定だったのですが、会社の状況から、産休育休後の職場復帰ができないと言われてしまいました。
流石に私一人で返済していくのは難しいと思うのです。
ローン会社の方からは、審査が既に通っており、借り入れ時はまだ会社に席がある状態なので、借り入れ自体は問題無いと言われました。
この状況で、返済が心配だから借り入れしたくない。と不動産屋に言うと、自己都合の解約だから、違約金だとか手付放棄で解約といった話になりそうで怖いです。
ローンが通らなければ、手付金はそのまま戻ってきて、解約になるということが契約書に書かれていますが、ローンは通るということなので、それも難しそうです。

このような場合、どういった話を不動産屋とすればいいのか全く分かりません。

もちろん不動産屋は売りたいでしょうから、簡単には引き下がることは無いと思いますが。

専門家の方々、お力をお貸しいただけませんでしょうか？
よろしくお願い致します。