遅延損害金は裁判を起こさないといけないのですか

現在新築一戸建ての遅延損害でハウスメーカーと揉めております。
急いでおります。長文でお見苦しいと思いますがどうかご回答願います。

予定では今年6月末には完成予定でした。
4月頭になっても全然着工しないので担当に何度も6月末に完成は大丈夫なのか確認していました。
返事は大丈夫です。でした。
しかし、4月の後半に担当者が音信不通になり、こちらから連絡を入れたことにより担当が代わり、5月半ばになり急に完成は10月頃になると言われました。
そこで初めて確認申請がおりていないことを知らされました。


ハウスメーカーの言い分は、確認申請に時間がかかった。担当者が連絡を入れてなかったのは悪いが、どのみち申請がおりなければ家は建たないのだから遅れることに対して遅延損害金を払う必要はない。申請を出していたのだからきちんと仕事はしてる。こっちに過失はない。納得がいかないのなら弁護士をつけて裁判で判断してもらえばいい。というものです。
こちらは6月完成で動いていたので、1ヶ月前では借りている借家も延長がきかず出なければいけない状況です。
家賃保証の話もしましたが、1ヶ月前であれば家は探せるし、許可が下りてないのだから最初からそちら（施主）の必要経費なので払う必要はないとの返事です。

申請の許可を待っている間は工事期間が伸びることを施主に伝えていなくても遅延損害金に該当しないのですか？
時間がかかるのは聞いていたのであえて早めに契約をしました。
去年の8月です。
その時は完成予定を今年の3月にしていました。6月まで伸びるのは承諾しました。
しかし10月まで伸びるのはいくら確認申請が下りなかったとはいえ、契約から完成まで1年以上を要し、連絡を怠った原因を作っておきながら遅延損害金に該当しないと言い張るハウスメーカーに納得がいきません。

契約書には遅延損害金について書かれています。
6月以降の工期延長の契約は一切しておりません。
しかし、先日許可が下りたので工事自体は始めることができるそうです。
わざわざ裁判を起こさなければ遅延損害金の支払いは求めれないものなのですか？
そして連絡を怠ったことが原因の遅延損害は発生しないのでしょうか？

ご回答よろしくお願いします。