納期遅れや欠陥だらけ

3月に建築条件付土地の木造三階建て物件を契約しました。
セミオーダーしきで図面を多少変えられるとのことで8月2日に確認申請が下りました。
初めからお金がないから早くして欲しい早くして欲しいと言っていました。
地盤調査は始まっているだろうなくらいに考えていたら一向に着工しませんでした。
建物の契約には７月着工5ヶ月後完了とあります。
やっと地盤改良が始まったのが9月です。
やっと始まったと思ったら10月9日から工事がストップ。基礎は出来ていました。基礎は出来ましたがそれからしばらく放置されていて、何故ですかと工務店問い合わせをしたところ、土が緩いから足場が建てられない固める期間だ、そして11月からは大工がいないと回答が来ました。
その後、自分で足場業者さん等に相談するとそんなこと聞いた事がないと言われ、バカにされたと思いました。
クレームをいれ、遅れた分の家賃などを請求しましたが、無視されています。
フラット３５の建物完成までのつなぎ融資で元金は減らず、金利だけを10万円ほど払っていて苦しい中、工務店に放置され、うそをつかれ、クレームに対しても何を怒っているのかわからないと言われ、心身ともに非常に疲れました。
11月12日に工事がやっと再開したのですが、素人の私が見ても分かるくらいひどいです。やっと棟上げをしましたがアンカーボルトが端っこに来ていたり、釘が全く打たれていなかったり、金具が全然ついていません。
不信なので第三者機関を入れて検査したいので承諾して欲しいと工務店に言っていますが今のところ返事がありません。（第三者機関に連絡をしたところ工務店に許可を得てから申し込みして下さいと言われたため）
誰か助けて下さい。