工事請負契約の解除について

現在、地元のS工務店と工事請負契約を交わしていますが、自己都合により契約を解除したいと考えております。自己都合とは、S工務店とプランニングをしたり、完成物件を見たりしている中で、自分たちの好みのデザインにならないという契約前から持っていた不安が確度の高いものになってきたためです。

2点ご相談したいことがあります。
●土地を探して購入するにあたり、S工務店の別会社の不動産部門にお世話になり、土地の登記等も全て終了し自分名義の土地を取得済みです。別会社なので、その会社には仲介手数料等は支払い済みで契約は終了していると理解しています。

ここでの質問は、銀行との契約についてです。
銀行とは土地と建物の両方に対して融資をしてもらっており、土地の代金は融資完了で、次回は工事の着工時から残金を3回に分けて1/3づつS工務店に支払うことになっております。ローンも既に全代金に対して始まっており、2回分返済済みです。
工事請負契約を解除した場合、この銀行との契約はどのようになるのでしょうか？銀行との契約自体も無効になるのでしょうか？契約時の金利が工務店の価値や建物の価値を総合してのものであれば金利見直しや契約解除もありえるのかと心配しております。

●自己都合での解約なので契約金が帰ってこないのは仕方がないと思っています。ただ、今後のこともあるので出来る限り少ない額で済むようにS工務店とも相談したいと思っています。どのくらいが常識の範囲で妥当なのか教えてください。

・契約書には「本契約に係る建設工事ができない事由が発生し工事を継続できない場合は、請負者は、それまでにかかった費用のみを差し引き受け取った金品を返還する事とする。また、現状回復については、ともに誠意を以って協議善処するものとする。」と書いてありますがこれに該当するかわかりません。
・家の設計の段階で最終プランの直前で建築確認の前です。
・設計はS工務店から良くお願いされている建築家を紹介されその方にやってもらっています。
・外溝もS工務店がよくお願いされている別業者を紹介され先日一度打ち合わせ済みで次回1次プランが出てきます。
・できれば4月までに入居したいとお話していましたが、この調子では間に合う
かも微妙になってきました。
・契約前にS工務店のいつもお願いしているFPの方と資金相談等していただきました。
以上よろしくお願いします。