住宅ローン繰上げの効果について

３０年の住宅ローンを銀行に組んでいます。現在のところ、その銀行でしか借りることはできない状況になっています。

平成１５年１２月購入で、ローンはその直前だったと思います。
私は既往症があり、団体信用保険も加入できない状態です。そこで、現在借入れしている銀行に工務店の口添えで、私の生命保険受取人の家内が連帯保証人となり、何とか3,000万円を30年返済でローンを組みました。
最初は3年固定で、18年に借入れ条件を変更しました。一旦変動金利にし、初めての繰上げ返済を100万円しました。銀行の言うとおり、金利が若干上がっているため、期間圧縮（圧縮後、期間の延長はできないのでと説明）はやめて、返済額をほぼ据え置きでいきましょう。

変更後の契約期間を何年にするのかと言われ、若干金利が上向いている（公定歩合が0.5に引き上げられて、長期金利が上向いていました。）状況下でした。

他行等との比較も検討したのですが、他行に借換えしたら、登記手数料等々の費用もかさむことから、借換えはしませんでした。
それらを検討した結果、10年固定の金利３％前半で契約しました。

問題は、繰上げ手数料の必要な銀行ですから、契約期間中の繰上げには数万円かかるはずです。
そこで、2回目の繰上げ資金が100万円超ありますので、手数料払ってまでも、繰上げるのが良いのか、金利が借換え時の状況と変わってしまいましたので、いっそのこと他行に相談してみるのが良いのか？と悩んでいます。

まだ、銀行には相談していません。