委託契約の解除をしてもらず、脅しを受けました

現在、私はWEBサイトの制作・管理をしています個人事業主です。今回、同業者の友人と合併し、法人化しようと考えています。

しかし、私がサイト管理している業務委託先から、毎回見積で費用の詳細を聞かれ、合見積を他社に取り、少しでも高った場合や、料金の詳細に納得いただけない場合には、何度もメールや電話で値引きの要求されているので、法人になる前になんとか、関係を白紙にしたいと思っていました。

もちろん、以前から、他社が安ければ、そちらに頼んで契約を解除してくださいと再三お願いしていますが、受け入れらません。

そこで、今回契約書に記載されていた契約解除の項目に、解散または、合併を決議した時に、催告なしに解除できると書いてありましたので、それを理由に委託契約の解除を申し出たところ、

合併、法人化するのであれば、サービスは継続できるだろう。契約解除は無責任である！

契約の解除は、サービスを受けているこちらの判断で行うべきであり、契約解除は認めないと言われてしまいました。

どうすれば、契約の解除してくれるのかと聞くと
支払った制作費といままでの管理費を全額払えば解約してやると言われました。

合意による契約解除を目指していましたが、さすがに私も感情がでてしまい、口論になってしまいました。

すると経営者は、さらに感情的になり
今からこっちに来い！来ないならこっちがに行くぞ！（自宅で作業していることを知られています。）ぶっとばしてやると言われました。

どうしたら、契約解除できるのでしょうか？
費用を全額返納しないと解除できないのでしょうか