不倫中の彼と別れたいのですが

彼には奥さんと2歳の子供がいます。私は独身です。
彼が結婚している事は付き合った当初から知っていました。
彼と付き合う事になってから2年間経ちました。
彼は子供が生まれたばかりの頃、病気になってしまい、子供で手が離せない奥さんの代わりに私が色々と看病をしてきました。
今現在は病状も少し落ち着いています。

最近になって私が「もう別れたい」と告げると彼は激怒して、
「俺はお前を信用していたのに、その信用を裏切った覚悟は出来ているんだろうな。」
「今更自分だけ幸せになれると思うな。」
「お前の職場にも実家にも居られなくさせてやる。」
「お前の全てを奪ってやる。」
「妻にお前を訴えさせる。」
等と言っています。

また、私が「警察に行く」と言うと、
「そのくらいの事は覚悟してから行動する。徹底的にお前を貶めてやる」
という様なことまで言われました。

彼が結婚している事は付き合う当初から知っていましたので、私にも責任はあると思います。
不倫のことは彼の奥さんも当初から知っていますが、今は黙認している様です。 彼が言えば訴訟を起こすと思います。
その場合は私が支払う金額としては2〜300万円位でしょうか。

こういう場合はどういう対処をすべきなのかわかりません。
第三者に間に入ってもらおうとも考えたのですが、弁護士がいいのか、警察のほうがいいのか迷っています。

また、彼を脅迫されたと訴える事も考えた方がいいのでしょうか。
会話の一部はレコーダーで録ってあります。これは証拠となるのでしょうか。

とにかく今、自分が何をするべきなのかご指導頂けないでしょうか。

よろしくお願いします。