離婚について

会社の先輩と夫婦仲が悪いことで相談に乗っていて、いつしか恋愛関係になり、彼が別れるまで待つことになりました。離婚の話になるといつも喧嘩になってしまうそうで話が進まず悩んでいました。彼がきちんと別れてから付き合おうと決めていたのですが、初めて2人で出かけた日に、弱っている彼を見て、肉体関係を結んでしまいました。彼とはよくメールをしていたので、奥さんは疑っていたらしく、肉体関係を結んでからすぐに発覚して、距離を置いたのですが、また彼からの連絡をきっかけに元に戻ってしまい、最近また見つかってしまいました。最初に見つかった時はメールがきて、別れてほしいという内容でした。職場にも顔を見に来られたこともあります。彼が浮気が見つかったタイミングで再度離婚の話をしたのですが、奥さんは納得がいかず、まず私たちの関係を切ってから、離婚するか話し合いたいということで、話し合いを進めるために一度離れることになったのですが、奥さんは彼とやり直したいようで、ただ別れさせたかっただけで離婚は中々話が進まず、悩む彼をずっと見てきて、私たちの関係は戻り、約1年が経とうとしていた今、また見つかり、呼び出されて、別れることを約束させられました。今度見つかったら訴えると言われました。彼は奥さんとはもうやり直す気がないと離婚を考えていて、私の所へ来ようと考えているのですが、奥さんが離婚を認めてくれないと言って困っています。私も奥さんには申し訳ないのですが、本気で彼と一緒になりたいと思っています。彼が言うには浮気している身分で、相手が離婚を拒否している以上、事を進めることは難しい。浮気は見つかってから三年以上経てば時効という話を聞くので、それから離婚をするのであればうまく行くのではないかと言っています。それは本当なのでしょうか？それにいつから三年になるのでしょうか？