次の子供か恋愛か

今、ダブル不倫をしている彼がいます。
彼とは社内で出会い、9ヶ月ほどお付き合いしているのですが
今年の7月から転職して別の会社に行ってしまったので
会う頻度やコミュニケーションを取ることが激減しました。
お互いに久しぶりの恋愛ということもあるからか
その関係は新鮮でとても楽しいもので
お互いにきちんと愛し合っている自信もあります。
彼も私もそろそろ3歳になる娘が1人いるのと
彼の方は憶測ですが、今の奥様にそこまで大きな不満もなさそうなので
今の家庭を投げ捨てて一緒になるのではなく
現状のスタンスはあくまでも変えずに、恋愛関係を楽しむ方法で
付き合いは続けていきたいとお互いに思っています。
ただ、実際不倫自体あまり良いことではないし
関係をやめるとしたら会えなくなった今なのかなという気持ちもあったのですが
相手を愛する気持ちが止められず、別れることができませんでした。

次に私の家庭について
主人も私も娘をとても可愛いがりながら大切に育てておりそんな中
最近主人が2人目が欲しいと言うようになりました。

確かに、私にとっても娘は可愛いし
子供には兄弟がいた方が良いのではないかという漠然とした思いがあるため
作るなら今かなと思っているのですが、
彼との事が気になっています。

これから妊娠出産となると、約2年かそれ以上
彼との関係は諦めざるを得ないと思うし
きっと彼との関係は破綻してしまう…
彼自身を傷つけてしまうかもしれないから相談できない、
やっと子供の手が離れて自由な時間が出来たのに
また赤ちゃんに全てを捧げる生活に戻ってしまう不安、
主人よりも彼を愛する気持ちが明らかに大きいのに
主人との子供をもうひとり作ることに抵抗があるし
私自身彼のことが好きすぎて
彼を失ったら自分自身がどうなってしまうのかわからない不安があり、
どうしたら良いのか悩んでいます。

主人とはセックスレスではないのですが
彼との恋愛関係になってからというもの
頻度は減りましたし、主人のためだけに
乗り気じゃないのに、という気持ちが大きいです。

家族のために次の子供か
自分のために彼との恋愛関係を優先させるか
どうしたら良いか相談に乗って下さい。