継子の親権変更と養育費について

私の再婚相手には19歳（アルバイト）と17歳（高校2年）の息子がおります。
再婚相手は元の妻が去年の1月に一人で家を出、3月に離婚が成立しました。
そして、元妻は11月に再婚、そして私達が12月に再婚をしましたが、2人の息子の親権はこちらにあります。
私は今年5月の半ばより、夫の両親、息子2人と同居しておりますが、息子、特に次男の反抗があまりにひどく、私はストレスで子供も流れ、体調も崩し、現在はただ、次男を元妻の方へ渡したいという希望のみでおります。夫の両親や姉夫婦は元妻に渡すことに反対をしておらず、夫もそれを望んでおります。次男も『いつでも出て行ってやる』と言っているそうです。
しかし、元妻の方が引き取りを躊躇しており、なおもお願いすると『引き取ってやらないこともないが、親権まで変更されるのは、こちらにも都合があるので困る』と言っているそうです。

わたしは、ダラダラと過ごしている長男がいるだけでも精一杯我慢をしていおり、心身共にボロボロの状態ですが、それでも次男とも一緒に暮らさなければならないのでしょうか。
一旦決まった親権は、このような理由では変更できないのでしょうか。
元妻の方は、現在、大学教授の夫、小さい子供（夫の連れ子）の3人で暮らしているとの事。私の夫との離婚時に財産分与として300万、元妻には渡っています。
『預かるだけなら良い、親権は要らない』という返事は、『次男を預かってそだててやるから、養育費を払え』という意味なのでしょうか。
払わなければならないのでしょうか。