特定口座を源泉徴収ありにするメリット・デメリット

特定口座を「源泉徴収あり」にするメリット・デメリットについて教えてください。（２社の証券会社で開設する前提）

【前提】
・会社員です。転勤で持ち家を貸している関係で、毎年確定申告しなければなりません。つまり、確定申告自体はそれほど苦にならない（毎年しなければならないので・・・もちろん記入はシンプルで少ない方が良いですが）。
・２つの証券会社で株や投信などで特別口座を開設した際、「源泉徴収あり」とするメリットは何でしょうか。

例えば、

【株や投信でマイナスとなった場合】
両方マイナスだったら問題にならないですが、一社マイナスで一社プラス（源泉徴収されてしまっている）の場合、取り戻す申告（記入）をする分手間です。「あぁ特別口座（源泉徴収なし）にしておけばよかった」ということになりますよね。


【利益が２０万円以下の場合】
申告せずに税金を払わなくてよかったにもかかわらず、特定口座（源泉徴収あり）にしたために税金を払うことになってしまった。これも、「あぁ特別口座（源泉徴収なし）にしておけばよかった」ということになりますよね。

【利益が２０万円超の場合】
通常、確定申告しない人にとっては、申告不要な「特別口座（源泉徴収あり）」にしておいて良かった・・・となりますが、毎年申告する人にとってはどっちも同じです。

てことで、毎年確定申告する運命にある人は「特別口座（源泉徴収なし）」を選択すべき、という結論でよいでしょうか。