ご質問ありがとうございます

*''★ 回答のポイント''
''「事業譲渡」は、当事者が契約により個別に「合意」した権利・義務のみを移転させる商取引です。 したがって、「合意」のない部分まで引き継ぐ必要はない、逆に言えば、引き継ぎたくない部分は「合意」しなければよい、ということになります。''

''【解説】''
ご質問に「譲受会社」「譲渡会社」とあることから、相手会社の事業の一部を引き継ぐ『事業譲渡』を想定し解説していきます。

''当事者間の 「合意」 で決まる 『事業譲渡』''

基本的に「事業譲渡」は、(譲受会社側からみて)欲しいもの、(譲渡会社側からみて)譲りたいものを、それぞれの「合意」((債権者がからめば、同時にその「合意」も必要です。))により、現金と交換する商取引です。

こうした「事業譲渡」の性質からすると、ご質問の「商号」「金融債務」も同じ考え方で、相手会社の「商号」については、相手会社が「合意」すれば引き継ぐことができ、「金融債務」についても、引き継ぎたくなければ引き継ぐ必要はなく、あくまで個別の「合意」に基き移転の可否が決定されます。

つまり、ご質問の「債務を引き継がないようにする」ためには、単純に引き継ぎの「合意」をしなければよい、ということになります。

''会社のすべてを引き継ぐ 『合併』''

ただ、ご質問が「事業譲渡」ではなく「合併」を想定したものであれば話が違ってきます。　
「合併」は、「事業譲渡」のように欲しいものだけ引き継ぐわけにはいかず、相手会社のすべての権利・義務を引き継がなければなりません。　言ってみれば「相続」と同じです。

もしお話が「合併」を前提としたものであれば、すべての権利・義務を引き継がなければならない「合併」という事業取得スキームが適当ではないということになるかと思います。