こんにちは、スノー２２５０さん。

このような状況の時の対応はハラハラして困りますね。
かけてきてくださった方に「申し訳ございません、ただいま別の電話にかかっております」
というのは失礼にはあたりません。むしろ、その後に続く対応がとても重要です。

上司が別の電話にかかっていて電話がすぐに終わりそうにない場合であれば「少々長引くかと思います」と状況をお伝えした上で、「終わりましたら、こちらから折り返しご連絡を差し上げましょうか」と代案をプラスします。
また、上司が話している様子からクレーム対応や状況説明などで長引く可能性がある場合、折り返し電話が出来るおおよその時間をお伝えすると安心されます。
例えば、３０分くらい長引きそうな場合は「３０分後くらいにはお電話出来ると思いますが宜しいでしょうか？」など伝えると、先方様も、その時間ならこのまま電話を待つことが出来るとか、一旦、外に出て来ようなど、お客様に待ち時間の過ごし方を考えて頂くことが出来ます。

お電話を下さった相手にも予定があり、また電話を取り次ぐ上司にも予定があります。電話で話しをしたいお２人の中を取り持つことが電話を取り次ぐあなたの役目です。
お電話を下さった相手には折り返しの電話を待っている間、無用な時間を過ごさなくても良いように対応し、長引いている電話対応をしている上司には伝言メモで、電話がかかってきていることを伝えるなど、双方への気配りが大切です。
相手の立場に立ち、スムーズに仕事が進むために何をしなければならないのかを考えた行動をすることが大切ですね。