相続財産の建物に使用貸借件をもっているという考えられますね

「弟に家賃請求しないかわりに貴方の会社(工場)の家賃を免除する」とされたときに、法的構成を整理されていなかったので、相続になって整理しないといけなくなったわけですね。親類であれば契約書をつくったりしないのでこういうことはよくあるかと思います。

しかし、今になって法的に整理して考えないと、相続がうまく処理できないのですね。

さて、当時、税務上も貴殿の家賃はなくなったという処理だったのでしょうか？
そうであれば、その時点から賃貸借ではなくて使用貸借という権利になったというのが事実に近い法的な整理になるように思います。使用貸借は無償で使用する権利です。
あるいは、弟さんの家賃を父が立替えるので貴方からの家賃とお金のやりとりをするのが面倒なので相殺したという解釈も成り立ち、その場合は弟さんは支店の賃借人になります、そして貴方の会社は、工場である建物の賃借人になります。

いずれにしても、工場の利用権は設定されていると考えるべきです。なぜなら、そうしないと貴方が不法占拠していることになるので、おかしいですよね。そのときでも、貴方の会社は工場のある場所の土地までは借りておらず建物を借りているだけです。

なお、相続財産の工場のある土地建物の価値ですが、そこに貴方の会社の利用権が設定されているため、財産価値は利用権がないときより下がっています。利用権の設定を受けたことが貴方の生前に受けた利益であると考えられるので特別利益として考慮され、理論的には利用権が賃借権か使用貸借権なのかで特別利益の金額は異なることになります。そして、特別利益の分だけ貴方の相続分が減るという主張を他の相続人がすることができます。

今後、なにより重要なのは相続で貴方と弟さんがどういう遺産分割協議をして遺産を相続されるかでしょう。税務上の問題もありますので、具体的な資産をリストアップして弁護士・税理士に相談されたほうがよろしいかと思います。