職場の妄想的な男性について

私は４０歳既婚女性です。
２年程前に、同じ職場の男性（４０歳、既婚、パートタイマー）に軽いストーカー行為を受けました。
帰りに待ち伏せ、から始まったので一人で行動せずに友人と帰るようにしたのですが、今度は電車の乗換駅（ここから私一人になる）で待ち伏せするようになりました。
仕方なく、乗り換えも同じの知り合いと帰るようにしたら、朝出勤時にその駅で待つようになりました。
そして「僕が隣にいたのに気付かないわけがない。何故無視をするのか」と口を震わせ、真っ赤な目で詰め寄ってくるのです。
刺されるかと思い、言葉を濁すしかありませんでした。

同じフロアで仕事をする人なので邪険にするのもなあ、とあいまいな態度をとった私も悪かったのかもしれません。
が、あまりにしつこいので「怖いよ。もう話しかけないで！」と伝えたところ、「人をストーカー扱いして！」「僕らの今までのことを皆に話す（別に何もない）！」「いったい僕が何をしたというのか！」とすごい剣幕で怒鳴られ恐ろしい思いをしました。

それから２年。
ちょっとした私のミスに対しても、私のいる事務所に乗り込んできて口を震わせて怒鳴るのです。

自衛の為の彼の理屈っぽいクレームにどう返事していいかわかりません。
なにかというとすぐ法律を持ち出し、自分は今までにもこうやって人に勝ってきた、とおかしな武勇伝を語る彼に辟易しています。
また、自分が定職に着かないのは自分は作家になるためだそうです。
文学・音楽・法律、なんでも得意だそうです。

こういう人が何か言ってきたときはどう対応したらいいのでしょうか？
無視？
口論？
どっちも怖いし憂鬱です。
今は私は通勤手段を車に変えたので通勤途上は問題ありません。
ちなみに職場の同僚、上司はこのことを全て伝えてあります。