前の飼い主さんに可愛がってもらえていない、と言う事は、男性に対して
あまり良い印象はもっていないと言うことですね。むしろ恐怖心を持っている
と言っても良いのかもしれません。

その場合、無視しても叱っても効果は期待できないでしょう。
叱ると余計に怖がらせてしまいますので、叱るのは止めた方が良いでしょう。

自分から積極的に仲良くなろうとか、慣れさせようとするのではなく、ワンちゃんの方から
近づいてくるようにさせた方が良いと思います。
まず、大好きなおやつを男性が持って、ワンちゃんにおやつを持っていることを分からせて、
男性はワンちゃんの目を決して見ないで、むしろ興味が無いくらいの雰囲気でおやつを
見せびらかします。目を合わせただけで怖がることもありますので、見ないようにしてください。
ワンちゃんは初めはおやつがあることは分かっていても、近づいてこないかもしれません。
それでもそれを繰り返せば、おやつの魅力に負けておやつだけを取りに来ると思います。
そしておやつをすぐに取りに来るくらいになるまで繰り返したら、今度は目を見てみましょう。
また警戒するかもしれませんが、警戒が薄くなるまで繰り返します。そうしたらおやつをあげる
距離を近づけて、例えば足を男性の身体に乗せないと取れない距離にする等、をしてみましょう。
そうやって自分から近づいてくるように仕向けると良いと思います。

すれ違う犬に関しては、その仔の性格を見ないと何とも言えませんが、時間を掛ければ
とりあえず吠えないようにはなると思います。しかし、とても繊細な問題ですので、
専門家の方に実際みてもらって相談されてみてはいかがでしょうか。