私道への住宅建築について

建売住宅を購入したのですが、土地が１７件で共有、北側に私道があります。

南側の家と中心線から２ｍずつ出し合って、いずれ４ｍの道路にすると聞いていたのですが、南東角地の家の方（隣）が、立替の時に中心線まで建てる予定だと言っています。その方の家は、東側に公道があり、セットバックすると家が建たない程狭くなってしまうので、リフォームを繰り返しながら少しずつ飛び出して家を大きくされていました。東西に長く１５ｍ程で、セットバックすると東側の間口がさ３ｍにもならないようです。
その方の家の南側はドラックストアなのできちんとセットバックされています。

共有と言う事で売りに出しても売れずに、そのうち８件が崩れかけた状態で放置されています。
南側も長屋が残っています。

将来的には、出来れば私たちが出て行くのが一番なのですが、いっぱい迄建てられてしまうと、先々自宅を取り壊す事も難しくなるのでは、と心配です。
西側道路まで通り抜けできますが、北西角のお宅がマンションにされて中心線まで、外壁が建てられ狭いです。マンション自体はセットバックされているようですが。

南側のお宅はそれぞれに分筆されているそうです。

空家が多いため私道の水道工事は出来なかったようで、市の方で無料で道路の舗装や水道管の工事をしてもらったそうです。

市の方ではただなら公道として買取りますとの事だった様ですが皆さん反対されたそうです。
空家が多く転居先も皆さん解らない状態です。

もし隣の方がセットバックをしないで、建てられるなら反対するつもりですが、やめさせる事は出来るのでしょうか？
隣のご家族はそれぞれに知的障害、軽度発達障害のようで、まともに話し合いは難しいです。

宜しくお願いします。