以前、中古住宅購入の際のトラブルで相談したものです。

先月軽駐車スペースありの物件を購入し、実際にはスペースが狭く軽自動車でも車庫証明が取れなかったと質問したのですが
その際、こちらでとても参考になるアドバイスを頂き、仲介の不動産屋へ相談しました。
後日、売主・売主側不動産・買主（私たち）・買主側不動産の四者間での話し合いの場を設けてもらいました。
その時の売主さんからの話の内容です。
・私道部分にセットバックがあり、下がった為、駐車場が狭くなった。
・セットバック部分は分筆していないから自分の土地。そこを含めて車庫証明を出したり、車を停めるのは問題ない。
との説明を受けたのですが、本当でしょうか？
不動産屋さんもセットバック部分を駐車場の一部として使う事は、法的に色々な解釈があるから車を停めても大丈夫なのでは？と言っているのですが実際にはどうなのでしょう？

現状は引っ越し前から向かい側の住人から「セットバック部分は駐車場ではないから車を停めるな！」と注意を受けています。
（今回のトラブルが解決していないので、引っ越しが先延ばしになっています）
どちらが正しいのか・・・どちらにせよ近所とのトラブルは避けられないなと思っています。

購入前はこんなにもめ事になるとは思っておらず、普通に軽駐車スペースのある住宅を買って、普通に生活ができると思っていました。
こうなるのであれば、仲介の不動産屋さんにもっと詳しく説明してもらいたかったし、購入しませんでした。
可能であれば売買契約を解約したいのですが、今さらそんなことは可能でしょうか？