土地の通行権トラブルについて

広島県在住の31才男性、会社員です。
専門家の皆様方のアドバイスを宜しくお願い致します。

結婚を機に一戸建てを新築することになり、親族から紹介して頂いた不動産会社に土地を探して頂きました。
ご提案頂いた土地は「50坪・700万円」という好条件の宅地で、立地も環境も良いため妻も私も非常に気に入りました。
しかし昨日、売主と不動産会社の担当者と私の3名立ち会いの下で重要事項確認説明書の確認をした際に問題が発生致しました。

「第３者による占有」の箇所に「有り」と記載されておりました。

実は私が購入予定の宅地は、隣接した農耕地を使用している男性が「トラクターが通りやすい」という理由で通行をしております。
（農耕地への入口は他にも有ります。）
売主と男性が知人であるということで現在は通行を許可しており、その旨は私も存じておりましたが、不動産会社の担当者からは「売買契約までには通行許可を解除するので問題ない」「仮に通行権を主張しても法的には男性は何の権利もないので大丈夫」と説明を受けておりました。

その一点が不安だったため以前から何度も担当者に確認をしてきたのですが、その度に「問題ない」と断言し、昨日の重要事項の説明の際に突然「通行の許可は解除できていない」と言い渡されました。
しかも、売主と男性の間に交わされた「覚書」まで存在しており、不動産会社の担当者は「このまま強引に家を建てると、○○さん（←私）が賠償金を支払う可能性がある」「トラクターが通行できる場所を確保した状態で家を建てることになるかもしれない」と言い出す始末。
売主側は「通行権の解除は買主側で交渉すると言っている」と聞いていたそうで、結局昨日は契約には至りませんでした。
また、覚書には「耕作期の通行を許可する」「地役権は無し」と記載されており、その契約を破棄した際の罰則については明記されておりませんでした。

不動産会社の言い分を信用していたため、既に工務店と新居建築の請負契約を交わしており、中断する場合は違約金が発生致します。
私たちもその土地で建てたいと思っております。
改めて男性側と交渉を試みてみる予定ですが、仮に交渉が決裂した場合は法的手段を用いて強引に建築を進めることは可能なのでしょうか？

専門家の皆様方のアドバイスを宜しくお願い致します。