適正価格？

契約もしてなく、手付けも支払われていない状態なので、5500万の買い主が現れたのが事実であれば、その現れた時期には関係なく、5500万がその価格になってしまうのでしょうね!
信義を重んじる業者であれば、自分の吐いた数字には責任を持つのでしょうが、この営業マンには、そんな心も権限も持っていないようです。せめて心だけでもあれば、もう少し納得できる説明と謝罪があるはずです。

気に入った不動産にはなかなか出会えるものではありません。
不愉快ではありますが、簡単にあきらめるのはもったいない気がします。

その営業マンは、その建築条件付の土地を所有販売する会社の社員なのでしょうね!

どうしても買いたいと思うなら、もろもろの不愉快なことには目をつぶり、
自分が納得できる金額を適正価格とおもうしかないでしょう。

それなら、不動産会社へ直接出向き（＝社内には決裁権者がいるはず、上司に相談しての逃げ口上が使えません）、
営業マンの言葉を盾に、金額交渉、金額を決めれば、その金額の買い付け証明書を交付。
その場で、売り渡し承諾書の交付を受ける。確実とはいえませんが、それで一応金額は確定します。
契約までには、まだ詳細の詰めが必要でしょうが、担当者は変更を求め、いやな思いは断ち切りましょう。

ただ心配なのは、不誠実さが会社そのもののものでないかということ。土地の購入だけなら、買ってしまえば終わりですが、建築もということになると、その辺りの見極めも必要です。そのことがより気になる部分です。