取引態様が売主の物件を仲介業者を介してしまった

貴殿は不動産屋さんにその物件を見られるようにしてほしいとおっしゃったわけですよね。
その際には、売買においてはその業者が仲介業者になるという意識はなかったのでしょうか？
業者のほうでは当然そうであると思ったのかもしれませんね。そこにボタンの掛け違いが生じているようです。

さて、媒介契約については、業者は依頼者に対して、物件の所在地や種別、取引価格、媒介契約の種別、媒介契約の有効期間、報酬金額などを明記した書面を交付する義務がありますが、媒介契約の書面交付がないからといって、貴殿が業者からの報酬請求権を絶対に免れるというわけではありません。口頭での媒介契約がすでに成立していたとされることもあるのです。

というのも、媒介業者にすれば物件を見せて、交渉の間に入ったのに、勝手に当事者が直接取引をすることができるのであれば、商売がなりたたないからです。判例でも、そのような直接取引の場合、業者の報酬請求（貢献に応じた額が多いです）が一定の場合には認められています。その根拠は民法の「条件が成就することによって不利益を受ける当事者が故意にその条件の成就を妨げたときは、相手方は、その条件が成就したものとみなすことができる。」という130条とされています。

もっとも貴殿の場合には単に見せてもらっただけの段階で、条件交渉も始まっていないようですので、訴訟では条件の成就を妨げたとまではみとめられず勝てる可能性も十分あるでしょう。最高裁判例やその後の判例は、業者が入って条件なども決めた後での直接取引の事案ですのかなり異なります。（詳細は回答補足のところを見てください。）

ただ、そのような問題がある状態であるということを認識されて、業者さんと話されてはどうでしょうか？

直接取引をするなら契約書から何からすべてご自身で確認される必要がありますし、重要事項説明という業者がしなければいけない説明を受けられないので、物件に何か問題がないか自分で調査しないといけません。業者は媒介にはいる場合には重要事項説明の義務がありこれを怠れば損害賠償請求されますので、報酬をもらう一方で一定の義務を負っていますし、制度的に買主の保護も考えられているのです。（もちろん業者の質によっては重要事項説明がきちんとしていないところもありトラブルになることもありますが・・・）