不動産会社が仲介か売主かによります。

はじめまして。大友哲哉と申します。
こちらではFPとして登録していますが、不動産取引もしていますので、参考になればと思います。地域による商慣習の違いもありますので参考までに、ということで。

まず、取引の態様について確認しましょう。その不動産業者が仲介（＝媒介）なのか、売主（または代理）であるか、です。

売主（または代理）であれば、申込証拠金制度のようなものがあるかもしれません。具体的には、新築マンションやある程度まとまった数の土地や戸建の分譲の場合です。ちなみに、この証拠金は預かり金ですので、契約しない場合は返却されます。

つぎに仲介（＝媒介）の場合は、申込証拠金制度は一般的ではありません。では、すぐに契約するしかないのか、というとそんなことはありません。「買付証明書」（購入申込書）と言う書類がその替わりとなります。それから契約条件の調整などを行い、最終的に契約となるのです。このときに費用は一切不要です。契約にならなくてもペナルティはありません。

義理のお父様の言うところの「申込証拠金」は、新築マンションか、新築戸建分譲で、売主＝不動産会社だったのではないでしょうか。契約前に「買付証明書」のような書類に記入しませんでしたか？　売買の契約は準備が大変なので、口約束だけでいきなり契約というのは、あまりないように思います。

もう契約してしまった以上、業者が信用できないから、という理由で契約解除では違約金が発生するでしょう。有料でも専門家に相談するのが良いかもしれませんね。