キャンセル料について腑に落ちません！

先日、あるネットで拝見した家具屋さんに在庫商品に限定して、お電話で色々とお聞きしながら商品の発注と同時に代金を振り込みました。
何故ならば、商品を他のお客様に売れない様に売り止めをしないと・・・と言われ、その日に金額を振り込みました。 しかし、実際の家具の大きさのイメージを見ていないので（寸法は確認済）心配になり翌日その家具屋さんに出向きましたところ、思っていた以上に大きさがありキャンセルをしたところ、メールでお見積書と注意事項をお送りしてあるように、キャンセルの場合には商品代金の２０％をペナルティーとして頂きますと言われました。
後でメールにある注意事項を読みましたところ、やはりその旨のことが書いてありましたが、見積書しか見ていない私がどうしても１００％悪いのか、それとも、初めてのお客さんに売る時に口頭での説明もなく、一方的にメールで注意事項を送ってありますからと言われてしまい、どうしても納得がいきません。
当初の見積金額は６０万円程度でしたが、サイズのイメージが現物を見たときにあまりにも大きくその内５０万円程度の家具を翌日お店でキャンセルしました。
結果、５０万円の２０％に相当する１０万円を取られてしまいました。

ちなみに、その家具屋さんは海外で輸入を中心にしているお店で、確かに在庫の無いものであれば海外に発注をすることになりますが、そうではなくてあくまでもお店に展示してある家具を条件として頼んだ訳ですから、キャンセル料が１日で１０万円とは納得できません。
この様な悪徳な商売がまかりとうるのでしょうか？
適切なご指導をお願い致します。
今は消費者生活センターに相談しようと考えています。