工事請負契約解除後の請求について

新築工事請負契約を業者と締結しました。打ち合わせ期間において一ヶ月以上こちらからの連絡を無視されたうえ、記載した着工日の一月前の時点でベースとなる簡易な平面図しか出来ておらず、見積もり、仕様書など未作成だった事、その理由について「甘えており、さぼっていた」と認めた事から工事請負契約を解除し、手付金を返還させました。新たに他の業者を含めて検討した上で、万が一また依頼する場合には、改めて着工日等設定し、契約し直す事に双方合意しました。（紙面等はない）その後、その業者は引き続いて図面等をメールで寄越してきたので、あくまでも依頼先の候補の一つとして、それに対する返事をし、見積もり書を頼みました。他の業者についても同様に見積もりや図面の作成依頼を行いましたが、契約に向けての企業活動の一環なので、料金は発生しません。結局、他の業者に施工を依頼する方向で考えていたところ、先の業者からプレカット等作業に入りたいとの連絡を突然受けました。契約は解除したままだし、新たに施工依頼する気はないと断ったところ、契約解除自体は認めましたが、その後も契約なしで色々書類を作成させられたと主張し、そもそもの最初の段階からかかった全ての書類作成代及び経費を請求してきました。契約解除については、向こうの非による約款違反での解除であり、業者側にかかった経費を払う気は有りません。また解除後の一連の経費についても、契約する旨を口にしたこともないので同様です。話し合いたいのですが、契約解除に至った経緯や責任を一切棚にあげて裁判沙汰にする等のメールが一方的に届き、話になりそうにありません。内容証明等の手段が必要でしょうか。請求に答えなければならない部分はあるのでしょうか。逆に家の完成や引越し時期が半年近く遅れ、家賃の面や妻の仕事の退職時期についても大幅に計画を狂わされ、こちらが家賃分を損害賠償請求したいくらいです。