話し合いが原則かと思います。

文章から判断するだけですので、想像の域を出ませんが、手付とはどの様な性格のお金なのでしょうか？
普通に考えれば建築条件付の売建（建売ではない）の家を購入しようとされていると思いますがそうでしょうか？
純粋な請負であれば、手付金は存在せず、請負契約を締結します。売建住宅は売買契約が原則ですので、建物が完成するまで、売買契約を締結出来ませんので、手付金で買主を拘束します。その手のお金と考えて良いでしょうか？

手付金は、造り手からすれば、折角買主の為に間取りを特化させて家を造ったにも関わらず、途中で建築主の気が変わって、購入しないと云われてしまうと、特化させている分、他者に売り難い不良在庫として残ってしまう訳ですから、手付金を要求して購入の意思を示して貰おうとする性格のお金です。

何事も無く、スムースに話しが進めば、何の問題も無く売買契約が完了するのですが、今回の様に途中で話しがこじれれば、途端に手付金の金額が大きな問題となってしまいます。
手付金を渡した際に、手付金に関する取り決めを文書で売主（工務店）と交わされましたでしょうか。文書があればそれに則って話しを進められますが、無ければこれからの話し合い次第となります。

質問者さんからすれば、当然手付金の返還を要求されるでしょうが、相手さんも今までに要した費用を請求されると思います。建築確認申請等は申請されているのでしょうか？されているのであれば、５０万円前後の費用を請求されるかと思います。申請がまだであれば、プランニング一回当たり５万円として１５万円前後が妥当でしょう。

いずれにしても、文書による取り決めが無い場合は双方の話し合いが原則です。