書面での建築工事請負契約締結前の契約成立について

建築工事請負契約の口約束は、建築工事請負契約締結とみなされるのでしょうか？

建築工事請負契約締結時に、希望した間取りとは違う間取りが建築工事請負契約書に示されていたため確認をしたところ、「工法は変わるかもしれない」「値段は上がる」と言う回答だったため、相手のいい加減さに不安になり、契約はきちんと納得行くプランの後に締結したいと申し出たところ、契約締結の延期は出来ないと言われ、出来ないならば契約しないと言うと、更には「土地の契約も白紙に戻す」とも言われました。
上司に相談しに行き、土地契約はそのまま続行となり「担当を変えるので、再度うちと建物の契約を進めて欲しい」と言われたが「土地の契約も白紙に戻す」とおどしのような事を言われたので、後日お断りしました。

経緯としましては
・ハウスメーカーにその不動産部門から土地（建築条件なし）を紹介してもらい土地の売買契約をした。（同日のその後建築工事請負契約へ臨んだ）
・建物の契約の意志はあったが、プランが定まり安心してからとずっと伝えていた。
・土地の契約をせかされいつの間にか同時に建物も一緒でなければと言う話になってきた。（建築条件付と同じ意味なので、土地の値引きを申し出たが無理だった）
・土地の契約の期限はもう延ばせないと言われ、建物の契約も〇〇日にするので待っ て欲しいと伝えたところ、465,000円を払えば待ってくれると言われ支払った。（真剣に契約を考えている意志の表れまた契約期日延長の手段として）
※465,000円を支払った日には、お金の性質の説明および「建築工事請負契約」の内容の説明は受けていない。（説明を求めなかった理由としては、上記〇〇日に契約するつもりだったので遅かれ早かれ払うお金であろうとの思い）（領収書には請負工事代金：本体工事：契約時となっている）
※待って欲しい理由は、世話になったハウスメーカーをきちんと断ってからにしたかった。（相手方にも伝えた）
※土地購入に辺り、１番手の買い付け者がいて、内部的に色々あった模様

現在このような状態で相手方と話し合いがもたれる予定です。465,000円全額を返還請求するつもりですが、法的に可能でしょうか？民法上は、口約束でも契約成立とありますので心配です。しかし建設業法・消費者契約法で考えると契約成立にはならない気がします。アドバイスお願いします。