建築条件付をはずすためには？

１０月１日に不動産売買（建築条件付）の契約をし手付金１００万円を支払いました。その際、建築条件付をはずすことは可能だと言われました。しかし、契約書にはその文言は一切ありません。（３ヶ月以内に建物請負契約を締結しなければ、白紙撤回し、手付金も戻ってくることは謳ってあります。）
１２月２４日にそろそろ建物の仮契約（３０万）をしたいと言われました。実は不動産売買契約をしてから、一度だけ希望の間取りをこちらから提示したくらいで、その後、ほとんど先方から連絡もない状態でした。こちらもこの会社で建てるつもりはなかったので、希望している別の会社（数社）と間取りも含めて話を進めていました。先方はこれから間取りをつめて一月中頃には仮契約をしたいと言ってきましたが、二週間では到底決断はできませんし、先方も含め他社も検討している旨を伝えました。先方は、これから間取りをつめて納得してもらえるように努力する、それでもだめだったら、条件を外すことも考えられるが、今はその話はできない、と言われました。ただ、これまでに至る経緯や２４日の間取りの打ち合わせの雰囲気からして、どうも客の立場にたった接し方ではなく、まだこちらから提示した希望の間取りだけなのに、外壁やキッチンはショールームなど見てある程度決めて下さい、と言われる有様で、なんだかむなしくなりました。希望している他社は熱心にこちら側の立場に立って考えてくれるので、もう気持ちは他社に決まっています。そこで質問です。建築条件を外すにあたり、土地の購入金額が高くなることはやむ終えないのですが、穏便に条件を外すためには、どうしたらいいでしょうか？また、先方が建築条件を固持した場合は、諦めなくてはならないのでしょうか？条件を外してもいいことは、口頭のみなので、だんだん不安になってきました。専門的な立場からどうぞアドバイスをよろしくお願いします。