酷いお話しですね。。。

大阪で設計事務所をしています。福味と申します。
類似のお話しを何度も聞きます。そもそも建築条件付と云う制度そのものが独禁法に抵触しないものなのか、法律家の意見を聞いてみたい思いです。土地を購入するのに好きでもない施工者や建築士に何故依頼しなければならないのか。この制度がある限り質問者さんと同様のトラブルが繰り返し行われるでしょう。
建築条件と云う胡坐の上で、自己研鑽しない建築士や施工者。仕事を安定提供する名目で工事代金や設計料を値切る不動産屋。この構図が無くならない限り優良な住宅を促進普及させる国交省の政策は絵空事です。
・土地だけ購入し建設業者を別業者に変更することはできますか。
建築条件付土地と云う事は、売主の指定する建設業者で施工する事が前提になっている土地です。基本的には買主が施工者を決める事は不可能です。但し交渉事ですので売主にメリットがあり、建築条件を外さないとデメリットが多いと売主が判断すれば、建築条件を外してもらえる可能性があります。以前私が経験した事例では、その土地が開発区画の残区画で売主が早期売却を願っていた場合とか、売主希望土地価格に建物建設で得られるであろう利益を上乗せした金額で土地を購入した場合とかで、建築条件を外してもらった事があります。
・土地と建物両方の違約金無しの契約解除は可能ですか。
契約条項の中に白紙解約についての条項があると思います。ローンが通らなかった場合とかは白紙解約できるのが常です。その白紙解約の条項に該当がなければ、買主都合の解約となり違約金が発生するかと思います。
・違約金を支払わなければいけない場合、逆に今までのことを考えて損害賠償請求はできますでしょうか。
建築士の善管注意義務違反の可能性があります。建築士そのものを訴えるか、売主も含めて訴えるのが良いのか（恐らく建築士と直接設計契約はされていないでしょう）法律家とご相談されると良いでしょう。また、訴える場合資料がどれだけ残っているかも重要です。自分が書いた間取りの原図かコピー等は手元に残っていますか？先方が書いてきた図面が明らかに写しただけと云えますか？その他に明らかに売主側のミスで損害を被った事例を立証出来る証拠がありますか？「コンセント位置をその日の内に決めろ」と云われた程度では訴える事はできません。具体的なお話しをもう少しお聞かせ頂ければお力になれるかもしれません。