大阪で設計事務所をしています福味と申します。
注文建築で建てたとの事ですので、当初からの経緯がどの程度資料として残っているかで対応が変わってきます。
初めに、不動産屋さんの大なり小なり違反はしているとの発言ですが、かなり時代錯誤しています。現在は摘発を受けた時の損害の大きさから、故意に違反するケースは殆ど見受けられません。違反すると新聞沙汰になります。先日もマンションが容積率違反した事が建築主の実名入りで報道されていました。２０年前であれば不動産屋さんの云う通り誰でもしていた事です。
不動産屋さんの発言の意味するところは、「スピード違反は大阪市内を走っていれば１０ｋｍ程度は常識的に違反してるから、生真面目に制限速度を守るのはバカらしい」と言う思いに等しいかと思います。しかし、１０ｋｍでも捕まる時は捕まります。その時に違反していたのは自分だけではないとの抗弁が通用するでしょうか。
まして反則金程度では済まない社会的な制裁が科せられる建築の違反は、誰でもしてるからと云った単純な発想で法の目を潜る様な事をしてはいけないのです。

ここで質問者さんの立場をはっきりとさせる必要があるのですが、違反である事を何時認識されたのでしょうか？
工事の前から違反である事を聞かされていたのでしょうか。それとも摘発を受け、その時初めて不動産屋さんに訴えたところ「違反は大なり小なり・・・」の発言があったのでしょうか？。
後者であれば質問者さんも被害者です。「行政に対しては不動産屋、工務店、建築士には免許があるので、引き渡し後に自分達と外構屋で行ったことにして」と言われても承知する必要もないのです。

「行政に言われたのですが建築確認図面では違反部分には工作物は無く斜面になっていると言われ、建築確認書類を見ると打ち合わせ時の図面と全く違うものです。こういった事が許されるのでしょうか？」建築確認申請は斜面になっているとの事ですので、斜面の状態で検査を受けパスさせた後に、外構を改造したのでしょう。あくまでも外構の改造が違反である事をどの時点で質問者さんが認識したのかが問題となります。

「行政に相談してもダメでしょうか？」行政は処分を執行している様ですので、これ以上は関与しないと思います。今後は民事事件としての話しかと思います。自分が被害者である事が証明できるか、相手にどの様な償いをして欲しいのかで今後の道が別れるかと思います。