お世話になります。よろしくお願いいたします。

・父から相続した物件を賃貸しています。
・平成１９年の暮れに引っ越した為、
平成２０年の確定申告（不動産所得が赤字となるため還付を受ける）を従来からの住所の税務署と、引越した先の税務署と、どちらに出して良いか判らず両方に出しました。
・どちらか正しい方から還付があると思っていたら双方から還付が来てしまい、相当遅れてから（先月）税務署から呼び出しがありました。
・税務署の方が言うには『わざと二重にもらう為に提出したんだろう。意図的にやった事の他これからこちらが指摘することを認めなければ追徴等ではすまされないし、詐欺として国から訴えられてもしょうがない。』のような言い方をされていますが、本当に知識がなかった為というのは真実であり（事前に税務署に確認すれば良かったとは思いますが）意図的とは決して認めていません。

?国税局のサイトを見ても、「所轄税務署長の処分に不服がある場合、１．異議申立て⇒２．審査請求⇒３．訴訟・・・と手続出来る」と書いてあるりますが、今後の処分に不服がある場合、まさにこうした手続を踏んでいけると考えてよろしいのでしょうか？

?今回のように税務署に一方的に「悪質」と捉えられている場合、本当に国などから詐欺等で訴えられる可能性があるのでしょうか？
（上記?のような手続も踏ませてもらえずに、いきなり訴訟というパターンは有なのでしょうか？）

ご多忙中申し訳ございませんが、何卒ご教示をお願い致します。