退去について

現在の状況（環境）なんですが、
・私は3階に住んでいるのですが、先日上階の住人が夫のＤＶ被害でベランダをつたって深夜に避難（布団ばさみなどの破損あり不法侵入になるんですが・・・）してきた。
その時の大家の対応が他人事（世間話）のようなかんじであった。
別居することになったが、ＤＶ加害者の夫が残っている状態で最近妻も帰ってきた。
上階の郵便ポストが変形するほどに曲がりいがんだ状態になっている（誰がしたのかは不明）
窓を開けるのが不安。女性の避難以外にも、警察に保護連絡をしたことなどによる加害所の逆恨みなどによる何らかの被害を受けないか不安。
（以前にも何度かＤＶ疑い警察通報したことあり。）

・引越しする旨を伝えようと大家（管理人）さんに連日1日に何度も電話するがつながらず留守番電話にもならず、契約書では1か月前には引っ越す事を連絡するになっていたのでファックスで退去連絡を最終的に行った。
その日、ファックスの送り先に連絡がきて、インターネットで何でも分かるんですよ（ファックス先の連絡先）、お金は返りませんからなど不審者扱いされてるようにとらえてしまう不快な内容の対応であった。（電話先の夫は大家さんと面識なしであったにもかかわらず）また、折り返し仕事中に大家さんから連絡をもらったようだが、マナーモードで（ファックスした日）連絡取れなかったことに対し、お宅の奥さん着信拒否してると（たった一回の電話で）いわれる。そのごも時間を変え連日電話するが連絡が取れず、また大家さんからも連絡なし。

・保証金は350000円入れている。
・10年住んでいる（バブル時期の物件）家賃滞納なし
・ペット不可ではないが、未申告で猫を飼っている
一部壁紙がボロボロ、フローリング一部シミあり（気になる点）
・退去理由は、気に入っている物件ではあるが他住民による安全への不安

350000円以上の改修費を請求されることはあるのか？
また、引っ越し先を大家さんに伝える義務はあるのか？

修理は実費ですと何度も言ってくるが、一方的にこちらが悪いような感じの対応を受ける。
正直、大家さんの電話対応に関して精神的ストレスがかかるくらい苦痛な状況。
こちらから言われたことに対して知ってる知識をいうと
素人やから分かれへんと切り捨てられる。

少しでも、こちらが有利になる退去方法はないでしょうか？