同棲解消した元カレから慰謝料請求されそうです

9か月付き合い、8か月同棲。同棲時結婚する訳ではないからと両家に挨拶などなく同棲解消まで一緒に住み半年間、毎月10万円(生活費3万＋貯金7万)ずつ預かり、別れ話時にその40万円(7万×6か月、ー18000円は彼の速度違反の罰金支払う)と家の鍵を渡すも受取って貰えず。理由はたまには遊びに来て、別れたくない、俺は認めないとの事。

後日喧嘩し豹変「その内、金と鍵送っておいて」→「すぐに返せ」→「形の残らない方法で返せ(振込、現金書留など不可)ポストへ現金をそのまま入れておけ」との事で何かあっても困ると悩み私名義の口座に40万入金、そのキャッシュカードと暗証番号を相手の家に置き(この方法が犯罪にならないと銀行窓口、私の所在地警察へ確認)鍵はポストへ返却、が「俺が犯罪者になるだろう！引き落としたら通報して犯罪者にするつもりだろう！」と憤怒。

何警察、銀行に聞いたか言えと言われるも現住所が見つかると困る為言えずにいると「俺の所に来るか、俺がそっちに行くか、言えないなら実家に行く、出てこないなら火をつける」と朝3時に実家に向かい、104で調べ同じ苗字の別の家に朝5時くらいに電話した様です。
恐くて警察に通報、彼は実家から500ｍ先のコンビニで身柄拘束→同棲していた家の管轄の警察署にて警察立会いの元、40万円を返金。
その際の条件、私：もう実家や私の周辺に近づかない、慰謝料請求などされてもこの40万円以上は返金できない。もうこれで縁を切る。
彼：40万円は返せ、同棲していた家の周辺に近づくな、謝罪しろ、無理なら両親から謝罪させろ、これで縁を切る、気が済まなかったら後日訴える。との事でその場で謝罪しましたが、実家付近へ行った際にストーカー呼ばわりされた事の名誉棄損、精神的苦痛、屈辱、夜も眠れず仕事に行けないなどで慰謝料請求すると連絡が…

同棲時、世帯主は別々で婚約(両家への挨拶、結納、指輪貰うなど)なし、私は生活費など出してませんが彼の罰金を銀行で支払う、彼の住民票申請で役所に行く、料理、掃除、ゴミ出し、洗濯、朝起こすなど家事全般をし、主婦のような生活でした。モラハラ原因ですが親の具合が悪いと嘘を言い別れました。警察に言われラインは履歴削除(火をつけるなどはスクショあり)、怒号の通話は録音済です。私は実家とは違う所(住民票移し済)在住。訴状が実家に届いたら受取った方がいいのでしょうか？また私は負ける可能性がありますか？