追突事故後の治療費について教えて下さい

７月末に追突事故を起こしました。事故処理の際、警察の方は「この程度のスピードなので、軽いムチウチ程度でしょう」と言われましたが、私自身が追突されてムチウチで苦しんだ事があったので、お相手に「体に何か少しでも気になることがあったら、すぐに病院へ行って下さい」と伝えました。相手の方は「今は何ともないが、肩の持病があるのでまだ分からない」と答えられました。
３日後に相手方へ謝罪へ伺った際は「大丈夫です」と言われたのですが、その後、首の違和感で病院へ行かれ、異常はなかったものの、事故をきっかけに持病が悪化したのかもしれないという診断で、保険会社から治療費の支払いが始まりました。２週間経って「お加減はいかがですか？」と電話したところ、「仕事にも通常通り行けているし、大丈夫ですよ」と答えられました。心配していましたが、相手の方の職場が私の自宅の近所で、元気にごみ収集の仕事をされている姿を何度か見かけ、大事に至らなかったことを安堵していました。
ただ、現在でも通院と治療費の支払いが続いています。理由は「腰痛」との事。私は加害者なので治療費は誠意を持って支払う義務があると思っていますし、「腰痛の治療費まで払うなんて、お金を巻き上げられているだけでは」と周囲から言われても、事故をきっかけに発症したものかもしれないと思い、保険会社にも異議を申し立てず支払いを続けてきました。
しかし、昨日になって、お相手と同じ職場で働く知り合いが、事故のお相手が「７月中旬に妻が手術を受けたので、その費用を通院して稼ぐ。ちょうどいいタイミングに追突されてラッキーだった」と言っていたのを聞いたという話を耳にしました。私が自分の耳で直接お相手の言葉を聞いた訳ではありませんが、何とも言えない気持ちです。できることは誠実に対応きたつもりなので、いけないと思いながらも疑ってしまいます。
今の状態はどうすることもできないのでしょうか。私が加害者である以上、お相手が「痛い」と言われれば治療費を支払い続ける義務がありますか？また、お相手が通院を続けられた場合、私の免許取り消しや保険料の大幅な値上げがあるかという事が心配です。（現在の支払い済みの治療費は８０万強です。）
ご回答、よろしくお願い致します。