特別受益になりますか？

身に覚えのない特別受益を主張され、困っています。先日、祖母が他界しました。
祖母の子供は、長男、次男(私の父)、三男の３人です。
祖父と次男である私の父は亡くなっています。
祖母は私たち家族(次男家族)と一緒に暮らし、祖母の介護も父がしていました。
祖母は認知症でした。

いざ相続の話になった時、長男と三男から、

・今、祖母の通帳には600万円しかないが、古い通帳などを調べてみると、元々は2100万円ほどあるはずだ。
・毎月何度か10万円単位で数回引き出されている。
・祖母から、次男にお金をあげていると聞いた。
・次男はお金をもらっているはずだ。

と言ってきて、なくなった1500万円を返してくれと言われました。

しかし母も私も、父から、毎月祖母にお金をもらっていたなんて話は聞いたことがなく、父の通帳にそれらしき送金や入金もありません。

このような場合、裁判をしないと私たちは1500万円払うことになってしまうのでしょうか？
また、送金や入金の記録もないのに、私の父がお金をもらっていたということになるのでしょうか？

私と弟は、グチグチ言われるなら相続を放棄していいと思っていましたが、更にお金を支払えと言われ大変困っています。

初めて質問させていただくので、文章が分かりづらい点もあるかと思いますが、どうかお力を貸してくださいませ。
よろしくお願いいたします。