贈与税

20年ほど前に義父が退職金の一部700万円程を主人の名義で定期貯金をしました。ただ、印鑑も義父のもで、主人は知らないことでした。
そのような定期預金があることを3年ほど前に初めて知らされました。
それからは、将来孫の教育費に使うようにと、その定期預金から年間に110万円にならないように不定期に私と孫2人（中2、小6）にくれたものを、それぞれの印鑑で通帳に入金しています。一部は定期預金にもしています。
ただ、贈与契約書は作成していません。
これって義父が亡くなった場合問題になりますか？
義母は健在で主人は一人っ子なので、相続の対象者はこの二人になります。