借地の法律っておかしくない？

法律的な事はまったく分からないので質問させて頂きました。どうか回答お願いします。
50年ほど前に祖父が当時使用人であった人に自分の家の敷地内に家を建てる事を許しました。20坪ほどです。その時（Ｓ42年）に建物は使用人が登記しています。土地は当初は好意で貸していたようです。何年（何十年？）か経ってから口約束にて月13000円の賃料を貰い始めましたが固定資産税は祖父が払っておりました。
その後、その方が亡くなり少々知的障害のある息子が行く宛がないとの事で引き続き１人で住んでおりました。こちら側も祖父母も亡くなり子供達が賃料を受け取っていましたが書面での賃貸借契約書が無く建物も老朽化が進んでいた事からＨ21年に息子さんに出て欲しい旨を言った所、行く宛がない・・との事で仕方なく念書を取り交わしました。
内容は1.賃料13,000円／月は据え置くものとする。2.借地に関しては本人の代までとする。3.返却時は建物を解体し原状回復し返却する。
その費用は借主が負担する事とし、10年間5,000円／月を積立として預託する。期間中死亡の場合は契約を終了とし解体の不足分は貸主が負担する。といった内容です。その後、借主が高齢で身体が不自由になり、区の介護福祉士が世話を始めました。身寄りも無く障害もある為、大家である叔母が福祉士とやり取りまでしました。そして施設への入居準備を進めている時に脳梗塞で急死しました。孤独死扱いで警察の調べも入りましたが事件性は無いと判断。当方としては建物の解体も考えていた矢先、突如借主の相続財産管理人の弁護士より連絡があり、土地の明け渡し希望の場合は、借地権があるので路線価に基づき一般的な割合の60％で870万ほど支払えと言ってきました。
？？？？
なぜここまで面倒を見てきた貸した側が土地を返却してもらうのにお金がかかる？これまで祖父の好意で今の時代でも２０坪もの土地13,000円で貸していたのに好意損ですか？念書も取り交わして本人は納得していたのに何で？
様々な思いで民商の紹介で相談もしましたが、
1.身寄りが無く相続人がいない場合は、相続財産は法人（今回は相続管理人）である。
2.相続管理人は財産の保存行為を行う。
3.念書は契約書では無い為、無効である。
申し入れを受けるのが早期解決との事でした。いくらなんでも理不尽さを感じずにはいられません。
何か少しでも最善策は無いでしょうか。とても困っています。