この問題は借地権があるかどうかによると思われます。

0905calon　はじめまして
税理士の柴田博壽ともうします。
通常、他人の土地の上に居宅を建てる場合、借地権相当の権利金等を支払ったうえ、相当の地代の支払いを行うことになります。
借地権割合は、地域により差はありますが、都市部で概ね５０~７０％です。土地の所有者は、この権利金をもらうことで土地の一部を売却したことと何ら変わりがないことから譲渡所得としての納税申告を行うことになります。
これに対して、土地の所有者が親族等の場合、権利金、地代ともに無償で、その代り土地所有者の都合で建物を取り壊し、いつでも土地を明け渡しに応じることを前提条件に居宅を建てているよくあるケースです。この場合の土地の所有者は、譲渡でも贈与でもないことから、なんらの課税問題も生じないのです。
前者を「賃貸借」といい、後者を「使用貸借」といいます。
土地の所有者の相続税評価額は、「賃貸借」では、底地権割合（３０~５０％）のみであるのに対して、「使用貸借」では、建物はないものとして更地（１００％）での評価になります。
使用貸借であれば、借地権がないため、法的に保護されるものがないことから、譲渡対価も土地の所有者に土地の対価を支払ったものと思料されます。
立退料等を支払うかどうかは、使用貸借を行っている当事者間で話し合いということになるかと思います。
ご参考になれば幸いです。