最終的には、事情次第ですが、可能性としては、あなたのご希望と反する可能性はあります。

本件のような貸し借りは使用貸借と言います。

民法第５９３条
使用貸借は、当事者の一方がある物を引き渡すことを約し、相手方がその受け取った物について無償で使用及び収益をして契約が終了したときに返還をすることを約することによって、その効力を生ずる。

これは無償のものですので、親族間でされることが多く、身内なので契約書などはないのが一般的です。本件はこれに当たるかと思います。

この使用貸借の終了は、
民法（期間満了等による使用貸借の終了）
第五百九十七条　当事者が使用貸借の期間を定めたときは、使用貸借は、その期間が満了することによって終了する。
２　当事者が使用貸借の期間を定めなかった場合において、使用及び収益の目的を定めたときは、使用貸借は、借主がその目的に従い使用及び収益を終えることによって終了する。
３　使用貸借は、借主の死亡によって終了する。
とされています。

通常は期間の定めはないと思いますので、借りている人が亡くなった時点か使用収益の目的を達したとき終了になります。

この目的ですが、当時の言動ややり取りによります。お父様が「自分が生きている間貸す」などと言っていたような事情があれば別ですが、裁判例では不明瞭な場合、普通は「家が建っている間貸す」という意向で貸していると認定されている事案が多いです。

ですので、家が建っている間は返ってこないということはあり得ます。

本件のような場合、相当の額を払って、家を買い取る解決もよくされますが、相手が応じるかどうかというところですね。