Vente maison en indivision

Bonjour,
J'ai acheté un terrain en 1996 seul. Je vivais déjà avec ma compagne de l'époque sans aucun lien officiel (mariage, pacs, concubinage. En 1999, nous décidons de faire construire une maison sur ce terrain avec un prêt fait à 50/50 et dont les prélèvements ont été effectués sur un compte joint. C'est moi qui a remboursé toutes les mensualités. Honnête lors de la décision d'y construire une maison, j'ai voulu que ma compagne me rachète la moitié de terrain pour qu'elle soit aussi propriétaire de la moitié de la maison. N'ayant pas d'argent, je lui ai donné la valeur de la moitié du terrain qu'elle a déposé sur son compte et elle m'a fait un virement pour avoir une preuve du paiement pour le Notaire (donation déguisée, il y a prescription).
Ma compagne est décédée en 2012 et laisse donc sa part de maison à ses 3 enfants. Deux veulent récupérer leur part ainsi que la moitié d'un loyer pour avoir occupé la maison depuis son décès. Etant correct, je ne suis pas contre, mais je n'ai plus envie de payer une maison jusqu'à 70 ans (j'ai 54 ans. Je leur ai donc proposer de leur régler la moitié de la valeur de la maison en y enlevant le montant du crédit que j'ai remboursé soit 145000 € et en y ajoutant le montant des loyers dus.
Qu'en pensez-vous. suis-je dans mes droits?