Erreur du notaire en ma faveur

Bonjour,
Divorcé avec deux enfants, je me suis remarié en 1992, ma deuxième épouse ayant déjà elle aussi deux enfants, et nous en avons eu un en commun.
Nous nous sommes fait mutuellement donation au dernier vivant en 1998.
Mon épouse a par la suite, fait un testament, sans que j'en aie connaissance, demandant que je n'hérite pas des biens lui venant de sa famille.
A son décès, en février 2008, son notaire a règlé sa succession, mentionnant l'existence de la donation, l'existence du testament, et mentionnant mon choix de l'usufruit sur la totalité des biens.
En octobre 2008, un bien venant de l'héritage de mon épouse a été vendu. Son notaire m'a convoqué comme usufruitier, m'a demandé mon accord pour la vente, et m'a versé la somme correspondant à ma part d'usufruit. Il a également versé leur part aux deux enfants de mon épouse, et à motre enfant commun.
Cette année, j'ai vendu, par l'intermédiaire de mon notaire, l'appartement où nous vivions en commun. Mon notaire m'a versé la moitié de la vente, plus ma part d'usufruit sur la part de mon épouse, et leur part aux trois enfants héritiers.
Avec l'argent que j'ai récupéré, j'ai signé début septembre un compromis pour l'achat d'une nouvelle maison.
Aujourd'hui, le notaire de mon épouse me téléphone et m'annonce qu'il va m'écrire pour me réclamer la somme qui m'a été versée en 2008, sur réclamation des enfants de mon épouse, signifiant que cette somme m'aurait été versée par erreur !!
Je serais dans l'impossibilité de rembourser, car je suis maintenant engagé par mon compromis.
Je ne comprends pas que le notaire, s'il a fait une erreur, ne se manifeste que deux ans plus tard.
D'autre part, si sa compétence est directement mise en cause, ne serait-il pas plus normal qu'il fasse intervenir son assurance professionnelle ??
Merci pour vos réponses.