Non restitution du dépôt de garantie pour contestation

Bonjour,

En janvier, nous avons donné notre dédite de l'appartement que nous occupions depuis 2 ans pour cause de mutation.

Notre préavis a donc été réduit à 1 mois.

Nous avons établi un état des lieux en présence d'un mandataire choisi par notre propriétaire. L'appartement était en parfait état, rien à signalé, état des lieux de sortie signé par les 2 parties.

Le propriétaire avait 2 mois après restitution des clés pour nous rendre notre dépôt de garantie.
Les 2 mois sont passés et pas de nouvelles du propriétaire. Nous avons envoyé un courrier recommandé de mise en demeure de nous restituer le dépôt.
En réponse à notre courrier, nous avons reçu un mail du proprio qui nous accuse d'avoir établi une fausse attestation de mutation et qu'il s' est renseigné sur mon conjoint et son lieu de travail.
Nous avons appris qu'il avait appelé le patron de mon conjoint et s'était fait passé pour un client mécontent.

Il nous réclame notre nouvelle adresse "definitive" et non temporaire, à défaut de lui donner il nous menace de nous attaquer pour faux et de lui payer les 2 mois de préavis restant.

Ma question est : a-t-il le droit de garder le dépôt de garantie car il conteste le bien fondé de la mutation?
Quel délai a t il pour contester? A t il le droit d'appeler le patron de mon conjoint et de se faire passer pour un client?
Merci de votre aide.