Caution retenue basée sur EDL d'entrée des locataires suivants

Bonjour,

Quittant mon logement fin mai dernier, nous avons convenu avec mon propriétaire de nous retrouver le 31/05 à l'appartement que je lui louais afin d'effectuer l'état des lieux de sortie et la restitution des clés. Le propriétaire avait également convié des nouveaux locataires ce même jour, 1 heure après le rdv que j'avais avec mon propriétaire. Ces nouveaux locataires sont arrivés plus tôt que ne l'avait prévu mon propriétaire, les faisant attendre à l'extérieur pendant la visite d'état des lieux de l'appartement.
A l'issue de la visite, mon propriétaire, sans avoir émit de remarques sur d'éventuelles dégradations, me propose de se revoir quelques jours plus tard pour signer l'état des lieux de sortie. Je pense qu'il m'a fait cette proposition dans sa précipitation de relouer son logement et de ne pas faire trop attendre les nouveaux locataires qui étaient très en avances.
Je lui ai donc remis l'ensemble des clés de son appartement sans qu'il me propose de signer d'état des lieux de sortie et avons convenus qu'il me rappellerai pour fixer un rdv ultérieurement ce qui a été fait par la suite.
Nous nous sommes donc retrouvés 7 jours après dans un bar. Mon propriétaire m'a alors proposé de signer un état des lieux mentionnant un certain nombre de dégradations dont il me fait porter la responsabilité (écaillement de peinture sur évier et table de cuisson, tâche d'huile de vidange au garage). En grand désaccord avec lui, j'ai catégoriquement refusé de signer le document qu'il me proposait et nous nous en sommes resté là.
Fin juillet, à l'issue du délai légal de restitution du dépôt de garantie, il m’envoie un courrier dans lequel il m'affirme retenir l'ensemble du dépôt de garantie en réparation des dégradations que j'aurai commis, en s'appuyant sur des devis, des photos (effectuées bien après la restitution des clés) et l'état des lieux d'entrée des nouveaux locataires.
Renseignements pris, il s’avérerait qu'en l'absence d'état des lieux de sortie, aucune retenue sur mon dépôt de garantie n'est possible de la part de mon propriétaire.
Toutefois, après plusieurs échanges par courrier, devant le refus de mon propriétaire de me restituer mon dépôt de garantie, j'ai le sentiment de devoir aller devant un juge pour le récupérer.
Si c'est le cas, mon propriétaire peut-il m'opposer des photos et surtout l'état des lieux d'entrée des nouveaux locataires afin de me faire porter la responsabilité de dégradations (qui selon moi ne sont dues qu'à un usage normal, donc vétusté) ?
Ces pièces seraient-elles recevables devant un juge, alors qu'en l'absence d'état des lieux de sortie aucune retenue sur dépôt de garantie ne serait possible ?