Bonjour,
C'est, effectivement, à votre bailleur de supporter ces frais.
Ce que nous dit la loi 89-462 :
Article 7
Modifié par LOI n°2015-1776 du 28 décembre 2015 - art. 16
Le locataire est obligé :
[...]
c) De répondre des dégradations et pertes qui surviennent pendant la durée du contrat dans les locaux dont il a la jouissance exclusive, à moins qu'il ne prouve qu'elles ont eu lieu par cas de force majeure, par la faute du bailleur ou par le fait d'un tiers qu'il n'a pas introduit dans le logement ;
Votre responsabilité n'est donc pas engagée si votre porte a été vandalisée par un tiers que vous n'avez pas introduit dans le logement.
Rappelez cet article à votre bailleur et mettez le en demeure de vous rendre la somme indument retenue sans quoi vous saisirez le juge de proximité.