Remboursement du dépôt de garantie : qui paye ?

Bonjour,
je souhaiterai avoir des conseils pour gérer la situation suivante :
J'ai quitté mon ancien appartement dont j'étais locataire fin février. Il y a eu un changement de propriétaire pendant ma location.
Suite à l'état des lieux de sortie, j'ai demandé à l'agence qui gère le bien de me rembourser le dépôt de garantie dans les 2 mois règlementaires.
L'agence a répondu que le dépot de garantie avait été versé à l'ancienne propriétaire et que de ce fait il incombait au nouveau propriétaire de reverser cette somme. Selon l'agence cela a du être précisé au nouveau propriétaire par le notaire au moment de l'achat du bien. En théorie le montant du dépôt aurait donc été transmis au nouveau propriétaire. Or le nouveau propriétaire refute avoir eu quelconque information sur ce sujet et clame que c'est à l'agence de gestion locative de me rembourser.
Je précise que le nouveau propriétaire a retiré la gestion à cette agence mais après la fin de mon contrat. Il n'y a pas eu non plus de constat lors de l'état des lieux de sortie justifiant d'utiliser le dépôt.
Quelqu'un peut il me confirmer la véracité de ce qu'avance l'agence ?
Contre qui dois je me retourner ?
Je suppose qu'il va me falloir faire un recommandé rappelant le délais légal de remboursement et les pénalités en cas de manque, mais à qui dois je l'adresser ????