Retenue sur dépot de garantie construction maison

Bonjour,

Nous avons fait construire une maison sur un terrain que nous avons acheté à un lotisseur et pour lequel était défini un constructeur il y a presque 2 ans de cela en passant un notaire et chez lequel nous avons fait un chèque de 500€ en tant que dépôt de garantie.
A la suite de ça, nous avons crée une association syndicale libre avec les autres propriétaires, le temps que tout soit rétrocédé à la commune...
La semaine dernière, nous avons eu une assemblée générale avec l'association et le lotisseur était présent...
Il nous a appris que sur les 500€ que nous avons déposé, il nous retenait 150€ à cause de dégâts réalisés lors de travaux dans le lotissement...(nous avions été prévenu préalablement par le lotisseur par un courrier qu'une retenue serait faite sur le dépôt de garantie sans en connaître la somme précise...)
Suite à cela, j'ai envoyé un courrier au constructeur qui a mandaté la société qui a réalisé les dégâts pour leur faire savoir que je ne trouvais pas cela normal et que je n'avais pas l'intention que ce soit nous qui payions pour des dégâts réalisés par autrui (d'autant plus que je pense que ces sociétés possèdent des assurances...!!!)
Ma question est la suivante : peut-on avoir un quelconque recours, un article de loi, quelque chose à argumenter contre le lotisseur pour nous défendre et éviter qu'ils nous retiennent notre argent, pour un fait qui ne dépend aucunement de notre faute ???
D'avance, je vous remercie de votre réponse...
Cordialement.