litige avec un totisseur concernant une caution

bonjour, nous avons acquis un terrain au mois d avril sur un lotissement. A notre grande surprise le jour de la signature de l'avant contrat chez le notaire, il nous a été notifié que 1500 € nous serait retenu en plus du prix du terrain en cas de dommage durant nos travaux de construction. Nous nous sommes donc acquitté de cette caution (étant un peu naif a ce moment). En faisant le tour des différents propriétaires du lotissement certains n'ont pas versé cette caution.
Bref, nous avons emménagé début juillet et depuis nous avons essayé de prendre contact avec le lotisseur pour recuperer cette caution. C'est seulement en ce début décembre, alors que nous avons rencontré le lotisseur courant aout, que ce dernier nous a signifié qu'il ne nous rendrait pas cette caution, la cause étant qu'un cable electrique aurait été endommagé durant notre construction!!! Pour l'alimentation de notre maison nous avons du creuser une tranchée, et bien sur nous sommes tombé sur ce dit cable qui n'était pas gainé ni protégé par du grillage avertisseur. Depuis les differents entretiens avec le lotisseur se résument a des dialogues de sourds, ce dernier me disant même que nos conversations téléphoniques sont enregistrées (ce qui je pense n'est pas légal sans mon autorisation). Quels sont mes recours? ai-je une chance de récupérer cet argent sans l'intervention de ma part d'un avocat?
Merci d'avance pour vos réponses et vos conseils