Restitition d'acompte et non reprise d'un projet

Bonjour, je suis un entrepreneur individuel et rencontre un problème avec mon premier client.
Ce dernier a signé une proposition commerciale accompagnée de mes CGV avec un acompte de 30% à la commande. pour un service d'un montant total de 800€.
soit acompte de 240€.

Après deux mois sur son projet et présentation de deux maquettes, sachant que le client ne me fournissais jamais les éléments nécessaires, me fournissais certains éléments à utiliser pour après râler parce qu'il ne fallait pas les utiliser, était régulièrement injoignable. Donc, après ces deux mois le client me fixe un rdv pour mettre les choses au point et avancer intelligemment sur son projet, nous convenons d'un rendez-vous. qu'il annule une heure avant. Je relance pour fixer un autre rdv durant toute une semaine, injoignable

Ensuite, plus de nouvelles pendant encore deux mois.
Bref. au bout de 6 mois de stagnation le client me laisse un message téléphonique me demandant de lui rendre son acompte. Pas de courrier, pas de trace écrite.
Je lui envoi un mail lui expliquant que du fait qu'il ai retardé l'avancement et avorte lui même le projet, je ne peux lui rendre son acompte du fait des heures passées sur son projet.

Nous sommes aujourd'hui, 8 mois après la signature et le client, réalisant qu'il ne récupèrera pas son acompte veut revenir sur le projet .

De mon coté, je ne veux plus travailler avec ce "boulet" qui m'a fait perdre un temps considérable.

Il est spécifié dans mes CGV que l'acompte ne sera pas restitué en cas de désistement de la part du client. Mais je n'y précise pas de délais de réalisation du fait de la spécificité de chaque projet.

Dans la mesure où je n'ai pas de traces écrite de son désistement mais que j'en ai de ma réponse. Puis-je avec ce problème qui traine, conserver l'acompte pour la perte de temps occasionnée par ce client et refuser de travailler avec ce dernier, soit finaliser son projet? Je ne veux plus avoir à faire avec ce personnage.