Clause de non concurrence

Bonjour,
Je suis consultant en recrutement et j'ai travaillé de janvier 2008 à Juillet 2010 en tant que salarié basé en Angleterre au sein d'un cabinet de recrutement local .
J'avais alors un contrat de travail avec une clause de non-concurrence.
Je suis revenu en France en Aout 2010 et j'ai créé une EURL en commun accord avec ce cabinet pour continuer mes activités avec eux.
Je réalise des prestations complètes et je suis rémunéré à la commission ( % du CA réalisé). A noter que d'un commun accord avec ce cabinet, je lui facture un montant fixe mensuellement et j'ai un bonus trimestriel correspondant au pourcentage de commission sur le CA trimestriel réalisé moins le montant des trois factures émises chaque mois. Le cabinet prend aussi en charge certaines dépenses ( déplacements, téléphonie...).
A la création de mon EURL, nous n'avons établi et signé aucun contrat de prestation. tout s'est fait d'un commun accord.
Je viens d'annoncer la fin de notre collaboration avec ce cabinet et celui-ci me demande de respecter la clause de non-concurrence qui était établie sur mon contrat de travail lorsque j'étais employé en Angleterre. Il met en avant que j'ai continué à travailler pour eux et qu'il me rémunéraient mensuellement...

Je pense que ce type d'argument ne tient pas mais je voudrais avoir votre avis.
En vous remerciant.