trop perçu caf-saisie du tribunal administratif

La Caf me demande le remboursement de trop perçu pour APL et allocation de rentrée scolaire. J'ai obtenu la réduction partielle de la dette par la commission de recours de la CAF - 1267€ il reste 3400€ à payer (moins les remboursements qui sont déjà effectuées sur les prestations familiales que la caf ne me verse plus 125€/mois). J'ai envoyé des recours gracieux et hiérachiques, j'ai saisi le médiateur de la République. A ce jour pas de réponse mais cela tombe en plein au milieu des vacances. La date limite pour saisir le tribunal administratif est le 21 aoùt. L'erreur invoquée par la Caf viendrait de nous puisque mon compagnon n'aurait pas envoyé le document pour son changement de situation de chômage à reprise d'activité. Depuis le 31 juillet 2007 il est salarié d'une coopérative du bâtiment, mais c'est lui qui finance qon emploi puisqu'il paie les prélèvements sociaux et fiscaux afférents. Alors qu'il était au chômage, il gagnait une moyenne de 978.82€/mois du 24/05/2006 au 31/12/2007. Aujoud'hui il gagne en moyenne 602.75€/mois. Il n'a pas voulu frauder, il est tout simplement largué avec l'administratif. C'est un homme de 39 ans, réfugié politique du Cambodge qui maîtrise le français à l'oral mais pas très bien à l'écrit. Il travaille énormément et à ce jour la trésorerie n'est pas encore florissante (impôts sur le revenu 2011: revenu imposable 9046€. Je n'ai pas eu la présence d'esprit de me rendre compte de cette erreur. Je suis chargée de réservation au Musée du Louvre et je gagne en moyenne 1600€ mois, nous avons 2 enfants de 13ans (qui n'est pas son fils) et de 7 ans.
Je voudrais faire valoir que nous ne sommes surtout pas des fraudeurs. Il est un salarié atipyque puisque il créé son emploi et paie ses charges salariales. En saisissant le TA J'ai peur d'être déboutée en recours abusif et avoir une amende, dans la mesure ou il n'a effectivement pas informé du changement de situation, mais en même temps pôle emploi était au courant puisqu'il il recevait une indemnité au début de sa création d'activité. La situation financière met à mal notre couple, une séparation est envisagée sans qu'aucune décision ne puisse être prise.
Merci de me conseiller rapidement, je ne trouve personne auprès de qui demander un conseil fiable. Si effectivement la procédure est viable sur quelle base dois-je la fonder? NB: je ne peux pas prétendre à l'aide juridictionnelle.