Menace de plainte pour escroquerie et note de débours

Bonjour tout le monde,
j'ai demandé à mon comptable et regardé sur internet mais je suis tout de même perdu, donc je me permets de vous contacter car je suis un peu en stress je dois dire et je voudrais comprendre vraiment ce qu'il se passe.

Je vous explique en résumé (excusez le peu de notions en compta que j'ai, c'est pour ça que j'ai pris un expert comptable...) :
Je me suis déplacé pour mon client, pendant plusieurs semaines, j'ai donc avancé des frais.
A la fin de la mission je lui ai fait une note de débours avec tarif en TTC.

Il ne veut pas me payer, et ne me répond pas depuis 10 mois.
Je lui envois donc une mise en demeure de payer (en AR), et là il me menace de porter plainte pour escroquerie.
Son motif : J'ai facturé TTC, donc il m'a payé la TVA, et je l'ai récupérée (et lui non d'après ses dires il ne faut pas l'oublier), mais mon comptable n'a pas fait la déclaration de mon bilan pour que je récupère le TVA. Ca rentre dans les frais généraux ou quelque chose du style.
Je suis une SAS et mon client une SARL.

Il m'insulte, ainsi que mon comptable quant à notre incompétence.

Mon comptable me dit : Non on facture les notes de débours entre professionnels en TTC, et on ne déclare pas la TVA dans le bilan (ou je ne sais pas vraiment où il ne déclare pas... désolé :/ ), c'est la loi qui le dit... ok pour moi.
Le PDG de la boite qui me doit de l'argent : Vous avez tors, il va falloir me payer les 3 ans de TVA sur vos notes de débours et je porte plainte pour escroquerie parce que vous avez récupéré de l'argent à mon insu (la TVA). Il s'agit de 40k€ de frais de déplacement sur 3 ans et demi + ma dernière note de débours qui n'est que de 4000€...

Personnellement je ne sais pas quoi faire, est-ce que j'ai tors? Est-ce que j'ai raison?
En tout cas, clairement il me menace et m'insulte. Donc pour calmer la situation je suis prêt à payer, mais mon comptable me dit non.

Je ne cherche qu'à me rassurer pour prendre la bonne décision pour répondre.

Je vous remercie beaucoup d'avance de votre aide au niveau juridique, car j'avoue être perdu. Je suis bon dans mon métier, mais pas en administratif/compta/juridique.

Mika