Litige avec un déménageur, Devis non signé

Bonjour,

Lors de mon déménagement, j'ai contacté différents déménageurs afin de les comparer.
Je déménagé du sud de la France pour la région parisienne.
Dans l'urgence d'une nouvelle embauche, je n'avais pas de domicile et j'ai donc vécu quelques temps à l'hotel, tout en tenant le déménageur au courant de l'évolution de la recherche. Jamais il ne m'a mis en garde sur la date trop tardive!
Je lui ai fournis l'adresse de livraison le dernier jour du délai fixé par le devis signé, la veille de l'enlèvement des meubles.
Il vient le jour prévu enlever mes meubles en ma présence (ayant fait l'aller-retour sur la journée).
Au bout de 2 jours sans nouvelles (et sans meubles dans une maison vide), je le contacte et il me dit que mes meubles sont dans un garde meuble et attendent un camion qui monte (ils mutualisent les transports)
Le délai de livraison dépassé (inscrit sur le devis signé), je lui ai mis la pression et il finit par me livrer les meubles en me disant qu'un supplément de 600€ sera à payer pour une livraison "express".
Je lui ai payé la somme initiale (inscrite sur le devis signé) sans les 600€.
Il me les réclame depuis 1 an et me menace depuis peu de les majorer au même titre qu'une facture impayée.
Aucun devis n'a été signé avec ses 600€ supplémentaires.

Qui a raison? Dois-je tenir ou lui payer?

Merci d'avance pour vos réponses