Loyers impayés et demande de congé motif légitime et sérieux

Bonjour,
Je loue depuis 2004 ma maison un T4 de 115m² à un couple de retraité de 65 et 69 ans à un loyer raisonnable via une office notariale.
Hélas en 2004, on ne pouvait encore désigner de cautionnaire dans le contrat de bail.
Jusqu’en 2008 tout se passe bien, suite à la demande du locataire j’accepte même de recevoir le loyer le 15 au lieu du 10 de chaque mois pour lui rendre service.
A partir de 2009, le locataire a multiplié les retards de paiement, 1 ou 2 mois impayés qu’ils rattrapaient tant bien que mal suite à de nombreux courriers de l’office notariale.
En 2010, ils ont été convoqués à l’agence pour établir un échéancier pour payer les loyers de retards.
En 2011, j’ai demandé à l’office notariale de convoquer les locataires pour que l’on trouve des solutions par le dialogue plutôt qu’une procédure qui aurait été fatale à ma trésorerie.
Depuis le début j’ai été conciliant, en admettant qu’on pouvait tous avoir un jour un coup dur, mais ils ne m’ont jamais prévenus à chaque défaut de paiement. Ils ne répondaient pas dans la majorité des cas.

Le bail se terminant dans un peu plus de 6 mois, je n’avais dons plus le choix.
Après concertation avec le notaire : via un huissier, je viens juste de demander congé aux locataires pour motif légitime et sérieux, notamment l’inexécution par le locataire de l’une des obligations lui incombant, à savoir le retard de paiement depuis 2009 + loyers impayés.

Notre situation :
Parents d’un enfant, ma femme et moi attendons le second. Nous venons de déménager et achetons une petite maison. De ce fait ma femme a démissionné et est au chômage.
S’il ne paie pas je vais devoir rembourser plus de 1600€/mois de prêts et mon salaire est de 2100€/mois.

Les gros retards de paiement ont repris depuis sept 2012, ils me doivent 2000€.
J’espère que dans 6 mois ou avant ils auront évacués la maison, que puis-je faire de plus pour être sûr de récupérer les loyers de retards ? Faut-il un commandement de payer par huissier ?
Merci d’avance pour vos conseils, expériences ou astuces.