DES refus de location car 4 enfants (trop d'enfants)

Bonjour,
avant tout merci de vous pencher sur mon cas.
Je suis mariée et maman de 4 enfants dont 1 qui est interne et qui ne rentre que tous les 15 jours.
Nous recherchons depuis près de un an une location de maison ou d'appartement afin de nous rapprocher du travail de mon mari. (il fait 2 heures 30 de route aller/retour chaque jour ).
Une agence immobilière nous a refusé de nous louer un appartement du fait que nous avons 4 enfants.
Je précise que le logement est au 1er étage, le jardin a des jeux pour enfants, la propriétaire envisage d'agrandir l'espace jeu, l'appartement à 3 grandes chambres mais elle refuse de nous louer car trop d'enfants et en dessous 2 personnes âgées. A t'elle le droit de nous refuser de nous le louer s'il vous plaît ?
De plus cette même agence nous a mis dans les dents : "Ah, c'est vous, le couple qui avez 4 enfants ?!!!!" sur un ton plus que génant.
Tout à l'heure j'ai appelé un particulier pour la location de sa maison et lui aussi refuse de nous louer car trop de personnes à son goût.
Nous orienter vers un pavillon hlm est impossible car il faut minium 2 ans d'attente et mon mari n'en peut plus de cette situation.
Pourriez-vous nous aider s'il vous plait et nous dire si les agences et les propriétaires sont en droit de nous refuser de louer car nous sommes une famille nombreuse ? N'est-ce pas de la discrimination ?
Merci pour votre réponse éventuelle.
Cordialement