Quels sont mes droits concernant la garde de mon fils

Bonjour,
Je me suis séparée de mon ex à la fin du mois de juin dernier pour violences conjugales. Nous vivions en union libre.
Suite à ces événements, il est parti en vacances 5 semaines en me laissant notre fils.
Pendant son absence, j'ai trouvé un autre logement et y ai emménagé avec notre enfant.
Mon avocate a mis en place une procédure de protection qui a été refusée par le juge au prétexte que j'avais déménagé, que les violences n'étaient pas "caractérisées" (j'ai eu la main droite cassée) et celui-ci n'a pas statué sur la garde de l'enfant. Il a simplement conclu en disant que nous devions (mon ex et/ou moi) passer par une procédure classique pour la garde et n'a pas tenu compte de mes dires concernant la consommation d'alcool, de médicaments et de stupéfiants de mon ex (c'est un ancien commando).
Notre fils vit avec moi, je le dépose et le récupère tous les jours à la crèche familiale.
Son père vient le prendre pendant une heure tous les jours et le ramène (il s'est arrangé avec la crèche provisoirement).
Aujourd'hui la directrice de la crèche ne veut plus de cette solution.
Suis-je bien dans mon droit quand je dis à la directrice que j'estime que (dans la mesure où l'enfant a sa résidence habituelle chez moi, que je le dépose tous les jours), je m'attend à le récupérer tous les jours ?
Merci d'avance pour toutes vos réponses.
J'ai peur qu'il ne parte avec l'enfant et qu'il se passe quelque chose le soir ; il s'est toujours bien occupé de son fils, mais quand il a bu (c'est quotidien), il peut faire n'importe quoi (il a déjà pris la route pour faire 700 km avec notre fils, en étant alcoolisé et sans permis de conduire)!!!!
Une maman désespérée