On est en démocratie, si vous voulez partir, vous partez.
A vous de voir si vous vous moquez ou non, qu'on vous reproche cette faute. Voyez avec votre avocat
Dans le doute parlez en à votre mari (s'il n'est pas fondamentalement opposé à ce divorce). S'il est d'accord pour faire logement séparés, vous pourrez en profiter pour lui demander un souseing privé (ce qui évitera qu'il puisse évoquer cette "faute" contre vous).
Si la conciliation a lieu dans peu de temps il est plus avantageux d'attendre puisque vous n'aurez pas à supporter cette situation longtemps. Autrement, à vous de peser le pour et le contre en cas d'opposition de votre mari.