Droit de garde du pere d un enfant de 4mois

Bonsoir,
J ai mis au monde mon enfant il y a 4mois,lorsque j ai annoncé au geniteur que j etais enceinte celui ci m a quitté et n a pris que tres peu de nouvelles.Avant la naissance il a realisé quil allait etre papa et a reconnu notre enfant.Pour le bien de notre enfant,le papa et moi avons gardé de bons rapports jusqu a aujourdhui.Il devient tres desagreable et notre relation est chaotique, il a decidé de ne plus me voir mais souhaite prendre notre fils seul tous les dimanches,hors de mon domicile pour ne pas avoir a me voir.Mon enfant n a que 4mois,il est avec moi 24h sur 24 car jai pris un congé parental pour m en occuper alors que son pere se permet de partir 3semaines en vacances sans le voir.Mon enfant est habitué a etre avec moi, jusqu a maintenant j avais toujours permis au pere de venir a mon domicile autant de fois quil le souhaite et meme a dormir chez nous,desormais il veut notre fils pour lui seul,sans moi.
Le pere a t il le droit de le prendre sans que je sois la ,hors du domicile,pour veiller a ce que tout se passe bien etant donné qu il est encore tres petit??
Le pere n etait pas la durant la grossesse et n entretiens pas un relationnel constant avec son fils, a til le droit de le sortir de son environement brusquement??
Je souhaite avec lui trouver une solution a l amiable a faire valider devant un juge car j ai peur qu il "pete un plomb" et part avec notre enfant mais avant ca je souhaite connaitre mes droits pour lui proposer un droit de visite par rapport a la lois.
A partir de quel age a t il le droit de le prendre la nuit egalement? Est ce la lois "1w.e sur 2 et moitié des vacances"?a tout age???
Mille mercis de vos reponses, je suis dans tous mes etats , tres peur d etre separée de mon enfant alors que je suis seule pour son education depuis le debut.