Bonjour,
Bien sûr que vous pouvez vous rétracter ! Une autorisation "sans condition" d'accéder à votre logement ne vaut que jusqu'à votre changement d'avis.
En soi, n'importe qui a le droit de vous rendre visite à toute heure. Si vous ne voulez pas le recevoir n'ouvrez pas la porte.
Je vous conseille cette mesure très simple : changez le barillet de votre serrure, vous remettrez l'ancien en partant. Ainsi, si quelqu'un a le double des clefs (bailleur ou ancien locataire), il ne pourra rentrer chez vous. C'est un bricolage simple.
Voici la liste des cas où vous devez laisser accès au logement à votre bailleur :
https://www.service-public.fr/particuliers/vosdroits/F1857
Sauf urgence (danger imminent pour les personnes), l'accès doit se faire avec votre accord, à des horaires convenant aux deux parties. Vous n'êtes pas à la disposition du bailleur ni tenu de lui confier vos clefs. Votre obligation est de ne pas faire obstacle à ce droit d'accès soit en refusant systématiquement de donner des horaires, soit en proposant uniquement des horaires farfelus.
Votre bailleur ne peut se prévaloir de votre "autorisation" pour se plaindre si vous l'empêchez d'accéder au logement sans motif légalement reconnu.
__________________________
Modératrice