Le propriétaire de l'appartement que je loue pour ma fille rentre

J'aurais besoin d'un conseil juridique. Voilà le problème : en fait, il s'agit de l'appartement que je loue pour ma fille qui est étudiante. Depuis le début de la location, le propriétaire a eu "besoin" à plusieurs reprises de pénétrer dans l'appartement. Pour une fuite qui s'est produite à cause d'un défaut d'étanchéité, ensuite pour permettre l'accès de la terrasse privative à un ouvrier qui devait travailler sur des tuyauteries de l'immeuble. Je précise que cette terrasse est privative et qu'il est bien spécifié sur le bail que l'usage est exclusif à l'appartement que je loue. Le propriétaire est venu plusieurs fois avec le plombier pour la fuite, et quelquefois il lui ouvrait simplement la porte mais ne restait pas. Bien sûr, il prévient ma fille de sa visite avant de venir. En allant chercher ma fille en fin de semaine, j'ai pu m'apercevoir de quelques détails comme le fait que quelqu'un avait utilisé les toilettes, que quelqu'un avait posé un objet mouillé sur le lit, ou des choses dans ce genre. Cette semaine, le copain de ma fille est allé passer quelques jours avec elle car il est en vacances. Or, ce matin, il était encore au lit alors que ma fille était en cours et le propriétaire a ouvert la porte d'entrée avec ses clés. Il était accompagné de plusieurs personnes. Quand il a vu qu'il y avait quelqu'un dans l'appartement, il s'est excusé et est reparti. Je me dis qu'il doit venir quand ça lui chante sans que l'on soit au courant...
Je souhaiterais savoir si je peux changer la serrure de la porte sans donner de double au propriétaire. J'ai vu sur internet que c'était possible à condition de remettre la serrure d'origine à mon départ. Pouvez-vous me dire si j'en ai bien le droit ? En effet, le propriétaire est avocat et je ne veux pas me mettre dans mon tort...
Merci d'avance si vous pouvez m'apporter une réponse.