Location gérance d'un commerce

bonjour, voila nous avons donné notre préavis d'une location gérance d'un restaurant en novembre dernier, la date d'échéance principale étant le mois de juillet, il était convenu avec le propriétaire que tous les mois non reloué seraient déduits de la caution, mais il se trouve que le restaurant n'a pas pu être visité de décembre à fin mars car le propriétaire faisait des travaux. mais il nous retire quand même ces mois sur la caution. Est il dans son droit et si non sur quel texte de loi puis je m'appuyer pour lui faire une réclamation.

en vous remerciant par avance.