Prêt refusé car bail à constructeur

Bonjour,

Je me permet de vous exposer la situation.

Avec ma femme, nous avons un projet de construction de maison par constructeur ccmiste.
Le beau père de madame (pacsé avec sa maman), nous accorde un bail à construction sur le terrain lui appartenant(beau père).
Le notaire nous informe que c'est une procédure faisable légalement, cependant malgré un dossier complet, les banques nous refuses le prêt, car le terrain n'est pas à notre nom.

Malgré une hypothèque sur le terrain signé par mon beau père.

(explication de la banque : pas de garantie de revente de maison (donc remboursement) si nous sommes amené à nous séparer dans les années futur)

Peuvent ils nous refuser le prêt malgré les textes du notaire ?
Quels sont les autres alternatives pour avoir un accord positif de la banque ?

Vous remerciant par avance.

Cordialement.