Bonjour,
Ma réponse est un peu tardive mais l'entreprise n'ayant pas fourni d'attestation d'assurance décennale est tout simplement hors-la-loi (voir la confirmation ici, article L243-2 du Code des assurances :
https://www.index-habitation.fr/decennale/attestation-mentions).
Il est donc évident que vous avez un moyen de pression pour vous rétracter et récupérer les arrhes versées, surtout que l'attitude de l'entreprise de travaux est pour le moins suspecte.
Dans tous les cas, cette entreprise devra répondre devant vous des dommages de nature décennale durant 10 ans après la fin du chantier, même s'ils n'ont pas d'assurance. C'est le principe même de la responsabilité décennale (mais c'est effectivement plus compliqué lorsque l'entreprise n'a pas d'assurance valide).