Déclaration préalable de travaux acceptée mais non conforme au PLU

Bonjour,

J'ai déposé une déclaration de travaux en mairie pour l'extension de ma maison, celle-ci m'a été accordé, j'ai affiché la declaration via un panneau devant ma propriété , le délai de recours est passé. Après réflexion j'ai déposé une nouvelle déclaration préalable de travaux, j'ai modifié uniquement la couleur du bardage, est celle mais refusée. Après concertation avec la responsable du service urbanisme de ma commune, il s'avérer que la première déclaration de travaux n'était pas conformé au plan local d'urbanisme. D'après la responsable du service de l'urbanisme étant donné que cette DP m'a été accordé, que le délai de recours des tiers est dépassé, je peux donc faire les travaux d'extension. Est ce que cela est vrai ?