Paiement compteur temps

Bonjour
Mon employeur fonctionne avec un compteur temps relevé une fois par an. Pendant 3 mois, par manque de courriers à traiter, on m'a obligé à partir plus tôt chaque jour, ce qui fait que mon compteur est à -80h. Dans le cas où je demissionnerais, on me demande de rembourser les heures non-travaillées de mon compteur. Est-ce légal sachant que ce n'était pas un choix de ma part mais une obligation de mes responsables ?