Erreur 404 lors d'une sauvegarde Duply

(par Cyprien le 09/04/2020)

Finished state FAILED

Sur plusieurs projets, nous utilisons Duply associé à l’offre OVH Object Storage pour stocker nos sauvegardes.
Ces dernières semaines, nous avons eu plusieurs sauvegardes en défaut avec ce type d’erreur:

--- Start running command BKP at 14:14:50.260 ---
Reading globbing filelist /data/.duply/task-name/exclude
Synchronizing remote metadata to local cache...
Copying duplicity-new-signatures.20200305T034044Z.to.20200306T031531Z.sigtar.gpg to local cache.
Giving up after 1 attempts. ClientException: Object GET failed: https://storage.gra.cloud.ovh.net/v1/AUTH_0123456789abcdefghijklmnopqrstuv/container-id/duplicity-new-signatures.20200305T034044Z.to.20200306T031531Z.sigtar.gpg 404 Not Found  [first 60 chars of response] <html><h1>Not Found</h1><p>The resource could not be found.<
14:14:56.224 Task 'BKP' failed with exit code '52'.
--- Finished state FAILED 'code 52' at 14:14:56.224 - Runtime 00:00:05.964 ---

Cette erreur bloque aussi les restaurations et rend donc les données de la sauvegarde inaccessibles.
Peu d’information sur le net à ce sujet, il est en général recommandé de supprimer le conteneur de stockage et de repartir de zéro.

La suppression du conteneur faisant perdre l’historique de sauvegarde, ce n’est donc pas idéal, on a donc cherché une autre solution.
Après avoir inspecté un peu plus en détail le statut du conteneur on se rend compte que le fichier est bien absent mais qu’il est référencé dans l’index du conteneur.
Il semble donc s’agir d’un problème d’indexation probablement lié à un défaut technique au niveau des conteneurs (plusieurs opérations de maintenance avaient été effectuées par OVH sur cette période).
Pour tenter de résoudre le problème nous avons décidé de tenter la suppression du fichier concerné via le client Swift avec la manipulation suivante:

source openrc.sh
swift delete container-id duplicity-new-signatures.20200305T034044Z.to.20200306T031531Z.sigtar.gpg

La commande retourne une erreur, ce qui est normal car le fichier est bien manquant:

Error Deleting: rc-srv/duplicity-new-signatures.20200305T034044Z.to.20200306T031531Z.sigtar.gpg: Object DELETE failed: https://storage.gra.cloud.ovh.net/v1/AUTH_59e2c4eb56e4496b805f6fef486052d4/rc-srv/duplicity-new-signatures.20200305T034044Z.to.20200306T031531Z.sigtar.gpg 404 Not Found  [first 60 chars of response] <html><h1>Not Found</h1><p>The resource could not be found.</p>

Mais l’index du conteneur est bien mis à jour et l’on peut de nouveau utiliser les taches de sauvegardes et de restauration sans constater de problème.
Sur la dizaine de cas que nous avons rencontré, c’est toujours ces fichiers de signatures gpg (nos sauvegardes étant toutes chiffrées) qui étaient concernée et à priori ils ne sont pas indispensable au bon fonctionnement des taches duply qui peut les remettre à jour.

Attention tout de même si vos erreurs 404 concerne d’autres type de fichier.