27 mars 2025 - Le collectif IndieHosters

Il y a quelques mois nous avons mis à jour notre logiciel de nuage (Nextcloud) vers une version suppérieure. Malheureusement, cette mise à jour a ammené de nombreux problèmes, pour nous et surtout pour nos contributeurices qui utilisent cet outil. Dans cet article nous revenons plus en détails sur cette mise à jour, ses complications et ce que nous avons fait pour asssurer la meilleure expérience possible malgré tout.

Depuis l’été dernier l’équipe d’IndieHosters s’est aggrandie. Ce recrutement nous a permis de distribuer certains rôles au sein de l’équipe de façon plus marquée. Parmi ces rôles, il y a le suivi et la mise en place des tests pour la validation des mises à jour (QA). L’objectif est d’être le plus exhaustif possible dans l’identification des changements induits par la nouvelle version du logiciel. Ceci, afin de pouvoir anticiper des corrections de bugs, des changements de comportements avant la mise en production.

Confiant·es de ces nouveaux process et ayant constaté que tout semblait fonctionner après les tests, nous avons décidé de procéder à la mise à jour de Nextcloud vers la v28. Celles-ci ont été faites les 25 septembre 2024 pour le nuage mutualisé, et 03 octobre 2024 pour les nuages dédiés.

Malheureusement et malgré toutes les précautions prises, tout ne s’est pas passé comme prévu.

Des problèmes avec les dossiers

Plusieurs soucis liés à la gestion des dossiers sont apparus. Certains dossiers étaient supprimés inoppinément, là où d’autres s’affichaient comme étant vide, alors même que tous les fichiers étaient bien présents.

Plusieurs dossiers sont supprimés

Impact : Un contributeur constate que plusieurs dossiers de son nuage ont été supprimés par une utilisatrice. Alors même que celle-ci n’a rien fait.

Actions menées : Nous restaurons les dossiers et analysons les journaux d’évènements (les logs). Cette investigation nous permet de découvrir la cause : la version du client de synchronisation utilisée était la 2.6. L’application n’avait pas été mise à jour depuis 2019. Cette ancienne version générait des incidents avec la v28. Ce qui s’est passé : en ne trouvant pas un dossier, le client de synchronisation a lancé sa suppression qui s’est ensuite propagée à plusieurs autres dossiers.

Solution de contournement : Les dossiers ont été restaurés depuis la corbeille de l’utilisatrice.

Leçon tirée et correctif : Nous avons contacté tous les utilisateurices utilisant des clients de synchronisation dont la version était inférieure à 3.0 afin qu’ielles les mettent à jour au plus vite.

Déplacement d’un fichier causant sa suppression

Impact : Le déplacement d’un fichier causait sa suppression.

Cause identifiée : Le bug a été introduit lors du passage de la version mineure de Nextcloud 28.0.10 vers la version 28.0.11.

Actions menées : Nous avons débuggé le problème et mis en place un patch correctif.

Solution de contournement : Nous avons pu restaurer les données grâce au versionning de notre infrastructure de stockage.

Leçon tirée et correctif : Dorénavant, même les mises à jour mineure seront testées et feront l’objet d’un QA. Nous ne souhaitons plus faire confiance à Nextcloud pour la stabilité des mises à jour mineures.

Dossiers affichés comme vide à tord

Impact : Lors de la navigation dans les dossiers, il arrive qu’un dossier soit affiché comme vide. Il s’agit d’une erreur 404 dans l’application signifiant qu’elle ne l’a pas trouvé. Toutefois, en réalité, les fichiers sont bien présents.

Actions menées : Après plusieurs jours de debug et d’investigation, nous avons identifié une erreur liée à l’application “Circles”. Toutefois, alors même que nous l’avons patchée le problème persiste toujours. Nous continuons à investiguer sur ce bug.

Solution de contournement : Rafraîchir la page, est malheureusement à ce jour, la seule solution connue.

Des soucis sur d’autres applications

Voici d’autres exemples d’incidents et bugs rencontrés sur d’autres applications du nuage.

L’application mindmap n’est plus supportée

Impact : Avec la mise à jour en v28, il n’est plus possible d’utiliser l’application mindmap.

Actions menées : Nous avons fait une tentative de patch pour la faire fonctionner, malheureusement cette action s’est révélée être infructueuse.

Solution de contournement : Nous avons deployé temporairement un nuage en version 27 pour permettre aux utilisateurices de cette application de récupérer leur travail.

Leçon tirée : Nous avons mis à jour le process de QA en ajoutant des tests de fonctionnement de toutes les applications intégrées dans Nextcloud, et non plus seulement celles qui étaient le plus utilisées.

L’application passwords envoie une erreur 500

Impact : L’application n’est plus accessible (erreur 500). A notre connaissance seules 2 utilisateurices sont concerné·es.

Actions menées : Nous avons passé plusieurs jours à essayer de debugger l’application sans grand succès.

Solution de contournement :

• La première solution de contournement que nous avons proposée rapidement, consistait à se déconnecter puis se connecter en navigation privée. Cette solution n’est toutefois, que peu satisfaisante.
• La deuxième solution proposée est d’exporter les mots de passe et de les importer dans le nouveau service basé sur Vaultwarden.

Leçon tirée : Nous avons accéléré notre projet de sortir de cette application de coffre fort pour héberger un service similaire basé sur Vaultwarden.

et d’autres….

Evolution de la Ram en fonction des redémarages manuels

Fuite de RAM / erreur 502

Impact : Nous nous rendons compte que depuis la mise à jour, les nuages utilisent plus de RAM (mémoire vive) sur nos serveurs et celle-ci ne fait qu’augmenter dans le temps. Nous avions une limite de RAM à 500Mo par pod (container applicatif). Une fois cette limite atteinte des erreurs (502) apparaissaient dans Nextcloud, rendant le nuage inaccessible de façon aléatoire.

Actions menées : Nous avons passer de long mois à tester plusieurs configurations afin d’éviter cette fuite de RAM ou d’en diminuer l’impact. Nous avons augmenté la limite de RAM à 800Mo et amélioré la surveillance de ces erreurs et de l’usage de la RAM et l’avons ajouté à un tableau de bord d’observabilité dédié à Nextcloud.

Solution de contournement : Nous redémarrons des pods manuellement lorsqu’ils frolent la limite de RAM, ce qui n’a pas d’impact pour les utilisateurices. C’est l’augmentation de la limite de la RAM (et ainsi la période entre deux redémarages) qui nous laisse ainsi le temps d’intervenir en amont de l’erreur 502. Le problème n’est pas encore résolu mais il est circonscrit manuellement de notre côté.

Leçon tirée : Améliorer le monitoring de Nextcloud.

Onglet “Partages” qui bloque la navigation.

Impact : Dans l’application “Fichiers”, lors de la navigation, une fois cliqué sur l’onglet “Partages” (dans le menu à gauche), la navigation se trouve figée. Il n’est alors plus possible d’aller dans un autre onglet.

Actions menées : Nous avons passé plusieurs jours de debug sur ce problème.

Solution de contournement : Malheureusement, nous n’avons actuellement pas d’autres solutions à vous proposer que de rafraichir la page.

Correctif : Le problème semble avoir disparu lors de nos tests de la version 29.

Cette liste n’est pas exhaustive. Cela fait preque 6 mois que nous essayons de stabiliser cette version. Finalement, nous avons décidé de passer en version v29 puis en v30 plus rapidement. La v29 est en cours de déploiement et les tests de la v30 sont actuellement en cours.

Ces événements sont également venu enrichir une discussion que nous menons en interne depuis quelques temps : proposer une solution basée sur d’autres applications. C’est notre stratégie “déshabiller Nextcloud”.

La mise en place effective de cette stratégie, n’est pas à court terme, c’est notre horizon, car nous n’avons pas encore d’alternatives pour tous les besoins couverts par les applications Nextcloud. Nous avons, toutefois, déjà commencé à déployer, tester et mettre en avant d’autres applications pouvant couvrir certains de vos usages.