Aller au contenu
RZRenZan BlogInfra & agents IA
Schéma du pipeline d'auto-healing : métriques, détection de seuil, webhook, agent IA, action correctiveRetour d'expérience · 31 juillet 2026

Auto-healing : un homelab qui se répare tout seul

Un NAS qui héberge 50 conteneurs, une VM et un LLM local sur 31 Go de RAM, sans swap. Quand la mémoire sature, le système gèle sans laisser de traces. La seule réponse viable : une infrastructure qui se surveille, se diagnostique et se répare toute seule. Voici l'architecture qui le permet.

Le problème de départ

Quand on empile des dizaines de services sur une machine unique, la mémoire devient une ressource critique. Pas de swap (volontairement, pour éviter la spirale de mort ZFS), 31 Go de RAM physiques, et des pics imprévisibles : transcodage, VM, modèle de langage local. Le résultat, ce sont des freezes silencieux : la machine ne crashe pas, elle cesse juste de répondre. Pas de message kernel, pas de OOM killer, les logs s'arrêtent net.

Le pire dans ce scénario, c'est l'absence de preuve. Quand le système redémarre, on n'a aucune trace de ce qui s'est passé. Impossible de diagnostiquer, donc impossible de corriger.

L'architecture retenue

Plutôt que d'ajouter des alertes de plus, l'objectif était une boucle fermée : détecter, analyser, décider, agir, vérifier. Cinq briques qui s'enchaînent :

  1. Un healthcheck applicatif : un petit serveur HTTP expose un endpoint /health qui agrège les métriques système (charge, RAM, I/O disque, swap) et répond en erreur dès qu'un seuil est franchi.
  2. Un superviseur : Uptime Kuma interroge cet endpoint toutes les 60 secondes. Dès que la réponse n'est plus ok, il déclenche un webhook.
  3. Un agent de décision : le webhook réveille Hermes Agent, exécuté en local sur l'infrastructure. Hermes reçoit le diagnostic brut, l'orchestre et décide de l'action appropriée — ou de ne rien faire. Le raisonnement proprement dit est porté par un LLM, DeepSeek V4 Flash, appelé via API : le cerveau est distant, les mains sont locales.
  4. Une exécution ciblée : si une action est justifiée, l'agent agit lui-même sur l'infrastructure (redémarrage de conteneur, arrêt de processus).
  5. Une vérification : l'état du système est re-contrôlé après intervention, et un rapport part uniquement si une action réelle a été menée.

Le cœur du système : la décision

La partie la plus intéressante n'est pas la détection — c'est la décision. Un simple script de seuils aurait généré un flot d'alertes inutiles. La règle ici est radicale : pas de bruit. Un seuil dépassé mais un système stable, c'est du silence. Un processus hors de contrôle, c'est une action.

Concrètement, les seuils sont volontairement sévères : charge CPU élevée, mémoire disponible sous 2 Go, I/O disque saturé, écritures en rafale. Au-delà du seuil, ce n'est pas l'alerte qui compte mais l'analyse : quel processus consomme ? Est-il protégé ? La cause est-elle transitoire ? L'agent dispose de règles de protection (ne jamais toucher aux services critiques) et d'une consigne stricte : analyser avant d'agir, jamais de kill aveugle.

La différence entre une alerte et une action, c'est l'analyse. Une infrastructure qui alerte déplace le problème sur l'humain ; une infrastructure qui agit le résout.

Un cas réel : la VM qui asphyxiait le host

Le scénario le plus spectaculaire s'est produit avec une VM Home Assistant en livelock : une boucle de lecture sur son disque virtuel, servie par le cache ZFS, qui poussait la charge du serveur à plus de 90. Le superviseur a détecté le dépassement, l'agent a diagnostiqué la boucle (processus QEMU à plus de 150 % de CPU, lecture continue sur le zvol), et a décidé d'arrêter la VM. En douze minutes, la charge est retombée de 91 à 8, et tous les autres services sont revenus en bonne santé.

Deux redémarrages « classiques » avaient échoué avant cela : la VM repartait et la boucle se réengageait immédiatement. C'est l'analyse du pattern — pas la simple exécution d'une procédure — qui a permis de comprendre qu'il fallait arrêter, pas redémarrer.

Ce que cette architecture change

Les leçons

La première : un healthcheck simple vaut mieux qu'un monitoring complexe. Un endpoint qui répond « oui » ou « non » est plus fiable qu'une forêt de graphes que personne ne lit. La seconde : la surveillance ne vaut que si elle est suivie d'une capacité d'action — sinon c'est juste un constat. La troisième : fixer des seuils trop bas génère du bruit et désensibilise ; des seuils sévères avec une analyse intelligente en aval produisent moins d'alertes et de meilleures décisions.

Au final, l'infrastructure ne s'est pas contentée de survivre à ses incidents : elle les a appris. Chaque freeze documenté a resserré un seuil, ajouté une protection, affiné une décision. C'est ça, l'auto-healing : pas de la magie, une boucle de rétroaction qui s'améliore à chaque incident.

← Retour au blog