
Le watchdog du NAS : surveiller 49 conteneurs avec des seuils et un agent
Le NAS tourne avec 31 Go de RAM, 49 conteneurs et une machine virtuelle, sans swap. Quand la mémoire se tend, les pannes sont brutales et silencieuses. Pour les attraper avant le freeze, un pipeline surveille le système toutes les cinq minutes : un serveur de santé mesure, un agent LLM analyse et décide, et le plus souvent, il ne fait rien. Voici comment il est construit, et comment il a appris à ne pas tuer.
Pourquoi un watchdog : des pannes brutales et muettes
Le serveur a déjà gelé plusieurs fois sans laisser de trace : pas d'OOM killer, pas de kernel panic, juste des journaux qui s'arrêtent net et un redémarrage via le watchdog matériel. Sur une machine sans swap, la moindre tension mémoire peut basculer dans une boucle d'écriture ZFS qui finit par tout figer. Les leçons de ces incidents sont documentées dans un autre article : la machine sature, le réseau lâche, et rien n'est écrit sur disque au moment du crash.
La première ligne de défense a été un snapshot système toutes les cinq minutes, conservé une heure : un état exact du système juste avant un éventuel freeze. La seconde, plus active, est le pipeline décrit ici : détecter le problème pendant qu'il se forme, pas après coup.
L'architecture : un capteur, une alerte, un décideur
Le pipeline tient en trois briques : un conteneur qui expose l'état du serveur, un outil de monitoring qui détecte les seuils dépassés, et un agent Hermes qui reçoit le diagnostic et décide d'agir. Le chemin des données est le suivant :
Health server truenas-health (port 9998)
mesure load, RAM, I/O, Docker toutes les 60 s
|
v 6 seuils : load, RAM, RAM dispo, iowait, disk util, disk write
/health retourne "ok" ou "seuil=X>Y"
|
v
Uptime Kuma (mot-clé "ok" sur /health, intervalle 60 s)
|
v alerte DOWN
Webhook Hermes (port 8644)
|
v
Cron watchdog toutes les 5 min
-> script truenas-autoheal.py : collecte les métriques, NE TUE RIEN
-> agent LLM (DeepSeek V4 Flash) : analyse, décide, exécute via SSHLe conteneur truenas-health tourne sur le NAS et expose trois routes : /health (état, un mot), /metrics (le JSON complet des mesures) et / (un tableau de bord HTML). Il lit directement les fichiers du noyau — /proc/loadavg, /proc/meminfo, /proc/diskstats, /proc/vmstat — et interroge l'API Docker pour compter les conteneurs en marche. La mesure du débit d'écriture passe par un delta de pgpgout stocké dans un fichier temporaire, avec une garde anti-collision : si deux requêtes arrivent presque en même temps, la seconde conserve la dernière valeur valide au lieu de calculer un débit absurde.
Uptime Kuma interroge /health toutes les 60 secondes et cherche le mot « ok ». Si un seuil est dépassé, la route répond 503 avec le détail, Kuma passe en DOWN, et son webhook réveille Hermes. En parallèle, un cron tourne toutes les cinq minutes : il exécute un script de collecte qui produit un rapport JSON — métriques, top CPU, top RAM, processus ffmpeg, état Docker — puis confie ce rapport à un agent LLM.
Le décideur : un agent, pas un script
Le point important : le script de collecte ne prend aucune décision. Il ne tue rien, ne redémarre rien. Il rassemble les faits et les présente à un agent LLM, qui applique un protocole : lire les métriques en alerte, identifier un processus anormal dans le top CPU ou RAM, vérifier s'il est protégé, puis décider. Trois issues possibles : intervenir (redémarrer un conteneur en erreur via son stack), signaler, ou se taire. La réponse silencieuse — [SILENT] — est la plus fréquente, et elle est voulue : un pipeline qui écrit un rapport à chaque exécution devient du bruit, pas une surveillance.
Les processus critiques sont listés noir sur blanc : systemd, Docker, QEMU (la VM), sshd, les serveurs LLM, et depuis le 9 août, tout ce qui appartient aux sessions de développement. La liste s'est allongée à mesure que des incidents ont montré ce qui ne doit pas être touché.
Les fausses alertes qui ont recalibré les seuils
Le pipeline a déclenché plusieurs alertes qui n'étaient pas des pannes. Chacune a servi à ajuster un seuil ou un calcul. Quatre exemples :
- L'utilisation disque moyenne depuis le boot. Le pourcentage d'I/O disque était calculé comme une moyenne depuis le démarrage (
io_ticks / 10 / uptime). Après un scrub ZFS de douze heures, cette moyenne restait au-dessus de 70 % pendant des jours alors que les disques étaient redevenus inactifs. Les alertes en série ont cessé quand le diagnostic a distingué la moyenne historique de l'utilisation instantanée. - Le compteur d'écritures trompeur.
pgpgoutpeut afficher des dizaines de milliers de pages par seconde sans qu'une seule écriture physique ait lieu : les écritures du disque virtuel de la VM sont absorbées par le cache ARC. Le seuil a été relevé de 8 000 à 30 000 pages/s, et le diagnostic croise désormais le taux live avec l'I/O réel des disques. - Le seuil de charge trop bas. Passé de 5,0 à 10,0 le 10 août. Un NAS qui héberge un LLM local et une VM a une charge de base non négligeable ; une alerte pour une charge de 6,4 n'apportait rien. Le seuil de vigilance pour la vérification manuelle, lui, est resté plus fin.
- Le compteur de conteneurs à zéro. Le 7 août, le health server rapportait 0 conteneur en marche alors que 49 tournaient : le conteneur n'avait ni le binaire Docker ni le socket monté, et l'échec passait silencieusement. Correctif : monter le socket et réécrire l'appel en Python standard sur l'API Docker.
Une leçon de déploiement est ressortie : les constantes de seuil sont lues au démarrage du process, pas à chaque requête. Un simple docker compose up -d sur un conteneur déjà en marche affiche « Running » sans recharger le code. Il faut up -d --force-recreate pour que la nouvelle valeur prenne effet.
La règle devenue absolue : ne jamais tuer
Le pipeline a d'abord eu le droit de tuer un processus non protégé qui dépassait un seuil de CPU ou de mémoire. C'était une erreur. À quatre reprises en trois jours, il a tué des processus de tests et de builds lancés par des sessions de développement — des actions légitimes, parfois gourmandes, jamais malveillantes. Chaque kill déclenchait une relance, parfois une boucle, et le pipeline se battait contre ses propres outils.
Le 9 août, la règle est devenue absolue : aucun kill de processus, jamais, pour aucune raison, quel que soit le processus, protégé ou non. Le watchdog diagnostique, analyse, et signale dans un rapport email. La seule action mécanique autorisée reste le redémarrage d'un conteneur Docker en erreur via son stack Dockge — ce n'est pas un kill de processus, c'est une réparation d'orchestration. Une autre règle, héritée de l'incident de la VM, s'applique en amont : une machine virtuelle ne se relance jamais en auto-healing, le redémarrage d'une VM est une décision humaine.
Le bilan : 288 vérifications par jour, presque aucun bruit
Le cron tourne toutes les cinq minutes, soit 288 fois par jour. Le 10 août, les 50 premières exécutions de la journée ont toutes conclu à [SILENT] : état « ok » du health server, charge autour de 1,2, aucun processus anormal, 49 conteneurs en marche. C'est le fonctionnement nominal : le pipeline ne se manifeste que lorsqu'il y a une vraie action à faire, et il l'envoie par email plutôt que de spammer un canal.
Le système a maintenant ses réflexes : un seuil dépassé déclenche une collecte, l'agent vérifie l'état en direct — la VM notamment, car des relances externes peuvent survenir entre deux collectes — puis décide. La surveillance coûte un conteneur de quelques dizaines de Mo et un appel d'agent toutes les cinq minutes. En échange, les pannes de mémoire du NAS ont cessé d'être des découvertes a posteriori.
← Retour au blog