Aller au contenu
RZRenZan BlogHomelab · IA · Domotique
Rack de serveurs avec câbles réseau dans une salle techniqueInfrastructure · 7 août 2026

La VM Home Assistant : livelock, mémoire saturée et la règle de l'auto-healing

En une semaine, la machine virtuelle qui héberge la domotique est tombée deux fois : un livelock kernel qui a saturé le NAS entier, puis un démarrage qui n'aboutissait pas, la mémoire ne suffisant plus. Les deux incidents ont imposé une règle : une VM ne se relance jamais en auto-healing. Voici les signatures de chaque panne et ce qu'elles ont changé.

Le contexte : une VM de domotique sur un zvol ZFS

Home Assistant tourne dans une machine virtuelle sur le NAS TrueNAS : deux vCPU, 4 Go de RAM, et un disque stocké sur un volume ZFS dédié, vmpool/vm-disks/HA_disk. Ce choix de stockage est un filet de sécurité : chaque nuit à 00:00, un snapshot automatique du disque est pris, et un retour en arrière se fait en quelques minutes. La VM ne contient rien d'autre que le système domotique, ses add-ons et la base du recorder, mais son arrêt paralyse tout le foyer.

Autour de cette VM, un pipeline d'auto-healing surveille le serveur. Un serveur de santé mesure la charge, la RAM, l'I/O disque ; Uptime Kuma l'interroge toutes les 60 secondes ; en cas de dépassement de seuil, un webhook réveille un cron qui collecte les métriques et demande à un agent LLM d'analyser la situation. Cet agent peut tuer un processus, redémarrer un conteneur, ou ne rien faire. Jusqu'au 5 août, il pouvait aussi relancer la VM. C'est ce qui a failli aggraver la deuxième panne.

Premier incident : le livelock kernel (31 juillet)

Le 31 juillet, après un redémarrage du NAS, la charge moyenne explose : 18, puis 33, 60, 93, 99 en une vingtaine de minutes. Le processeur hôte est à 100 % en mode système, 0 % en idle, alors que ps ne montre que quelques processus visibles. Le reste, c'est l'hyperviseur : un thread vCPU de la VM tourne en boucle sans rien faire d'utile.

Côté invité, le diagnostic est net : le disque virtuel est relu à environ 2,5 Go/s soutenus — 1,46 To lus en cinq heures quarante-quatre — alors que le pool ZFS n'en sert qu'un dixième : près de 96 % des lectures sont servies par l'ARC, le cache de ZFS. La VM relit les mêmes données en boucle, un seul CPU de l'invité est saturé d'interruptions (20,27 millions de tasklets contre quelques milliers sur les autres), et le steal atteint 40 %. C'est un livelock kernel, pas une surcharge normale.

La cause probable est le passthrough USB : trois dongles (Zigbee ZWA-2, CP210x, FTDI) sont attachés à la VM, et l'orage d'interruptions se concentre sur un seul CPU. L'arrêt ACPI reste bloqué, seul un arrêt forcé fonctionne : midclt call vm.stop 33 '{"force": true}'. La charge du NAS retombe en quelques minutes.

Le test de récurrence est sans appel : trois redémarrages, trois re-livelocks en moins de deux minutes. La VM reste éteinte pendant que l'enquête continue. Le pipeline d'auto-healing, lui, a bien joué son rôle : il a détecté, analysé, arrêté la machine malade, et rendu le NAS à un état sain.

Deuxième incident : le boot qui n'aboutit pas (5 août)

Le 5 août, une mise à jour d'un satellite ESPHome fait crasher Home Assistant à 13:46. La VM est arrêtée puis relancée, mais cette fois le démarrage n'aboutit pas : la charge du NAS remonte de 8 à 23, et le superviseur ne répond pas. Le diagnostic est fait hors-ligne, VM éteinte, en montant le disque virtuel en lecture seule sur le NAS : le système de fichiers est sain, la base SQLite du recorder passe le contrôle d'intégrité. Les journaux racontent une asphyxie mémoire.

Au boot, la somme de HA OS, du superviseur, des add-ons et du recorder dépasse les 4 Go de la VM. Le noyau invité passe en thrashing : swap à 100 % (1 322 956 Ko sur 1 323 124), charge de l'invité à 31, QEMU qui pompe 200 à 335 % du CPU hôte. La machine semble « ne pas démarrer » alors qu'elle est simplement affamée de mémoire.

Le correctif est simple : passer la VM de 4 à 6 Go de RAM. La commande est prête — midclt call vm.update 33 '{"memory": 6144}' — mais elle demande une VM éteinte, et il faut une fenêtre de maintenance pour l'appliquer. C'est une dette technique assumée, avec un risque connu.

La leçon : une VM ne se relance jamais en auto-healing

Pendant ce deuxième incident, le pipeline d'auto-healing a failli aggraver la panne. Chaque exécution du watchdog voyait la charge du NAS élevée et « réparait » en relançant la VM. Résultat : trois relances en une dizaine de minutes, chacune suivie d'un re-crash — la machine ne peut pas démarrer dans 4 Go, et la relancer ne change rien à la cause.

La règle est depuis lors absolue : l'auto-healing sur une VM fait du diagnostic et du rapport, jamais de redémarrage. Une VM a des dépendances (passthrough USB, autostart, état du zvol) qu'un conteneur n'a pas ; la relancer à l'aveugle prolonge la panne au lieu de la résoudre. Le redémarrage d'une VM est une décision humaine.

Deuxième leçon : mettre le cron en pause ne stoppe pas une exécution en cours. La session déjà lancée a continué d'agir une dizaine de minutes après la pause, le temps de terminer son cycle. Pour arrêter un incident, il faut vérifier qu'aucune session n'est encore active.

État actuel

La VM a été relancée manuellement et tourne depuis le 6 août : Home Assistant répond sur le port 8123, la charge de l'invité est à 0,13, celle du NAS à 1,35, et le serveur de santé répond « ok ». Le livelock du 31 juillet n'a pas récidivé. Les deux incidents ont laissé des outils : une méthode de diagnostic hors-ligne du disque (montage en lecture seule, journaux, intégrité de la base) et une règle d'auto-healing écrite noir sur blanc.

La prochaine étape est le passage à 6 Go de RAM, qui élimine la cause du deuxième incident. D'ici là, la VM reste surveillée — et personne, ni script ni agent, n'a le droit de la relancer sans un regard humain.

← Retour au blog