Notre infrastructure, de la première VM au cluster Kubernetes

Depuis novembre 2025, nous avons reconstruit notre infrastructure interne entièrement « as code ». Elle héberge nos outils (forge Git, coffre de secrets, supervision), nos applications internes et la préproduction de ce site. Cet article présente l’ensemble, étape par étape, avec les versions en service en novembre 2026. Les articles des semaines suivantes détaillent les incidents et les choix rencontrés en route.

Vue d'ensemble GitLab CE dépôts Git CI, Renovate Argo CD synchronise Terraform + Ansible Terraform Cluster k3s 1.36 · 3 VM Ubuntu 24.04 Argo CD 3.6 Traefik 3.7 cert-manager 1.20 External Secrets Velero + MinIO authentik 2026.8 kube-prometheus applications Services en conteneurs LXC et VM Vault 1.15 AdGuard ×2 Prometheus 3.4 Grafana 13.3 Loki 3.0 InfluxDB 1.12 GitLab Runner … Proxmox VE 9.2 3 nœuds en cluster, haute disponibilité NAS Synology NFS, SMB · PBS
Git décrit tout : Terraform et Ansible créent et configurent les machines, Argo CD déploie le contenu du cluster.

Vue d’ensemble

CoucheOutilsVersions
VirtualisationProxmox VE, cluster de 3 nœuds avec haute disponibilité9.2
StockageNAS Synology (NFS et SMB), Proxmox Backup Server
Infrastructure as codeTerraform (fournisseur bpg/proxmox), Ansible1.13.4 (fournisseur 0.119.0), ansible-core 2.19
Code et CIGitLab CE, GitLab Runner, RenovateGitLab 19.2.1
SecretsHashiCorp Vault1.15.4
DNSAdGuard Home, deux instances synchronisées0.107.79
SupervisionPrometheus, Grafana, Loki, InfluxDB3.4.1, 13.3.0, 3.0.0, 1.12.2
Kubernetesk3s sur 3 machines virtuelles Ubuntu 24.041.36
GitOpsArgo CD3.6.0
Dans le clusterTraefik, cert-manager, External Secrets, Velero, authentik3.7.4, 1.20.1, chart 2.8.0, 1.18.1, 2026.8.5

Le principe ne change pas d’une couche à l’autre : tout est décrit dans des dépôts Git, chaque modification passe par une merge request, et c’est un pipeline qui l’applique.

Les étapes, mois par mois nov. déc. janv. 2026 févr. mars avr. mai juin juil. août sept. oct. nov. Git + Terraform Git + Terraform Vault Vault CI CI Loki Loki AdGuard AdGuard Prometheus Prometheus k3s + Argo CD k3s + Argo CD Ansible dans la CI Ansible dans la CI Velero Velero Consolidation Consolidation
Un an de construction, un service ou une brique à la fois.

Étape 1 : tout décrire dans Git (novembre 2025)

Le point de départ est un dépôt infra sur notre GitLab. Il contient un dossier Terraform par service et deux modules partagés : vm pour les machines virtuelles et container pour les conteneurs LXC. Chaque module crée la machine sur Proxmox, l’initialise par cloud-init et enregistre son nom dans le DNS interne (fournisseur Terraform pour AdGuard Home). L’état Terraform est stocké dans GitLab, par son backend HTTP : pas de fichier d’état sur un poste.

Premier service décrit ainsi : Grafana. Les autres ont suivi un par un, au rythme des besoins.

Étape 2 : les secrets dans Vault (décembre 2025)

Vault tourne dans un conteneur LXC, avec un moteur KV v2. Terraform, la CI et plus tard Kubernetes s’y authentifient chacun avec leur propre identité (AppRole ou authentification Kubernetes) et des droits limités à ce dont ils ont besoin. Aucun mot de passe n’est stocké dans les dépôts.

Étape 3 : la CI applique les changements (janvier 2026)

Un GitLab Runner exécute les pipelines. Pour chaque service, terraform plan tourne à chaque push et terraform apply est un bouton manuel sur la branche principale : on relit le plan avant de l’appliquer. Renovate propose en parallèle les mises à jour de versions sous forme de merge requests.

Étape 4 : journaux et métriques (février à juin 2026)

  • Loki et Promtail (février) centralisent les journaux de toutes les machines.
  • Prometheus (juin) et node_exporter, installé par Ansible sur chaque machine, collectent les métriques système.
  • InfluxDB conserve les métriques du réseau UniFi.
  • Grafana regroupe tableaux de bord et alertes, envoyées sur Telegram. Les règles d’alerte et une partie des tableaux de bord sont provisionnées depuis le dépôt.

Étape 5 : un DNS interne fiable (mai 2026)

AdGuard Home filtre les requêtes et résout les noms internes. Une seconde instance, synchronisée toutes les dix minutes, a été ajoutée en octobre : le DHCP distribue les deux adresses, et une panne de la première ne coupe plus la résolution de noms.

Étape 6 : Kubernetes avec k3s et Argo CD (juillet 2026)

Les machines du cluster sont créées par Terraform (un module dédié, une entrée par nœud) et installées par Ansible : k3s sur le serveur, puis les agents qui le rejoignent. Ansible installe ensuite Argo CD et une application racine qui pointe sur un dépôt k8s-manifests : à partir de là, tout ce qui tourne dans le cluster vient de Git.

Les premières briques, dans l’ordre où nous les avons ajoutées :

  1. External Secrets lit les secrets dans Vault et les présente aux applications comme des Secrets Kubernetes.
  2. cert-manager, avec le webhook OVH, obtient des certificats Let’s Encrypt par validation DNS, y compris pour des services qui ne sont pas exposés sur Internet.
  3. Proxmox CSI crée les volumes persistants comme des disques Proxmox, sur le stockage NFS du NAS.
  4. Traefik, fourni par k3s, sert d’Ingress.
  5. kube-prometheus-stack et Promtail pour la supervision et les journaux du cluster.
  6. authentik pour l’authentification unique (OIDC pour Argo CD, forward-auth devant les applications internes qui n’ont pas d’authentification à elles).

Un troisième nœud k3s a rejoint le cluster en août.

Étape 7 : Ansible dans le terraform apply (août 2026)

Jusque-là, il fallait lancer le playbook Ansible à la main après la création d’une machine. Le module Terraform lance désormais lui-même le playbook du service, et le rejoue dès que le rôle Ansible change. Treize services ont été migrés.

Étape 8 : les sauvegardes (septembre 2026)

  • Proxmox Backup Server sauvegarde les machines virtuelles et les conteneurs.
  • Velero, avec MinIO comme stockage objet, sauvegarde chaque nuit les ressources et les volumes du cluster. Les bases PostgreSQL sont exportées par pg_dump juste avant, pour obtenir une copie cohérente.

Étape 9 : consolider (octobre et novembre 2026)

Le dernier trimestre a surtout servi à fiabiliser : alertes sur le remplissage des volumes Kubernetes, supervision fine du DNS, migration de PostgreSQL 16 vers 18, troisième nœud Proxmox, redimensionnement des machines à partir de 30 jours de métriques. La préproduction de ce site tourne aussi sur le cluster, synchronisée par Argo CD.

Ce que nous en retenons

  • Une modification, une merge request. L’historique Git explique chaque changement, et on peut revenir en arrière.
  • Mesurer avant de changer. Les métriques et les journaux centralisés ont tranché plus d’une discussion, et en ont évité d’autres.
  • Les pièges sont dans les détails. Un caractère dans un titre d’alerte, un domaine de recherche DNS, une sauvegarde qui se sauvegarde elle-même : ce sont les sujets des prochains articles.

Outils cités