Expérience pratique

Trois serveurs rack HPE en cluster Proxmox : bien prévoir la réserve

Trois serveurs rack HPE en cluster Proxmox : quelle réserve après la panne d’un hôte ? Exemple pour quorum, Ceph, réseau, alimentation, sauvegarde et coûts.

Logo DAXS au-dessus d’un plan de cluster avec trois hôtes HPE ProLiant, chemins réseau et électriques distincts et Proxmox Backup Server externe.

Trois serveurs rack HPE ne suffisent pas à former un cluster Proxmox résilient. L’objectif devient vérifiable lorsqu’il reste assez de calcul, de mémoire, de données VM accessibles, de réseau et de chemins électriques après la panne d’un nœud. Cet exemple présente les décisions nécessaires à un cluster Proxmox VE de trois HPE ProLiant DL360 Gen11.

L’article décrit un profil de dimensionnement hypothétique, pas une référence de commande HPE prête à l’emploi. Chaque nœud est supposé disposer d’un processeur à 24 cœurs, de 256 GiB de RAM ECC, de supports de démarrage en miroir, de quatre SSD SAS d’entreprise de 3,84 TB pour les données VM, de deux alimentations redondantes et de connexions réseau adaptées à 25 Gbit. HPE propose le DL360 Gen11 avec différentes options de processeurs, DIMM, disques, réseau et alimentations. La validation de cette combinaison précise de processeur, fond de panier, mode HBA/JBOD, SSD, ventilateurs, NIC, câbles et firmware relève d’une nomenclature et d’un contrôle de compatibilité confirmés par le partenaire HPE. Les disques OSD Ceph ne doivent pas être masqués par un RAID matériel inadapté.

La réserve suffit-elle après la panne d’un hôte ?

Trois nœuds offrent 72 cœurs physiques et 768 GiB de RAM brute. Après la panne de l’un, il reste 48 cœurs et 512 GiB. Dans l’exemple, chaque hôte restant réserve quatre cœurs et 32 GiB pour Proxmox, Ceph et les pointes d’exploitation. Il reste donc théoriquement pour les VM 40 équivalents-cœurs et 448 GiB de RAM. Une pointe mesurée de 28 équivalents-cœurs et 300 GiB de RAM VM laisserait dans ce modèle une marge de 12 équivalents-cœurs et 148 GiB. Le nombre de vCPU seul n’est pas une mesure : CPU steal, NUMA, I/O, occupation mémoire et répartition des grandes VM doivent être relevés au pilote. Le temps de redémarrage nécessaire et les priorités des applications font aussi partie de la recette.

Pour un quorum fiable en haute disponibilité, Proxmox nécessite au moins trois voix. Avec trois nœuds de même poids, la perte d’un nœud laisse deux voix et donc une majorité. Cela ne garantit pas encore le redémarrage des VM : données accessibles, ressources sur l’hôte cible et règles HA adaptées restent nécessaires. Le réseau Corosync exige une latence basse et stable et un second chemin indépendant. Un switch partagé défaillant ou une PDU commune annule la redondance des hôtes envisagée.

SSD locaux : quelles données restent disponibles après une panne ?

Dans cet exemple, les douze SSD locaux forment un pool Ceph avec trois copies et l’hôte comme domaine de panne. La capacité brute est de 3 × 4 × 3,84 = 46,08 TB . Trois copies réduisent la capacité utile théorique avant métadonnées et réserves à 15,36 TB. Avec une limite fixée uniquement pour la planification de 70 %, on obtient une valeur de travail d’environ 10,75 TB. Ce n’est pas une capacité Ceph garantie : remplissage des OSD, répartition, reconstruction, snapshots et profils réels des données doivent être mesurés.

En cas de panne d’un des trois hôtes, les deux copies restantes peuvent continuer à servir les I/O avec une règle min_size correctement configurée ; le pool est alors dégradé. Une troisième copie sur un troisième domaine de panne hôte ne peut être rétablie qu’au retour ou au remplacement du nœud. C’est une limite d’une conception à exactement trois nœuds. La réplication Ceph ne remplace pas non plus une sauvegarde distincte. Un Proxmox Backup Server doit être placé hors de ces trois hôtes, dans son propre domaine de panne, avec restauration testée et copie externe supplémentaire. L’article DAXS Proxmox Backup Server : vérification, rétention et restauration approfondit le test de restauration.

Réseau et alimentation font partie de l’architecture

Pour Ceph, bande passante et faible latence comptent ; pour un nouveau cluster, nous prévoyons des chemins séparés à 25 Gbit avec raccordement redondant comme hypothèse de départ vérifiable. Le débit nécessaire découle de la charge d’écriture, de la réplication et du délai cible de reconstruction, pas du nombre de ports de la fiche technique. Corosync doit suivre des chemins physiques indépendants ; gestion et trafic VM sont correctement séparés ou limités. Les affectations précises de VLAN, switchs et NIC sont documentées dans un plan de ports.

Deux alimentations serveur n’aident que si elles suivent des chemins électriques distincts. DAXS ferait raccorder l’alimentation A de chaque hôte à PDU/UPS A et l’alimentation B à PDU/UPS B, vérifier la consommation en charge et tester la perte d’un chemin. Gestion iLO, SSD de rechange, maintenance firmware et fenêtres d’intervention sont d’autres postes d’exploitation. Trois serveurs dans le même rack ne protègent pas d’une panne de toute la salle.

Un calcul ouvert sur trois et cinq ans

Posons qu’une offre HPE actuellement confirmée pour le nœud complet vaut h euros, le réseau redondant avec optiques n, et un serveur de sauvegarde indépendant avec supports k. Dans le modèle, service HPE et pièces coûtent s euros par an, l’électricité et l’hébergement e euros par an. Ces valeurs d’offre ne sont pas inventées. Les tarifs Proxmox publiés sont de 550 € par an et par socket VE occupé et 2 240 € pour un serveur PBS Standard : ici, 3 × 550 + 2 240 = 3 890 € par an. On suppose une fois 80 heures à 90 € (7 200 €) pour mise en place, tests et transfert ; puis 50 heures annuelles à 90 € (4 500 €) pour l’exploitation.

Calcul hypothétique en euros hors TVA ; les offres HPE et d’implantation en attente restent des variables
Poste 3 ans 5 ans
Nœuds, réseau, matériel de sauvegarde 3h + n + k 3h + n + k
Mise en place unique 7 200 € 7 200 €
VE/PBS + exploitation par an 3 × (3 890 + 4 500 + s + e) 5 × (3 890 + 4 500 + s + e)
Total 3h + n + k + 32 370 + 3s + 3e € 3h + n + k + 49 150 + 5s + 5e €

La sensibilité se lit directement : 1 000 € de plus par nœud ajoutent 3 000 € aux deux horizons ; 1 000 € de service HPE annuel supplémentaire ajoutent 3 000 ou 5 000 €. Si chaque hôte nécessite un second processeur occupé, les seuls abonnements augmentent de 1 650 € par an au même niveau Proxmox Standard, en plus du matériel, de la RAM et de l’énergie. Le calcul exclut migration depuis VMware, second site de sauvegarde et hausse des prix ; ces postes doivent être ajoutés à la décision concrète.

DAXS vérifie d’abord pointes de charge et objectifs de panne, puis nomenclature HPE validée, plans de ports et d’alimentation, restauration Ceph et sauvegarde et offres complètes. Pour planifier un tel cluster dans votre environnement, utilisez Contact pour engager la discussion.

Sources : HPE ProLiant DL360 Gen11 QuickSpecs · Proxmox VE Administration Guide : cluster, HA et Ceph · Ceph : nombre de copies et min_size · Proxmox VE : tarifs des abonnements · Proxmox Backup Server : tarifs.