Ceph dans un cluster Proxmox : haute disponibilité sans SAN séparé

Ceph dans un cluster Proxmox peut distribuer les données des VM sur les SSD locaux de plusieurs hôtes et remplacer un SAN séparé. L’essentiel est le sort des copies après la panne d’un hôte : quorum, capacité libre et réseau permettent-ils de restaurer à temps la redondance voulue ? Le calcul suivant distingue données accessibles, redémarrages automatiques des VM et durée réelle de reprise.

Cet article se concentre sur la mécanique de Ceph en exploitation. La nomenclature HPE précise relève d’un dimensionnement matériel dédié ; choisir entre Ceph, réplication ZFS et stockage externe demande une comparaison applicative distincte. Le scénario de base emploie des SSD entreprise locaux comme OSD Ceph individuels, un pool VM répliqué et l’hôte comme domaine de défaillance. Supports de démarrage et sauvegarde externe restent hors de ce pool.

Comment les SSD locaux rendent-ils les données des VM accessibles ?

Ceph distribue les objets de données sur les OSD par groupes de placement. La règle CRUSH détermine quels hôtes portent les copies. Cet exemple fixe explicitement size=3 et min_size=2: trois copies, primaire comprise, et des E/S avec au moins deux copies accessibles. Des copies sur trois OSD du même hôte ne constituent pas une triple protection contre sa panne. Quorum des moniteurs, état des OSD et accessibilité des données des VM se vérifient séparément. Le cluster Proxmox nécessite au moins trois voix pour un quorum HA fiable ; quorum des moniteurs Ceph et règles HA des VM s’y ajoutent.

Après la panne d’un hôte parmi exactement trois, une réplication bien distribuée conserve deux copies sur hôtes. Dans les conditions indiquées, le pool peut traiter les E/S en mode dégradé, mais une troisième copie dans un troisième domaine hôte n’existe qu’au retour ou au remplacement d’un hôte. Avec quatre hôtes, Ceph peut la reconstruire sur le quatrième si espace et performances sont disponibles. Voilà la différence pratique entre « données toujours accessibles » et « redondance restaurée pendant la panne ». Même avec Ceph, une VM peut s’arrêter puis redémarrer sur un autre hôte ; cela ne signifie pas une interruption de zéro seconde.

Calculer la capacité avec une réserve de panne

Supposons quatre SSD locaux de données de 1,92 TB décimaux par hôte. Trois hôtes offrent 23,04 TB bruts, quatre 30,72 TB. Avec trois copies, avant métadonnées, snapshots et réserves d’exploitation, on obtient théoriquement 7,68 ou 10,24 TB logiques. Un plafond de planification hypothétique de 70 pour cent donne d’abord 5,38 ou 7,17 TB. Ce n’est ni une valeur Ceph par défaut ni un volume utile garanti.

Pour maintenir le cluster à quatre hôtes sous le plafond choisi même après une panne d’hôte, une fois la reconstruction achevée, l’exemple prévoit donc au maximum environ 70 pour cent de la capacité restante : 5,38 TB logiques, et non 7,17 TB. Les OSD les plus remplis et les seuils Ceph pour nearfull, backfillfull et fullcomptent également. Un seul OSD plein peut bloquer écritures ou backfill malgré un total rassurant. Les TB décimaux ne sont pas des TiB binaires.

Combien de temps prend la reconstruction ?

Avec par exemple 5 TB logiques et trois copies, le cluster à quatre hôtes contient 15 TB bruts, idéalement répartis à 3,75 TB par hôte. La perte d’un hôte impose de transférer environ 3,75 TB vers les trois restants pour la troisième copie. À un débit de reconstruction effectif mesuré de 250 MB/s, 3,75 TB ÷ 250 MB/s = environ 4 heures 10 minutes est une borne inférieure arithmétique ; à 125 MB/s, environ 8 heures 20 minutes. Peering, répartition, E/S concurrentes des VM, limites de recovery et nouvelles écritures allongent la durée réelle. Le débit nominal d’une carte à 25 Gbit ne constitue pas cette mesure.

DAXS demanderait un test de panne sous charge applicative : observer ceph health detail, ceph osd df et l’évolution des groupes de placement, relever les octets réellement récupérés et la durée, mesurer latence et disponibilité des VM. En fonctionnement normal, les PG doivent revenir à l’état active+clean . Le test doit aussi montrer si la panne d’un commutateur, lien ou chemin d’alimentation touche simultanément le quorum Corosync ou le trafic Ceph. Proxmox recommande au moins 10 Gbit/s exclusivement pour Ceph, davantage avec des SSD rapides ; le plan de ports dépend des débits OSD, de l’objectif de reprise et de chemins physiques distincts.

Quel est le coût du domaine supplémentaire de reconstruction ?

Pour le budget, soit h le prix proposé d’un hôte entièrement équipé, n le réseau redondant déjà dimensionné pour quatre connexions et b un serveur de sauvegarde externe avec supports. On suppose par hôte p euros annuels de service, énergie et colocation. Dans ce seul modèle, installation et réception représentent 100 heures × 90 € = 9 000 €, puis l’exploitation 60 heures × 90 € = 5 400 € par an. Le même travail est supposé pour trois et quatre hôtes et doit être réestimé dans l’offre réelle. Les prix catalogue officiels de Proxmox VE Standard et Proxmox Backup Server Standard sont respectivement 550 € par socket CPU occupé et par an et 2 240 € par serveur de sauvegarde et par an. On suppose exactement un socket occupé par hôte. Tous les montants sont nets ; remplacer par les offres et le travail réels.

La formule ajoute chaque année les sockets Proxmox, PBS et 5 400 € d’exploitation : pour trois hôtes 9 290 € plus 3p, pour quatre 9 840 € plus 4p. Un prix unitaire d’hôte supérieur de 1 000 € augmente les deux horizons à quatre hôtes de 4 000 € ; 1 000 € annuels supplémentaires par hôte ajoutent 12 000 ou 20 000 €. Si l’option à quatre hôtes nécessite d’autres commutateurs, ajouter l’écart à n . Les copies Ceph ne sont toujours pas une sauvegarde : système séparé, copie externe et restauration testée font partie de la réception. L’article DAXS Proxmox Backup Server : vérification, conservation et restauration décrit ce contrôle.

La décision intervient après mesure de latence, indisponibilité et reconstruction, avec une offre solide pour matériel, réseau et exploitation. DAXS peut définir ce protocole de mesure et de réception avec l’entreprise via Contact .

Sources : Proxmox VE Administration Guide : cluster et Ceph · Ceph : size et min_size · Ceph : contrôles de santé et remplissage · Ceph : recovery et backfill · Proxmox VE : tarifs · Proxmox Backup Server : tarifs.