Neue Möglichkeiten für Shared Block Storage in Proxmox VE: LVM Thin und CetraFS

Erweiterung der Shared Storage-Möglichkeiten in Proxmox VE

Shared Storage ist seit langem ein wichtiges Thema in Unternehmens-Virtualisierungsumgebungen. Insbesondere für Organisationen, die eine Migration von VMware zu Proxmox Virtual Environment (VE) in Betracht ziehen, ist die Möglichkeit, die bestehende Speicherinfrastruktur weiterhin zu nutzen, oft ein entscheidender Faktor.

Viele Unternehmensumgebungen setzen auf etablierte Speichertechnologien wie iSCSI, Fibre Channel (FC) oder NVMe over Fabrics (NVMe-oF). Obwohl Proxmox VE bereits mehrere Storage-Backends bietet, gab es historisch gesehen Einschränkungen bei der Kombination von Shared Block Storage mit Funktionen wie Thin Provisioning, Snapshots und flexiblem Management virtueller Festplatten.

Mit den jüngsten Entwicklungen im Proxmox VE-Ökosystem eröffnen sich neue Möglichkeiten. Zwei besonders interessante Ansätze sind Shared LVM Thin und CetraFS. Beide zielen darauf ab, die Fähigkeiten bestehender Shared Block Storage-Infrastrukturen zu erweitern, verfolgen jedoch grundlegend unterschiedliche architektonische Ansätze.

Bei credativ verfolgen wir diese Entwicklungen aktiv und tragen dazu bei, neue Speichertechnologien zugänglicher und einfacher in Proxmox VE-Umgebungen zu integrieren.

Shared LVM Thin: Thin Provisioning für Shared Block Storage

Eine der interessantesten Entwicklungen ist das Shared LVM Thin Storage-Plugin für Proxmox VE 9.x, das von unserem Mitarbeiter Florian Paul Azim Hoberg (Head of Virtualization) entwickelt wurde, der in der Open-Source-Community auch als gyptazy bekannt ist.

Traditionell mussten Administratoren, die mit Shared Block Storage in Proxmox VE arbeiteten, zwischen zwei Ansätzen wählen:

• Shared LVM: Ermöglicht mehreren Cluster-Knoten den Zugriff auf denselben zugrunde liegenden Speicher, basiert jedoch traditionell auf Thick-Provisioned Logical Volumes.
• LVM-Thin: Bietet Thin Provisioning, Snapshots und Linked Clones, ist aber für lokalen Speicher konzipiert und nicht für die gleichzeitige Aktivierung eines Shared Thin Pools über mehrere Cluster-Knoten hinweg.

Dies hinterließ eine Lücke für Umgebungen, die ihre bestehende SAN-Infrastruktur beibehalten und gleichzeitig von Thin Provisioning- und Snapshot-Funktionen profitieren wollten.

Mit Proxmox VE 9 wurde die Snapshot-Unterstützung für Shared, Thick-Provisioned LVM durch Snapshot-Volume-Chains eingeführt. Thin Provisioning blieb jedoch ein wichtiges fehlendes Feature.

Florians Shared LVM Thin Plugin behebt diese Einschränkung durch einen anderen architektonischen Ansatz. Anstatt einen Shared LVM Thin Pool über mehrere Cluster-Knoten hinweg zu aktivieren, erstellt das Plugin einen dedizierten Thin Pool für jede virtuelle Maschine oder jeden Container innerhalb der Shared LVM Volume Group.

Da ein Gast normalerweise nur auf einem Cluster-Knoten gleichzeitig läuft, kann sein dedizierter Thin Pool ausschließlich auf diesem Knoten aktiviert werden. Während der Migration wird der Pool auf dem Quellknoten deaktiviert, bevor er auf dem Zielknoten aktiviert wird. Dies vermeidet das unsichere Szenario, dass mehrere Hosts die Metadaten desselben aktiven Thin Pools unabhängig voneinander modifizieren.

Hauptmerkmale

Das Plugin integriert sich in den bestehenden Proxmox VE Storage Lifecycle und bietet mehrere wichtige Funktionen:

• Thin-provisioned virtuelle Festplatten auf Shared Block Storage.
• Erstellung, Löschung und Rollback von Snapshots.
• Unterstützung für Templates und Linked Clones.
• Größenänderung virtueller Festplatten und vollständiges Klonen.
• Integration in das Proxmox VE Storage Management.
• Befehlszeilen- und API-Verwaltung.
• Zusätzliche Integration in die Proxmox VE Weboberfläche.
• Cluster-weites Locking für Operationen, die Shared LVM-Metadaten modifizieren.

Der zugrunde liegende Speicher kann bestehende iSCSI-, Fibre Channel- oder NVMe-oF-Infrastrukturen nutzen, was die Lösung besonders interessant für Organisationen macht, die ihre Virtualisierungsplattform modernisieren möchten, ohne ihre Storage-Arrays zu ersetzen.

Ein weiterer wichtiger Aspekt ist die Installation und Wartung. Das Plugin wird als Debian-Paket verteilt und ist über Florians Debian-Repository verfügbar, sodass Administratoren es mithilfe der Standard-APT-Paketverwaltung installieren und aktualisieren können.

Dies erleichtert die konsistente Bereitstellung des Plugins auf allen Knoten eines Proxmox VE-Clusters erheblich.

Für Organisationen mit bestehender SAN-Infrastruktur bietet Shared LVM Thin eine interessante Alternative zu Thick-Provisioned Shared LVM, während die vertraute LVM-basierte Speicherarchitektur beibehalten wird.

Weitere technische Informationen finden Sie in Florians Artikel: Proxmox VE and Shared LVM-Thin Storage with Snapshots.

CetraFS: Ein neuer Ansatz für Shared Clustered Filesystems

Während Shared LVM Thin den traditionellen LVM-Ansatz erweitert, CetraFS geht einen anderen Weg.

CetraFS ist ein unabhängiges Clustered Filesystem, das entwickelt wurde, um mehreren Linux-Hosts den gleichzeitigen Zugriff auf dasselbe Shared Block Device zu ermöglichen. Sein Gesamtkonzept adressiert eine vertraute Anforderung in der Unternehmensvirtualisierung: die Bereitstellung von Shared Filesystem Storage für virtuelle Maschinen-Disks über mehrere Hypervisor-Knoten hinweg.

Seit vielen Jahren setzen VMware-Umgebungen auf VMFS, um genau diese Art von Funktionalität bereitzustellen. Proxmox VE bietet mehrere etablierte Storage-Alternativen, aber ein unkompliziertes Äquivalent für jeden Shared-SAN-Anwendungsfall ist in der Community eine fortlaufende Diskussion geblieben.

CetraFS untersucht einen möglichen Ansatz zur Schließung dieser Lücke. Im Gegensatz zu konventionellen Dateisystemen verfügt CetraFS über eine eigene Dateisystemimplementierung, ein On-Disk-Format, ein Kernel-Modul und Userspace-Tools. Seine Architektur konzentriert sich auf koordinierte Allokation, gleichzeitigen Zugriff, Crash Consistency und die Anforderungen von Virtualisierungs-Workloads.

Ein besonders interessanter Aspekt ist die Verwendung von atomaren SCSI COMPARE AND WRITE (CAW)-Operationen. Diese Operationen ermöglichen es den teilnehmenden Knoten, den Zugriff über das zugrunde liegende Speichergerät selbst zu koordinieren.

Das Dateisystem enthält auch Funktionen wie:

• Gleichzeitiger Zugriff auf Shared Block Devices.
• Per-Node Write-Ahead Journals.
• Prüfsummen für On-Disk-Strukturen.
• Sparse-File-Unterstützung.
• Per-Node Allokationsgruppen zur Reduzierung von Konflikten.
• Dateisystem-Prüf- und Wartungstools.
• Unterstützung für virtuelle Maschinen-Disk-Images und Migrations-Workflows.

Dies macht CetraFS zu einem interessanten Projekt für Organisationen, die eine Dateisystem-basierte Alternative zu traditionellem Shared LVM Storage suchen.

Unsere Beiträge zu CetraFS

Florian verfolgt die CetraFS-Entwicklung genau und trägt aktiv dazu bei, das Projekt innerhalb des Proxmox VE-Ökosystems zugänglicher zu machen.

Aus diesem Engagement sind bereits mehrere Verbesserungen hervorgegangen:

Verfügbarkeit von Debian-Paketen
CetraFS-Pakete wurden zu Florians Debian-Paket-Repository hinzugefügt, wodurch die Installation der erforderlichen Komponenten direkt über APT möglich ist, anstatt alles manuell zu kompilieren und zu installieren.

Integration in die Proxmox VE Weboberfläche
Florian hat eine GUI-Integration für CetraFS beigesteuert, die es Administratoren ermöglicht, den Speicher über die vertraute Proxmox VE Weboberfläche zu konfigurieren und zu verwalten, anstatt sich ausschließlich auf Befehlszeilenoperationen zu verlassen.

Verbesserungen bei SCSI COMPARE AND WRITE
Florian hat auch einen Fix im Zusammenhang mit CAW-basierten Speicheroperationen beigesteuert, der in die CetraFS 0.9.1 Release-Serie integriert wurde.

Diese Beiträge helfen, die Lücke zwischen einem interessanten eigenständigen Speicherprojekt und etwas zu schließen, das Proxmox VE-Administratoren leichter evaluieren und in ihre Umgebungen integrieren können.

Es ist wichtig zu betonen, dass CetraFS noch ein junges Projekt ist und die Reife etablierter Enterprise-Dateisysteme wie VMFS noch nicht erreicht hat. Hardware-Kompatibilität, insbesondere die Unterstützung für atomare COMPARE AND WRITE-Operationen, sowie Fencing, Recovery und Multipath-Verhalten müssen sorgfältig validiert werden, bevor Produktionsbereitstellungen in Betracht gezogen werden.

Dennoch entwickelt sich das Projekt in eine interessante Richtung und verdient die Aufmerksamkeit all jener, die mit Shared Block Storage in Linux-Virtualisierungsumgebungen arbeiten.

Weitere Informationen finden Sie auf der offiziellen CetraFS-Projektwebsite.

Zwei Ansätze, unterschiedliche Anwendungsfälle

Obwohl Shared LVM Thin und CetraFS beide darauf abzielen, die Möglichkeiten der Arbeit mit Shared Block Storage in Proxmox VE-Clustern zu verbessern, sind sie keine direkten Konkurrenten oder austauschbare Lösungen.

Ihre architektonischen Unterschiede machen sie für unterschiedliche Anforderungen geeignet.

Shared LVM Thin ist besonders interessant für Organisationen, die ihre bestehende LVM- und SAN-Architektur beibehalten und gleichzeitig Thin Provisioning- und Snapshot-Funktionalität erhalten möchten, wobei Thin Provisioning jedoch auch problematisch werden kann, da Betreiber die Datennutzung sorgfältig überwachen müssen.

CetraFS hingegen verfolgt einen Dateisystem-basierten Ansatz, der es mehreren Knoten ermöglicht, gleichzeitig mit demselben Shared Block Device zu arbeiten.

Die richtige Wahl hängt letztendlich von der bestehenden Infrastruktur, den betrieblichen Anforderungen, den Hardware-Fähigkeiten und der gewünschten Speicherarchitektur ab.

Ausblick: Proxmox VE Storage entwickelt sich weiter

Das Proxmox VE Storage-Ökosystem erlebt spannende Entwicklungen. Obwohl es immer noch keine Universallösung gibt, die jeden Anwendungsfall abdeckt, der traditionell von VMware VMFS adressiert wird, zeigen Projekte wie Shared LVM Thin und CetraFS, dass sich das Ökosystem aktiv weiterentwickelt.

Für uns bei credativ sind diese Entwicklungen besonders interessant, da sie Organisationen zusätzliche Optionen bei der Modernisierung ihrer Virtualisierungsinfrastruktur bieten.

Wir glauben, dass die Unterstützung von Open-Source-Projekten, das Einbringen von Verbesserungen und die Vereinfachung der Bereitstellung neuer Technologien wichtige Bestandteile zur Stärkung des Proxmox VE-Ökosystems sind.

Florian verfolgt diese Projekte weiterhin genau und wird weitere Einblicke aus seiner Arbeit und Erfahrung mit beiden Technologien teilen.

Treffen Sie uns beim nächsten Virtualization Gathering – 12. Dezember

Möchten Sie mehr über Shared LVM Thin, CetraFS und die Zukunft von Shared Storage in Proxmox VE erfahren?

Bei unserem nächsten Virtualization Gathering am 12. Dezember wird Florian (gyptazy) weitere Informationen und technische Einblicke in beide Lösungen geben, einschließlich Live-Demonstrationen und Benchmarks, bei denen er Shared LVM Thick, Shared LVM Thin und CetraFS vergleicht.

Die Session wird die architektonischen Konzepte hinter Shared LVM Thin, die Möglichkeiten von CetraFS und die laufenden Entwicklungen rund um die Integration dieser Technologien in Proxmox VE-Cluster behandeln.

Es wird auch eine Gelegenheit sein, praktische Anwendungsfälle, technische Herausforderungen und die Zukunft von Shared Block Storage im Proxmox-Ökosystem zu diskutieren.

Wir freuen uns darauf, die Community willkommen zu heißen und Ideen auszutauschen!

über den Autor

gyptazy

Senior DevOps Consultant

zur Person

In meinem technischen Repertoire stehen FreeBSD und föderierte Dienste nicht nur als persönliche Präferenz, sondern als Symbol für mein Bekenntnis zum Ethos der Open Source. Ich bin fest davon überzeugt, dass Entwickler, darunter DevOps, SysOps und die Open-Source-Community, in einer symbiotischen Beziehung zueinander stehen. Während ich weiterhin Teams in der sich ständig weiterentwickelnden Technologielandschaft leite, spiegelt sich ihr Engagement für Open-Source-Beiträge und ihr Eintreten für dezentrale und föderierte Dienste nicht nur in dem Code wider, den sie schreiben, sondern auch in der Ethik, die sie den Teams vermitteln.

Beiträge ansehen