Proxmox VE als Basis für lokal gehostete KI-Funktionen

Die otris software AG, ein führender Anbieter von Softwarelösungen zur Digitalisierung in Unternehmen, setzt auf Proxmox VE um datenschutzfreundliche KI-Funktionen anzubieten. Das Unternehmen betreibt lokale Large Language Models (LLMs) in virtuellen Maschinen mit NVIDIA GPUs. Durch die Robustheit und Flexibilität von Proxmox VE bleibt selbst bei Ausfall eines Servers der Betrieb gewährleistet.

Die otris software AG plante, KI-Funktionen in ihre Produkte zu integrieren, um die Dokumentenverwaltung zu optimieren und das volle Potenzial der verfügbaren Daten zu nutzen. Eine der größten Herausforderungen bestand darin, Large Language Models (LLMs) sicher in einer Private Cloud zu betreiben, die von einer Tochterfirma, der otris systems GmbH, in drei deutschen Rechenzentren verwaltet wird.

Um eine leistungsfähige und datenschutzfreundliche Lösung zu realisieren, mussten laut Dr. Christoph Niemann, Mitgründer und Vorstand der otris software AG, zentrale Anforderungen erfüllt werden: Die Replikation zwischen zwei Rechenzentren sollte Lastverteilung und Ausfallsicherheit gewährleisten, die Nutzung virtueller Maschinen sollte eine flexible Umgebung für die LLMs bereitstellen und die direkte Zuweisung von NVIDIA H100 GPUs per PCIe-Passthrough an virtuelle Maschinen sollte eine dynamische GPU-Nutzung ermöglichen.

Flexibilität und Zuverlässigkeit durch Proxmox VE

Proxmox VE erwies sich als ideale Lösung für diese Anforderungen, da es eine zuverlässige und effiziente Verwaltung von virtuellen Instanzen ermöglicht. Die einfache Bedienbarkeit und die robuste Architektur von Proxmox VE erlaubt eine flexible Nutzung und Skalierung. ZFS ermöglicht eine schnelle und effiziente Storage-Replikation.

In der praktischen Anwendung erwies sich die Lösung als äußerst stabil und zuverlässig, die Installation und der Betrieb von Proxmox VE auf Hardware von Supermicro verliefen problemlos.

Ausfallsicherheit mit zwei identisch konfigurierten Systemen

Für die Implementierung wurden zwei identisch konfigurierte Supermicro 4125GS-TNRT Systeme eingesetzt, die jeweils mit zwei AMD EPYC 9654 Prozessoren mit 96 Kernen, 1,5 TB DDR5 RAM und einer Kapazität von bis zu acht GPUs pro Server ausgestattet sind. Die Netzwerkstruktur basiert auf einer 10GbE-Anbindung für externe Verbindungen sowie einem eigenen 100GbE-Netzwerk für die interne Kommunikation. Die GPUs werden mittels PCIe-Passthrough direkt an die virtuellen Maschinen weitergereicht.

Bei einem unerwarteten Defekt des Mainboards eines der beiden Server zeigte sich dann die hohe Leistungsfähigkeit der Lösung: Dank der flexiblen Infrastruktur konnte die virtuelle Maschine schnell auf den zweiten Server transferiert, die dort vorhandene GPU eingebunden und der Betrieb innerhalb kürzester Zeit wieder aufgenommen werden.

Dieser Bereich veranschaulicht die starke Innovationskraft von Proxmox, denn Proxmox VE ist ein von NVIDIA vGPU offiziell unterstützter Hypervisor und erlaubt ab Version 8.4 sogar die Live-Migration von „Mediated Devices“ wie NVIDIA vGPUs, wodurch die Ausfallsicherheit weiter gesteigert werden kann.

Maximale Skalierbarkeit und optimale Ressourcennutzung

Die langfristigen Vorteile der Implementierung von Proxmox VE sind vielfältig. Die Virtualisierungslösung bietet maximale Skalierbarkeit, da das bestehende Serverdesign jederzeit durch zusätzliche GPUs erweitert werden kann. Zudem ermöglicht Proxmox VE eine optimale Ressourcennutzung durch dynamische Verteilung von CPU-Kernen, RAM und GPUs, wodurch eine besonders präzise und effiziente Nutzung der Hardware gewährleistet wird.

Zudem erlaubt die Open-Source-Lösung von Proxmox erhebliche Kosteneinsparungen, da Lizenzkosten entfallen und Investitionen gezielter in leistungsfähige Hardware fließen können. Die Umgebung bleibt flexibel und zukunftssicher, da sie sich leicht erweitern und an neue Anforderungen anpassen lässt.

Ein weiterer Vorteil besteht für otris software AG in der hohen Stabilität von Proxmox VE: Die laufend bereitgestellten Updates sorgen für einen sicheren Betrieb mit minimalen Ausfallzeiten.

Zukunftssichere Plattform für KI mit Proxmox VE als Basis

Die Kombination aus Proxmox VE und der eingesetzten leistungsstarken Hardware bietet der otris software AG eine zuverlässige, kosteneffiziente und zukunftssichere Plattform für KI-gestützte Prozesse. Durch die hohe Skalierbarkeit, Flexibilität und Stabilität von Proxmox VE ist das Unternehmen bestens gerüstet, um auch in Zukunft innovative Technologien effizient einzusetzen.

„Für uns war es wichtig, dass die Kunden unserer otris legal suite die Wahl haben: Nutzung der gängigen KI-Modelle bei den bekannten Hostern oder Verwendung einer lokalen KI, sodass die Kundendaten die otris-Systeme nicht verlassen“, so Dr. Christoph Niemann. „Für Letzteres nutzen wir die Vorteile eines eigenen LLM auf Proxmox VE mit den NVIDIA GPU-Karten in einer eigenen Umgebung, die unsere Kollegen von der otris systems GmbH komplett betreuen.“

Auch in Zukunft setzt die otris software AG auf die Vielseitigkeit und Innovationskraft von Proxmox VE. So ist bereits geplant, von der Storage-Replikation mit ZFS auf Distributed Storage mit Ceph umzustellen, um die Echtzeitreplikation zwischen Rechenzentren zu verbessern und dadurch die Redundanz und die Betriebssicherheit erheblich zu steigern.

Dr. Christoph Niemann
Mitgründer und Vorstand

Über otris software AG

Die otris software AG unterstützt Unternehmen auf ihrem Weg zur Digitalisierung. Die Basis ihrer Software-Lösungen ist eine eigene Plattform für dokumentenzentrierte Geschäftsprozesse, die es ermöglicht, komplexe Sachverhalte transparent zu machen und fundierte Entscheidungen zu treffen. Ihre Fachlösungen unterstützen Entscheider in den Bereichen Legal & Administration, Compliance und Datenschutz bei der effizienten Wahrnehmung ihrer Führungsverantwortung. Sie zeichnen sich durch hohe Benutzerfreundlichkeit aus und integrieren modernste Technologien wie Künstliche Intelligenz (KI), um höchsten Ansprüchen gerecht zu werden.

Über Proxmox partner: otris systems GmbH
Die otris systems GmbH bietet seit 2003 individuelle Lösungen schwerpunktmäßig im Open-Source-Software-Umfeld an. Der Fokus des Unternehmens liegt auf bedarfsgerechter Beratung, transparenter Umsetzung, sowie einem nachhaltigen und sicheren Betrieb von IT-Infrastruktur und Applikationen. Durch den Betrieb eigener Hosting-Umgebungen ist otris systems in der Lage, individuelle Cloud-Lösungen nach Kundenspezifikation zu realisieren. Gleichzeitig ist auch der klassische Infrastrukturbetrieb On-Premises eine der Kernkompetenzen der otris systems GmbH. Komplexe Umgebungen mit hybriden Ansätzen, welche die Vorteile beider Welten nutzen, gehören daher genauso zum Tagesgeschäft von otris systems wie die Betreuung einzelner Systeme. Mehr unter: https://otris.systems