Verfahrensangaben

Preis

Die besondere Dringlichkeit ergibt sich daraus, dass diese Recheninfrastruktur eine grundlegende Voraussetzung für die bereits laufende technische Umsetzung des Projekts ist. Sie wird für Entwicklung, Integration, Erprobung und anschließende Evaluation der vorgesehenen KI-Verfahren benötigt; eine verspätete Bereitstellung verschiebt damit unmittelbar die nachfolgenden Projektarbeiten. Gleichzeitig unterliegt leistungsfähige KI-Hardware derzeit erheblichen Preis- und Verfügbarkeitsschwankungen, während insbesondere die Zahl kurzfristig lieferbarer Systeme in der benötigten Leistungsklasse begrenzt ist. Eine Verzögerung der Beschaffung birgt deshalb sowohl das Risiko erheblicher Mehrkosten bzw. einer späteren Nichtverfügbarkeit der vorgesehenen Konfiguration als auch das Risiko einer Verzögerung der Projektmeilensteine. Vor diesem Hintergrund ist eine zeitnahe Beschaffung sowohl aus technischer und wirtschaftlicher Sicht als auch zur Einhaltung des Projektzeitplans erforderlich. Auf Grund der aktuellen Marktlage mit sprunghaften Preissteigerungen hat das Ergebnis einer eingehenden Markterkundung hat ergeben, dass bei Einhaltung der Mindestfristen eines Vergabeverfahrens ein wirtschaftliches Ergebnis nicht zu erzielen bzw. mit Lieferverzögerungen zu rechnen.

Fileserver D20x-M4-SP:
Der Fileserver wird als zentraler, leistungsfähiger Netzwerkspeicher für die GPU- und Inferenzsysteme des Research Compute Cluster, RCC, benötigt. Die Rechenknoten verfügen im Verhältnis zu den zu verarbeitenden Datenmengen nur über begrenzten lokalen Festspeicher und sind nicht für eine dauerhafte lokale Datenhaltung ausgelegt. Für einen einheitlichen Betrieb der leistungsfähigen Systeme ist daher ein gemeinsamer Netzwerkspeicher erforderlich, über den Daten zentral bereitgestellt, zwischen Rechenknoten ausgetauscht und dauerhaft gespeichert werden
können. Der bereits vorhandene Petabyte-Speicher des RCC ist primär auf sehr große Speicherkapazitäten ausgelegt, bietet für datenintensive KI-Workloads jedoch nicht die erforderliche
Zugriffsgeschwindigkeit. Insbesondere beim parallelen Laden großer Trainings- und Inferenzdaten sowie beim Austausch von Zwischenergebnissen würden Ein-/Ausgabe-Wartezeiten die
verfügbaren GPU-Ressourcen ausbremsen. Der zusätzliche Fileserver ergänzt den bestehenden Massenspeicher deshalb um eine deutlich schnellere Speicherebene für aktive Arbeitsdaten.
Das angebotene System kombiniert 24 SAS-Festplatten mit jeweils 24 TB Kapazität mit acht NVMe-SSDs mit jeweils 15,3 TB sowie weiteren NVMe-Datenträgern. Dadurch stehen sowohl hohe Speicherkapazität als auch eine schnelle Ebene für zugriffsintensive Daten zur Verfügung. Die Dual-Port-100-Gbit/s-Netzwerkschnittstelle ermöglicht zugleich den zugleich den parallelen Zugriff mehrerer
leistungsfähiger Rechenknoten über die RCC-Netzinfrastruktur.
Die gemeinsame Speicherbereitstellung ist insbesondere für den uniformen Betrieb der größeren Rechenknoten erforderlich. Daten müssen nicht mehrfach lokal vorgehalten oder zwischen einzelnen Systemen manuell synchronisiert werden, sondern stehen allen angebundenen Knoten konsistent zur Verfügung. Der Fileserver ersetzt den vorhandenen Petabyte-Speicher nicht, sondern ergänzt ihn um die für aktive KI-, GPU- und Inferenzworkloads benötigte
Hochgeschwindigkeitsspeicherebene.

NVIDIA DGX Spark:
Die NVIDIA-DGX-Spark-Systeme werden als kompakte KI-Entwicklungs-, Test- und Inferenzsysteme in die Infrastruktur des Research Compute Cluster, RCC, integriert. Sie ermöglichen Wissenschaftlerinnen und Wissenschaftlern die Entwicklung, Erprobung und Optimierung von KI-Modellen in derselben NVIDIA-Softwareumgebung, die auch auf den zentralen GPU-Servern des RCC eingesetzt wird. Dadurch können Anwendungen zunächst auf
einer dedizierten Entwicklungsressource erstellt und anschließend ohne grundlegenden Wechsel der GPU-Plattform, der CUDA-Umgebung oder der verwendeten KI-Frameworks auf die leistungsfähigeren zentralen RCC-GPU-Server übertragen werden.
Die Systeme basieren auf der NVIDIA-Grace-Blackwell-Architektur und verfügen jeweils über 128 GB kohärenten gemeinsamen CPU-/GPU-Speicher. Dies ermöglicht die Bearbeitung von KIModellen
und Datenmengen, die auf üblichen Arbeitsplatzrechnern oder GPUs mit deutlich geringerem Speicher nicht oder nur eingeschränkt verarbeitet werden können. Die integrierte 10-Gbit/s-Ethernet-Schnittstelle und die ConnectX-7-Netzwerkschnittstelle ermöglichen die Einbindung in die RCC-Netzinfrastruktur sowie eine schnelle Kopplung der Systeme. Die 16 Geräte bilden eine einheitliche, homogene Ressourcengruppe. Damit können Betriebssystem, NVIDIA-Treiber, Container-Images, Entwicklungswerkzeuge und Supportprozesse standardisiert bereitgestellt werden. Da die DGX-Spark-Systeme eine ARM64-CPU-Architektur
verwenden, werden sie innerhalb des RCC als eigene homogene Ressourcengruppe betrieben. Auf diese Weise wird die Architekturabweichung zu den x86-Servern kontrolliert und die
Reproduzierbarkeit der bereitgestellten Softwareumgebungen gewährleistet. Die Beschaffung der einheitlichen NVIDIA-Plattform ist gegenüber einer Mischung unterschiedlicher KI-Arbeitsplatzsysteme erforderlich, weil andernfalls mehrere Treiber-, Firmware-, Container- und Softwarevarianten gepflegt und separat validiert werden müssten. Die DGX-Spark-Systeme entlasten außerdem die zentralen GPU-Server von interaktiver Entwicklungsarbeit und kurzen Testläufen, sodass deren Rechenkapazität vorrangig für produktive,
langlaufende und speicherintensive RCC-Aufträge zur Verfügung steht.

GPU-Server D20z-M5-ZT-8xGPU:
Der GPU-Server wird zur Erweiterung der zentralen GPU-Rechenkapazität des RCC benötigt. Er dient insbesondere der Bearbeitung rechen- und speicherintensiver Anwendungen aus der
medizinischen KI, der Bildanalyse, der Genomik und Metagenomik sowie dem Training und der Inferenz großer KI-Modelle. Das System wird mit identisch konfigurierten Rechenknoten in die GPU-Ressourcen des RCC und dessen Slurm-basierte Auftragssteuerung integriert. Der angebotene Server ist mit zwei AMD-EPYC-9755-Prozessoren, 1.536 GB Hauptspeicher, sechs NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs, lokalen SSD-Systemlaufwerken und
zwei 15,3-TB-NVMe-Datenträger ausgestattet. Jede RTX PRO 6000 Blackwell Server Edition verfügt über 96 GB GDDR7-Speicher mit Fehlerkorrektur, sodass pro Server insgesamt 576 GB GPU-Speicher zur Verfügung stehen. Dies ist insbesondere für große neuronale Netze, umfangreiche medizinische Bilddaten, große Modellkontexte und parallele GPU-Berechnungen erforderlich.
Der große Hauptspeicher ist erforderlich, um umfangreiche Datensätze vorzuverarbeiten, mehrere GPU-Prozesse gleichzeitig zu versorgen und speicherintensive CPU- und GPUVerarbeitungsschritte
innerhalb desselben Rechenknotens auszuführen. Der lokale 2x 15,3-TBNVMe-Speicher ermöglicht die temporäre Ablage aktiver Arbeitsdaten direkt auf dem Rechenknoten. Dadurch werden unnötige zufällige Ein-/Ausgabeoperationen auf den zentralen Netzwerkspeichern vermieden und sowohl die Laufzeit der Berechnungen als auch die Belastung der gemeinsam genutzten CC-Speicherinfrastruktur reduziert. Die Serverkonfiguration orientiert sich eng an der schon bestehenden Hardware. Diese Standardisierung ist für den Clusterbetrieb wesentlich: Slurm kann einheitliche Ressourcenprofile verwenden, Software und Container können auf allen Knoten identisch bereitgestellt werden, und Treiber-, Firmware- und BIOS-Versionen lassen sich gemeinsam testen und aktualisieren.
Gleichzeitig werden Fehlersuche, Ersatzteilhaltung und Betriebsdokumentation erheblich vereinfacht.
Die Verwendung der NVIDIA-Blackwell-Plattform schafft außerdem eine konsistente technische Kette von den DGX-Spark-Entwicklungssystemen bis zu den zentralen produktiven GPU-Knoten.
Eine Mischung unterschiedlicher neuer GPU-Typen innerhalb dieser Ressourcengruppe würde zusätzliche Softwaremodule, Treibervarianten, Leistungsprofile und Validierungstests erfordern.
Die konkrete, einheitliche Serverkonfiguration ist daher notwendig, um die zusätzlichen Systeme zuverlässig, wirtschaftlich und mit vertretbarem Betriebsaufwand in das RCC zu integrieren.

GPU-Server D20z-M5-ZT-8xGPU:
Der GPU-Server wird zur Erweiterung der zentralen GPU-Rechenkapazität des RCC benötigt. Er dient insbesondere der Bearbeitung rechen- und speicherintensiver Anwendungen aus der
medizinischen KI, der Bildanalyse, der Genomik und Metagenomik sowie dem Training und der Inferenz großer KI-Modelle. Das System wird mit identisch konfigurierten Rechenknoten in die GPU-Ressourcen des RCC und dessen Slurm-basierte Auftragssteuerung integriert. Der angebotene Server ist mit zwei AMD-EPYC-9755-Prozessoren, 1.536 GB Hauptspeicher, sechs NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs, lokalen SSD-Systemlaufwerken und
zwei 15,3-TB-NVMe-Datenträger ausgestattet. Jede RTX PRO 6000 Blackwell Server Edition verfügt über 96 GB GDDR7-Speicher mit Fehlerkorrektur, sodass pro Server insgesamt 576 GB GPU-Speicher zur Verfügung stehen. Dies ist insbesondere für große neuronale Netze, umfangreiche medizinische Bilddaten, große Modellkontexte und parallele GPU-Berechnungen erforderlich.
Der große Hauptspeicher ist erforderlich, um umfangreiche Datensätze vorzuverarbeiten, mehrere GPU-Prozesse gleichzeitig zu versorgen und speicherintensive CPU- und GPUVerarbeitungsschritte
innerhalb desselben Rechenknotens auszuführen. Der lokale 2x 15,3-TBNVMe-Speicher ermöglicht die temporäre Ablage aktiver Arbeitsdaten direkt auf dem Rechenknoten. Dadurch werden unnötige zufällige Ein-/Ausgabeoperationen auf den zentralen
Netzwerkspeichern vermieden und sowohl die Laufzeit der Berechnungen als auch die Belastung der gemeinsam genutzten RCC-Speicherinfrastruktur reduziert. Die Serverkonfiguration orientiert sich eng an der schon bestehenden Hardware. Diese Standardisierung ist für den Clusterbetrieb wesentlich: Slurm kann einheitliche Ressourcenprofile verwenden, Software und Container können auf allen Knoten identisch bereitgestellt werden, und
Treiber-, Firmware- und BIOS-Versionen lassen sich gemeinsam testen und aktualisieren. Gleichzeitig werden Fehlersuche, Ersatzteilhaltung und Betriebsdokumentation erheblich
vereinfacht. Die Verwendung der NVIDIA-Blackwell-Plattform schafft außerdem eine konsistente technische Kette von den DGX-Spark-Entwicklungssystemen bis zu den zentralen produktiven GPU-Knoten.
Eine Mischung unterschiedlicher neuer GPU-Typen innerhalb dieser Ressourcengruppe würde zusätzliche Softwaremodule, Treibervarianten, Leistungsprofile und Validierungstests erfordern.
Die konkrete, einheitliche Serverkonfiguration ist daher notwendig, um die zusätzlichen Systeme zuverlässig, wirtschaftlich und mit vertretbarem Betriebsaufwand in das RCC zu integrieren.

SuperMicro SSE-G3748R-SONIC:
Der SuperMicro SSE-G3748R-SONIC wird als identische Erweiterung der bestehenden Management- und BMC-Netzinfrastruktur des RCC beschafft. Die Beschaffung dient nicht dem Aufbau einer neuen, unabhängigen Netzwerklösung, sondern der Erweiterung des vorhandenen, bereits konfigurierten und betrieblich eingeführten Systems um zusätzliche Anschlüsse für Server-
Managementschnittstellen, Infrastrukturkomponenten und weitere RCC-Knoten. Das Modell stellt 48 RJ45-Anschlüsse mit 1 Gbit/s sowie sechs SFP28-Uplinks mit 10 beziehungsweise 25 Gbit/s bereit und ist ausdrücklich für die Verwendung als IPMI-/Management-
Switch oder als Daten-Switch ausgelegt. Es wird mit SONiC betrieben und verfügt über redundante Netzteile.
Die Modellgleichheit ist für den sicheren RCC-Betrieb erforderlich. Bestehende Konfigurationen,
Automatisierungen, Portbezeichnungen, Überwachungsregeln, Firmwareprozesse und Betriebsanweisungen können unverändert übernommen werden. Ebenso bleiben Netzteile,
Lüfterkonzept, Rack-Einbau, Verkabelung und vorhandene Ersatzteilstrategien einheitlich. Das reduziert die Fehlerwahrscheinlichkeit bei Installation, Wartung und Störungsbehebung. Ein Switch eines anderen Herstellers oder einer anderen Baureihe wäre lediglich hinsichtlich einzelner Portgeschwindigkeiten funktional ähnlich, jedoch nicht betrieblich identisch. Er würde eine zusätzliche Konfigurations- und Firmwareplattform, gesonderte Kompatibilitätstests sowie
separate Dokumentations- und Supportprozesse erfordern. Die Beschaffung desselben Modells ist daher die technisch und wirtschaftlich zweckmäßige Form, die bestehende RCC Managementinfrastruktur zu erweitern, ohne eine heterogene Parallelstruktur zu erzeugen.
Edgecore AS5835-54T BMS
Der Edgecore AS5835-54T BMS wird als identische Erweiterung der bestehenden 10-Gbit/s- Switching-Ebene des RCC benötigt. Mit dem Gerät werden zusätzliche Netzwerkanschlüsse für neue Rechen-, GPU- und Infrastrukturserver geschaffen, ohne die vorhandene Netzarchitektur oder die bereits eingeführten Betriebsverfahren zu verändern. Das Modell verfügt über 48 RJ45-Anschlüsse mit 10 Gbit/s sowie sechs QSFP28-Uplinks mit 100 Gbit/s. Es ist als Rechenzentrums- beziehungsweise Top-of-Rack-Switch für die Anbindung von Servern an eine übergeordnete 100-Gbit/s-Netzwerkstruktur ausgelegt. Bei der Beschaffung steht ausdrücklich die identische Erweiterung des bestehenden Systems im Vordergrund. Durch die Verwendung desselben Switchmodells bleiben Portaufteilung, Uplink-Struktur, Transceiver und Kabel, Luftführung, Netzteile, Firmware, Netzwerkbetriebssystem und
Konfigurationsvorlagen einheitlich. Vorhandene Automatisierungen, Monitoringregeln und Verfahren zur Sicherung und Wiederherstellung der Switchkonfiguration können ohne Anpassung
weiterverwendet werden. Die Modellgleichheit ist insbesondere für den redundanten Betrieb der Netzebene relevant. Unterschiedliche Switchplattformen können trotz nominell gleicher Ethernet-Geschwindigkeiten Abweichungen beim VLAN-, Routing-, Uplink-, Breakout- oder Fehlerverhalten aufweisen. Diese Unterschiede müssten vor dem produktiven Einsatz umfassend getestet und dauerhaft separat administriert werden. Mit dem AS5835-54T wird dagegen die Kapazität des bestehenden RCCNetzes erweitert, ohne neue technische Abhängigkeiten oder zusätzliche Betriebsrisiken einzuführen.
Edgecore AS7726-32X BMS:
Der Edgecore AS7726-32X BMS wird als identische Erweiterung der bestehenden 100-Gbit/s-Core- beziehungsweise Spine-Infrastruktur des RCC beschafft. Diese Netzebene verbindet die untergeordneten 10-Gbit/s-Switches, leistungsfähige Rechen- und GPU-Systeme sowie zentrale Speicher- und Infrastrukturkomponenten. Durch die zusätzlichen GPU-Server und weitere RCCSysteme steigt sowohl die Zahl der benötigten Anschlüsse als auch die zu übertragende
Datenmenge.Der AS7726-32X stellt 32 QSFP28-Ports mit jeweils 100 Gbit/s sowie zwei zusätzliche SFP+-Ports mit 10 Gbit/s bereit. Die QSFP28-Ports können bei Bedarf mittels Breakout-Verbindungen auch als 2 × 50, 4 × 25, 1 × 40 oder 4 × 10 Gbit/s genutzt werden. Das Modell ist ausdrücklich als Top-of-Rack- oder Spine-Switch für Hochleistungsrechenzentren ausgelegt. Für diese zentrale Netzebene ist die Modellgleichheit besonders wichtig. Nur durch die
Beschaffung desselben Switchtyps bleiben Switching-Eigenschaften, Port- und Breakout-Konfigurationen, unterstützte Transceiver, Firmwarestände, Konfigurationssyntax und Überwachungsverfahren einheitlich. Der neue Switch kann dadurch unmittelbar in die vorhandene RCC-Netzwerktopologie und die bestehenden Redundanz- und Betriebsverfahren aufgenommen werden.
Der Einsatz eines abweichenden 100-Gbit/s-Switches würde trotz vergleichbarer nomineller Bandbreite eine neue Hardware- und Softwareplattform in den zentralen Datenpfad einführen. Dies
würde zusätzliche Interoperabilitätsprüfungen, neue Ersatzteile, getrennte Firmware- und Konfigurationsverfahren sowie einen höheren Aufwand bei der Fehlersuche verursachen. Da der
AS7726-32X die bestehende RCC-Core-Infrastruktur nicht ersetzt, sondern identisch erweitert, ist die konkrete Modellwahl erforderlich, um die Betriebssicherheit, Wartbarkeit und langfristige
Investitionssicherheit des Gesamtsystems zu erhalten.