Das
Campuscluster Projekt, gestartet im Jahr 2012 in Kooperation durch den Fachbereich Physikalische Technik und die Datenverarbeitungszentrale, hat sich über die Jahre zu einem System entwickelt, auf dem Studierende und Lehrende auch einen professionell verwalteten HPC Bereich vorfinden, welcher zum jetzigen Zeitpunkt durch den SLURM Workload Manager verwaltet und hauptsächlich mit Easybuild Softwareinstallationen betrieben wird.
Der Slurm Workload Manager, früher bekannt als Simple Linux Utility for Resource Management (SLURM) oder einfach Slurm, ist ein freier und quelloffener Job Scheduler für Linux und Unix-ähnliche Kernel, der von vielen Supercomputern und Computerclustern der Welt genutzt wird. Er bietet drei Schlüsselfunktionen:
- Zuweisung des exklusiven und/oder nicht-exklusiven Zugriffs auf Ressourcen (Computerknoten) an Benutzer für eine bestimmte Zeitspanne, damit diese ihre Arbeit erledigen können,
- Bereitstellung eines Rahmens für das Starten, Ausführen und Überwachen von Arbeit, typischerweise eines parallelen Jobs wie Message Passing Interface (MPI) auf einer Reihe von zugewiesenen Knoten, und
- Arbitrierung von Konflikten um Ressourcen durch Verwaltung einer Warteschlange anstehender Aufträge.
Slurm ist der Workload-Manager auf etwa 60 % der TOP500-Supercomputer. Slurm verwendet einen Best-Fit-Algorithmus auf der Grundlage der Hilbert-Kurven-Planung oder der Fat-Tree-Netzwerktopologie, um die Lokalität der Aufgabenzuweisungen auf Parallelrechnern zu optimieren. (Quelle: Wikipedia)
EasyBuild ist ein Framework für die Softwareerstellung und -installation, mit dem Sie (wissenschaftliche) Software auf High Performance Computing (HPC)-Systemen auf effiziente Weise verwalten können. Die Motivation für EasyBuild war der Bedarf an einem Werkzeug, das die folgenden Eigenschaften vereint:
- ein flexibles Framework für die Erstellung/Installation von (wissenschaftlicher) Software
- vollständig automatisierte Softwareerstellung
- Abweichung vom Standard configure / make / make install mit benutzerdefinierten Prozeduren
- eine einfache Reproduzierbarkeit früherer Builds ermöglicht
- hält die Software-Build-Rezepte/Spezifikationen einfach und für den Menschen lesbar
- unterstützt die Koexistenz von Versionen/Builds über spezielle Installationspräfixe und Moduldateien
- ermöglicht die gemeinsame Nutzung mit der HPC-Gemeinschaft (Win-Win-Situation)
- automatische Auflösung von Abhängigkeiten
- Aufbewahrung von Protokollen zur Nachvollziehbarkeit der Build-Prozesse
(Quelle: Easybuild)
Anleitungen zum HPC und wissenschaftlichen Rechnen |
---|