Implementierung einer Multi-Device-Architektur für MetaMPICH

Am Lehrstuhl für Betriebssysteme wurde eine Softwarebibliothek (MetaMPICH) entwickelt, die es ermöglicht, mehrere Cluster über ein zusätzliches Verbindungsnetzwerk (auch über große Distanzen hinweg) zu koppeln. Diese Bibliothek findet dabei zur Zeit ihre Anwendung in dem vom Bundesministerium für Bildung und Forschung (BMBF) geförderten VIOLA-Projekt -- einer Grid-Initiative mit Beteiligung des Forschungszentrums Jülich, des Fraunhofer Institutes, der Alcatel AG, der Siemens AG und T-Systems.

MetaMPICH ermöglicht es, dass diese gekoppelten Cluster aus Sicht eines Anwendungsprogramms als ein großer Parallelrechner erscheinen, den man als Metacomputer bezeichnet. Die parallelen Prozesse, die zur Kommunikation das sog. Message Passing Interface (MPI) benutzen, kommunizieren dabei innerhalb ihres Clusters über die speziellen Cluster-Netzwerke (z.B. SCI), während Nachrichten an Prozesse in entfernten Clustern über sog. Router-Prozesse abgewickelt werden. Diese Router-Prozesse befinden sich dabei auf jenen Rechnerknoten eines Clusters, die über einen speziellen Netzwerkadapter (z.B. ATM) eine Verbindung zu den anderen Clustern herstellen können. Dies bedeutet, dass Nachrichten, die an Prozesse in einem anderen Cluster adressiert sind, zuerst im clusterinternen Netz zum Router geschickt werden, um von dort über den entsprechenden Router im anderen Cluster den Zielprozess zu erreichen (siehe Abbildung 1). Hier erkennt man schon, dass dieser Umweg über die Router-Knoten einen Engpass im System des Metacomputers darstellt.

Abbildung 1

Ziel dieser Diplomarbeit ist es nun, neben diesem Router-Konzept eine weitere Möglichkeit der Cluster-Kopplung zu implementieren und zu untersuchen, die wir als Multi-Device-Lösung bezeichnen. Bei diesem Konzept kommunizieren die Prozesse innerhalb eines Clusters zwar auch wieder über die schnellen internen Netzwerke, Nachrichten an Prozesse in anderen Clustern werden aber, wenn möglich, direkt über eine zweite Verbindung, wie sie z.B. TCP über ein LAN oder das Internet ermöglicht, an den Empfangsprozess gesandt (siehe Abbildung 2). Dieses Konzept soll dabei so flexibel sein, dass immer die schnellstmögliche Verbindung zwischen den Prozessen automatisch gewählt wird. Sind dabei Prozesse auf unterschiedlichen Knoten nicht Teil eines Netzes, d.h. sie können sich nicht direkt erreichen, so soll dann eventuell für diese Prozesse wieder auf das Router-Konzept zurückgegriffen werden.

Abbildung 2

Status: abgeschlossen

Diese Diplomarbeit wurde inzwischen erfolgreich beendet.

Kontakt:

Dipl.-Ing. Carsten Clauß
Lehrstuhl für Betriebssysteme (LfBS), RWTH Aachen
Kopernikusstraße 16, D-52056 Aachen
Tel.: +49 241 80 27609, Fax: +49 241 80 22 339
E-Mail: carsten@lfbs.rwth-aachen.de

Print Version