A Magyar ClusterGRID projekt

 

Stefán Péter

Tudományos munkatárs

 

NIIFI

Telefon: +36 1 4503076

E-mail: stefan@iif.hu

Web: http://www.clustergrid.iif.hu

 

 

Kivonat

 

Ebben az írásban a Magyar ClusterGRID projekt legfőbb céljait és eredményeit összegezzük. A projekt legfontosabb feladata, hogy mintegy 2000 személyi számítógépet, egy országos méretű, "virtuális szuperszámítógép erőforrássá" fogjunk össze. Ezt az erőforrást, hasonlóan a szuperszámítógépekhez, azok használhatják, akiknek nagy számítási kapacitásra van szüksége, párhuzamos alkalmazásai futtatásához. A projektnek szintén célja az, hogy olyan folyamatosan üzemelő rendszer épüljön ki, amely képes a jelenleg erősen túlterhelt SUN E10000 szuperszámító-gépeinkről terhet átvenni.

A ClusterGRID projekt lényeges előzménye, hogy 2002 tavaszán az Oktatási Minisztérium egy a felsőoktatási intézmények fejlesztését megcélzó pályázatot indított, és amelynek keretein belül kb. 2000 PC került kiosztásra akadémiai intézmények között. A gépek PC-laborok formájában lettek telepítve, egy labor 20 PC-t, egy szervert, és intézményenként egy tűzfal-berendezést tartalmaz. Több mint 100 labort telepítettek országszerte, melyekben különféle típusú gépek találhatók, például HP, DELL, és IBM gyártmányú gépek egyaránt. Lényeges, hogy valamennyi gépet Intel processzorral szereltek.

2002 nyarán létrejött egy ClusterGRID Műszaki Bizottság az NIIF Iroda koordinációja alatt, amely legfontosabb feladata olyan műszaki konstrukció kidolgozása, amely lehetővé teszi azt, hogy ezek az országos szinten telepített laborok egyetlen grid-rendszert alkossanak. A feladat nem könnyű, hiszen a gépek fizikailag autonóm intézményeknél vannak, akik autonóm hálózat-biztonsági és védelmi stratégiával rendelkeznek. További nehézség, hogy a számítógépek többszörözött célokat is szolgálnak: egyrészt az intézmények saját (oktatási, szolgáltatási) feladatait, másrészt a szuperszámítás-technikai feladatokat. Így a gépek csak korlátozott mértékben használhatók a grid-funkciókra. Mivel az intézményi felhasználás rendkívül változatos, teljesen reménytelen lenne az összes lehetséges operációs környezethez grid-szoftvereket adoptálni, a kétféle főbb felhasználást időben és térben elszeparáltuk egymástól: "nappali üzemmód", az amikor a gépeket az intézmény a saját feladataira használja, "éjszakai üzemmód", amikor azok grid módban futnak külön erre a célra dedikált operációs rendszerrel, illetve külön diszk-partícióval. A gépeket reggel, illetve este átkapcsolják a megfelelő üzemmódra. E folyamat grid-irányba automatizálható, visszafelé, tekintettel a nappali üzemmódok széles palettájára, nem is célszerű.

A ClusterGRID műszaki konstrukció alapvető jellemzői:

  1. Minden kliens a hálózatra 802.1q szabvány szerinti adatkapcsolati szintű szeparációval csatlakozik. Minden gép két virtuális LAN szegmenst lát: a nappali üzemmódhoz tartozót, alapértelmezésben, illetve az éjszakai üzemmódhoz tartozót.
  2. Az adatkapcsolati szinten elkülönített hálózatokat egy, a Magyar Akadémiai Hálózaton létrehozott "mini internet", MPLS privát hálózat teszi egységes, országos rendszerré.
  3. A kliensek nem használhatók a konzoljukról, hanem csak egy központilag menedzselt gépről, a rendszer jelenleg egyetlen belépési pontjáról. Itt lehet feladatokat fordítani, itt lehet a feladatokat feladni, és a futtatás eredményeit letölteni.

A konstrukció nem egy szorosan értelmezett grid-rendszer, hanem egy háromszintű hierarchikus felépítési rendszer, amelynek csúcsa a belépési pont (entry), a második szintje az intézményi szerverek, amelyek a kliensek menedzselhetősége szempontjából lényeges szolgáltatásokat nyújtanak, és a harmadik szinten vannak maguk a kliensek.

A kliensek a gyökér file-rendszerüket NFS protokollon keresztül kapják, mely lehetővé teszik, hogy a folyamatosan átkapcsolt csomópontok főbb jellemzőit egy állandóan üzemelő gépen, az NFS szerveren menedzseljünk. A boot folyamat szintén megoldható hálózaton keresztül, így lényegében tartalmi információ nincs a klienseken. A számítási feladatokra nem NFS környezetet, hanem az adott gép háttértárolóját használjuk.

Jelenleg a rendszer "pilot"-állapotban üzemel, jelenleg három intézményt foglal magába: Gödöllői Szent István Egyetem (24 csomóponttal), Eötvos Loránd Tudományegyetem (Budapest, 100 csomóponttal), és a Budapesti Műszaki Egyetem (Budapest, 140 csomóponttal). Jelenleg Condor ütemezőt használunk a feladatok feladására, melyek szimpla szekvenciális feladatok, tömb-feladatok, és PVM könyvtárral párhuzamosított programok lehetnek. A gépek grid üzemmódba, intézményektől függően 20:00 és 22:00 között lépnek, és reggel 7:00-kor kapcsolnak ki automatikusan. A felhasználókat jelenleg egy központi LDAP autentikációs szerver azonosítja.

A jövőbeli elképzelések: