SAN + Linux cluster

[Viragh Janos]

Tisztelt Kollégák!
A következő feladat megoldásához kérnék ötleteket, javaslatokat,
tapasztalatokat (+/-).
Intézeti szintű szervermegoldás(ok) kellenének SAN + (Linux) cluster alapon.
A jelenlegi helyzet:
kb 3000 felhasználó (oktató, hallgató, stb.)
2 Sun Fire V280R szerver
10-15 PC-s Linux és Windows szerver (6 Proliant, 1 IBM, vegyes noname, stb)
kb 400 munkaállomás (Linux, Windows XP)
gigabites gerinchálózat, minden szerverben gigabites kártya.
A "szokásos" szolgáltatások:
DHCP, Web, NFS (hallgatói home, pub), Samba (hallgatói Windows home)
SMTP (Postfix), IMAP (Cyrus)
OpenLDAP
Windows XP tartományvezérlők, Terminal Server, egyebek (?) ehhez nagyon nem
értek :-)
Kívánatos volna egyetlen központi SAN 500-1000GB kapacitással
és egy erre épülő heterogén clustermegoldás, Windows + Linux (esetleg Sun)
alapokon, ha szükséges, a jelenlegi géppark bővítésével.
Követelmények:
a fönti igények kielégítése,
magas rendelkezésre állás,
egyszerűbb adminisztráció,
bővíthetőség.
Ha valaki látott/üzemeltetett hasonlót, kíváncsian várom a tapasztalatokat
- főleg a különböző clustermegoldásokkal és a SAN-okkal kapcsolatban.
Köszönettel
Virágh János, SZTE TTK Informatikai Tanszékcsoport

[Milus János]

Post by Viragh Janos
Tisztelt Kollégák!
A következő feladat megoldásához kérnék ötleteket, javaslatokat,
tapasztalatokat (+/-).
Intézeti szintű szervermegoldás(ok) kellenének SAN + (Linux) cluster alapon.
kb 3000 felhasználó (oktató, hallgató, stb.)
2 Sun Fire V280R szerver
10-15 PC-s Linux és Windows szerver (6 Proliant, 1 IBM, vegyes noname, stb)
kb 400 munkaállomás (Linux, Windows XP)
gigabites gerinchálózat, minden szerverben gigabites kártya.
DHCP, Web, NFS (hallgatói home, pub), Samba (hallgatói Windows home)
SMTP (Postfix), IMAP (Cyrus)
OpenLDAP
Windows XP tartományvezérlők, Terminal Server, egyebek (?) ehhez nagyon nem
értek :-)
Kívánatos volna egyetlen központi SAN 500-1000GB kapacitással
és egy erre épülő heterogén clustermegoldás, Windows + Linux (esetleg Sun)
alapokon, ha szükséges, a jelenlegi géppark bővítésével.
a fönti igények kielégítése,
magas rendelkezésre állás,
egyszerűbb adminisztráció,
bővíthetőség.
Ha valaki látott/üzemeltetett hasonlót, kíváncsian várom a tapasztalatokat
- főleg a különböző clustermegoldásokkal és a SAN-okkal kapcsolatban.
Köszönettel
Virágh János, SZTE TTK Informatikai Tanszékcsoport

Hááát, erre külön iparág van... Mindenesetre a következőket jó
figyelembe venni:

- A SUN Cluster 3.x-hez és Windows rendszerekhez létezik egy ún.
compatibility matrix, amiben fel vannak sorolva azok az eszközök,
amelyek supportáltak. Ha nem ebből válogatsz eszközöket, semmi garancia
nincs rá, hogy amit összeraksz, működik. Bár a compatibility matrixokban
nem csak technikai, hanem politikai okok is szerepet játszanak,
igen-igen nehéz támogatást kapni nem ebben a mátrixban szereplő
eszközökre.

- Ha egy gyártó azt írja az eszközére, hogy XY cluster szoftverrel
működik, az általában nem jelent semmit. A Sun-nak vagy a Microsoftnak
kell a saját compatibility mátrixában szerepeltetni az eszközt.

- Az ördög a részletekben van. Pl. Windows alatt vannak olyan RAID
kártyák, amelyek támogatottak clusterben, de csak úgy, hogy a kártyán
levő cache-t kikapcsolja a driver. Ettől a kártya teljesítménye a
töredékére esik vissza.

- Windows alatt nem lehet akármilyen szoftvert clusteresíteni. Csak azt,
ami eleve fel van készítve erre. Solaris/Linux alatt bármit össze lehet
reszelni.

- HA, HPC, vagy load balancing clustert szeretnél?

- Linux HA clusterek: Mission Critical Linux/Kimberlite, Red
Hat/Piranha, esetleg HP/ServiceGuard (nem tudom, rendelhető-e még), vagy
heartbeat. Attól függ, milyen támogatás kell hozzá, mennyire "dobozos"
megoldást akartok venni, mennyit reszeli a szoftvereket az egyetem.

- Linux HPC clusternek Elsősorban Beowulfot szoktak használni. Talán a
MOSIX szóba jöhet még.

- Load balancing clustermegoldáshoz jó a Piranha, meg a Linux Virtual
Server projekt.

Ha HA cluster(eke)t seretnél készíteni, akkor ahhoz általában kell
két-két FC kártya a cluster két node-jában, lehetőleg olyan, ami FC-FL
protokollt beszél, és nem FC-AL-t. Ezek ára 3-400K HUF-tól 1-2M HUF -ig
terjed. Kell még két FC switch, a 16 portos darabja 18-25M HUF között
van (a kisebbekben nincs a ventillátor, az egyetlen mozgó alkatrész
duplikálv és hot-swappé téve). Az 1 TB nettó kapacitás valójában úgy
2,5-3,5 TB bruttó kapacitást jelent (RAID1 + spare diszkek + BCV ha
kell). Ez nem sok, az egészen low-end kategóriától kezdve a high-end
rendszerekig sok van, amibe ennyi diszket lehet rakni. A szolgáltatások
és a sebesség függvényében a 6M HUF-tól 200M HUF-ig majdnem minden
eszköz szóba jöhet. Szóval az igényeknek és a pénzügyi realításoknak
valahol találkozni kell.

Üdv
Jo-Hans

[Viragh Janos]

Post by Milus János
- Linux HA clusterek: Mission Critical Linux/Kimberlite, Red
Hat/Piranha, esetleg HP/ServiceGuard (nem tudom, rendelhető-e még), vagy
heartbeat. Attól függ, milyen támogatás kell hozzá, mennyire "dobozos"
megoldást akartok venni, mennyit reszeli a szoftvereket az egyetem.
- Load balancing clustermegoldáshoz jó a Piranha, meg a Linux Virtual
Server projekt.

Igen, kb ezeket láttam emlegetni. A fő kérdés az volna, hogy a szabad
szoftverek - a szükséges pluszmunkán túl - elég stabilak és megbízhatóak-e
ilyen feladatokra (nem űrkutatás, "csak" egyetemi oktatás, kutatás, általános
infrastruktura :-) Vagy mégis célszerűbb valamelyik nagy gyártótól fizetős
dobozos rendszert venni.

Üdv
VJ

[Milus János]

Post by Viragh Janos

Post by Milus János
- Linux HA clusterek: Mission Critical Linux/Kimberlite, Red
Hat/Piranha, esetleg HP/ServiceGuard (nem tudom, rendelhető-e még), vagy
heartbeat. Attól függ, milyen támogatás kell hozzá, mennyire "dobozos"
megoldást akartok venni, mennyit reszeli a szoftvereket az egyetem.
- Load balancing clustermegoldáshoz jó a Piranha, meg a Linux Virtual
Server projekt.

Igen, kb ezeket láttam emlegetni. A fő kérdés az volna, hogy a szabad
szoftverek - a szükséges pluszmunkán túl - elég stabilak és megbízhatóak-e
ilyen feladatokra (nem űrkutatás, "csak" egyetemi oktatás, kutatás, általános
infrastruktura :-) Vagy mégis célszerűbb valamelyik nagy gyártótól fizetős
dobozos rendszert venni.

A szabad szoftverek stabilitásával és használhatóságával nincs baj. (Pl.
a Kimberlite tudtommal gyakorlatilag ugyan az GPL-es verzióban is, mint
amit a MC Linux-tól megvehetsz supporttal). A lényeg nem is a programon
van. Mint minden HA projektnél, a kérdés az inkább úgy vetődik fel, hogy
van-e az egyetemen olyan humán erőforrás, aki
- Felméri a jelenlegi szolgáltatásokat
- Megtervezi az architektúrát
- Logikai rendszertervet készít
- Fizikai rendszertervet készít
- Megépíti ezek alapján a clustert
- Dokumentálja az elkészült rendszert
- Mentést tervez és kivitelez, a fenti lépések szerint
- Üzemeltetési kézikönyvet ír, kiképzi az üzemeltető személyzetet
(hogy csak a főbb lépéseket soroljam fel)

Mert ha ez nincs, akkor a szoftver hiába stabil, az elkészült rendszer
nem üzemeltethető megbízhatóan hosszú távon.

Ha ez a szaktudás megvan (és nem most akarja valaki kiadni
diplomamunkának vagy a PHD-seknek) akkor nyugodtan bele lehet vágni. Ha
nincs, akkor érdemes tokkal-vonóval (komplett megoldásként, legalább 1
éves támogatással együtt) valakitől megvenni.

Üdv
Jo-Hans

[Gabor Halasz]

Post by Viragh Janos
Igen, kb ezeket láttam emlegetni. A fő kérdés az volna, hogy a szabad
szoftverek - a szükséges pluszmunkán túl - elég stabilak és megbízhatóak-e
ilyen feladatokra (nem űrkutatás, "csak" egyetemi oktatás, kutatás, általános
infrastruktura :-) Vagy mégis célszerűbb valamelyik nagy gyártótól fizetős
dobozos rendszert venni.

Stabilabb az opensource. A dobozosok közül sokat winfos próbál
működtetni, és ennek minden ellenkező állítás ellenére megvannak a maga
kockázatai. Láttam már a legnevesebb san gyártók egyikének
sokszortizmilliós tornyát 1db hdd szakszervíz általi cseréje
következtében beálló teljes összeomlását és teljes adatvesztését,
kiegészítve egyhetes utómunkálatokkal, amíg az iSCSI-n kapcsolódó
kliensek registryjébők kézzek kiszedték az elfuserálódott beállításokat.

[Andras Horvath]

Post by Viragh Janos
Kívánatos volna egyetlen központi SAN 500-1000GB kapacitással

ez nem jelentos kapacitas manapsag, szerintem nem eri meg SANba
beruhazni emiatt. Van valami kulonos oka a SAN valasztasanak?

Post by Viragh Janos
és egy erre épülő heterogén clustermegoldás, Windows + Linux (esetleg Sun)

mit ertunk cluster alatt itt?

Post by Viragh Janos
alapokon, ha szükséges, a jelenlegi géppark bővítésével.
Követelmények: a fönti igények kielégítése,

ez nem gond, barmelyik linuxon megoldhato. :-)

Post by Viragh Janos
magas rendelkezésre állás,

vagyis? HA clusterre lenne szukseg (ha egy gep meghal, a masik vegye at
a feladatata)? Erre platformspecifikus megoldasok vannak, a SUN cluster
szoftveret jonak tartom, a linuxos megoldast is dicserik ujabban,
windowsossal nincsenek tapasztalataim.

Post by Viragh Janos
egyszerűbb adminisztráció,

a plusz komplexitas nehany (tucat) gepnel csak plusz adminisztraciot fog
hozni.

Post by Viragh Janos
bővíthetőség.

hova? Mihez kepest? Szerintem a vazolt szituacioban gepen belul jelentos
bovitesek valosithatok meg szukseg eseten.

Post by Viragh Janos
Ha valaki látott/üzemeltetett hasonlót, kíváncsian várom a
tapasztalatokat - főleg a különböző clustermegoldásokkal és a
SAN-okkal kapcsolatban.

Mielott barmit javaslunk, szerintem tovabbra is kerdes, hogy miert
cluster (milyen cluster), es miert pont SAN.

udv
raas

[Viragh Janos]

Post by Andras Horvath

Post by Viragh Janos
Kívánatos volna egyetlen központi SAN 500-1000GB kapacitással

ez nem jelentos kapacitas manapsag, szerintem nem eri meg SANba
beruhazni emiatt. Van valami kulonos oka a SAN valasztasanak?

Ennyire van most pénzünk :-) vö. bővíthetőség...
Kéne vmi "tároló-konszolidáció", ugyanis jelenleg a hallgatói és oktatói home,
pub és egyéb megosztott könyvtárak szanaszét vannak, kül. gépekről NFS-sel
vagy sambaval kiajánlva. A mentés és az adminisztráció is bonyolultabb így.

Post by Andras Horvath

Post by Viragh Janos
és egy erre épülő heterogén clustermegoldás, Windows + Linux (esetleg Sun)

mit ertunk cluster alatt itt?

Alapvetően HA. Bár amelyik szolgáltatásnál ez értelmes/megoldható, jó lenne a
loadbalancing is. Pl. fájlszerver, alkalmazás/login szerver. A HTTP, SMTP,
IMAP forgalom mennyisége nem jelentős, az LDAP-ra meg - ahogy láttam - a
replikánál nincs jobb megoldás.

Post by Andras Horvath

Post by Viragh Janos
egyszerűbb adminisztráció,

a plusz komplexitas nehany (tucat) gepnel csak plusz adminisztraciot fog
hozni.

Az eddigi filozófiánk az volt, hogy minden fontosabb szolgáltatás
külön vason fusson (és legyen egy hideg tartaléka, ami kézi inditással
bevethető, ha gond van az elsődlegessel). Ennél egy clusteres
szerverkonszolidáció reményeink szerint egyszerűbb lenne.

Üdv
VJ

[Kosa Attila]

Post by Viragh Janos

Post by Andras Horvath

Post by Viragh Janos
Kívánatos volna egyetlen központi SAN 500-1000GB kapacitással

ez nem jelentos kapacitas manapsag, szerintem nem eri meg SANba
beruhazni emiatt. Van valami kulonos oka a SAN valasztasanak?

Ennyire van most pénzünk :-) vö. bővíthetőség...
Kéne vmi "tároló-konszolidáció", ugyanis jelenleg a hallgatói és oktatói home,
pub és egyéb megosztott könyvtárak szanaszét vannak, kül. gépekről NFS-sel
vagy sambaval kiajánlva. A mentés és az adminisztráció is bonyolultabb így.

Egy 3ware vezerlovel es hotswap ide diszkekkel (ehhez a 3ware-nek
vannak megfelelo fiokjai) minden problema nelkul ossze lehet rakni
1T kapacitast - raid5-ben + 1 spare diszk (nekem is van ilyen
rendszerem), es letezik az enyemnel nagyobb vezerlo is (nekem 8 diszket
fogadni kepes vezerlom van, de letezik 12-es is).

12db*200G-200G-200G=2T raid5, 1 spare diszk. Linux alatt problema nelkul
uzemel, es par milliobol ossze lehet rakni.

[Andras Horvath]

Post by Viragh Janos
Kéne vmi "tároló-konszolidáció", ugyanis jelenleg a hallgatói és
oktatói home, pub és egyéb megosztott könyvtárak szanaszét vannak,
kül. gépekről NFS-sel vagy sambaval kiajánlva. A mentés és az
adminisztráció is bonyolultabb így.

egy IDE vagy SATA diszkek plusz kulturalt szamitogep plusz 3ware vezerlok
es/vagy SW raid rendszer a toredekebe kerul, mint SANt epiteni - inkabb
erre celoztam. 1TB az 4-5-6 diszk manapsag, redundanciatol fuggoen...

Post by Viragh Janos
Alapvetően HA. Bár amelyik szolgáltatásnál ez értelmes/megoldható, jó
lenne a loadbalancing is. Pl. fájlszerver, alkalmazás/login szerver. A
HTTP, SMTP, IMAP forgalom mennyisége nem jelentős, az LDAP-ra meg -
ahogy láttam - a replikánál nincs jobb megoldás.

szerintem - ha nem "kritikus" az alkalmazas - az egyetemek eroforrasait
ismerve jobban jartok egy egyszerubb, megbizhato konfiguracioval (sw es
hw egyarant), rendszeres mentessel (es visszaallitasi probakkal), meg
egy tartalekgeppel. Valamint sok, jo, karbantartott es ellenorzott
dokumentacioval ugymenettol a rendszerdoksiig. (Ellenorzes alatt azt
ertem, hogy "valaki" rendszeresen megprobal csak a doksi alapjan
vegrehajtani peldaul egy (szimulalt) gepkieses utani helyreallast.)

Post by Viragh Janos
Az eddigi filozófiánk az volt, hogy minden fontosabb szolgáltatás
külön vason fusson (és legyen egy hideg tartaléka, ami kézi inditással
bevethető, ha gond van az elsődlegessel). Ennél egy clusteres
szerverkonszolidáció reményeink szerint egyszerűbb lenne.

A HA cluster mindenkeppen bonyolultabb, tehat dragabb, mint a hideg
tartalek. A kerdes az, hogy a pluszkoltseg megeri-e a "kiesett" ido
csokkeneset, amit cserebe kaptok.

udv,HTH
raas

[Gabor Halasz]

Post by Viragh Janos
Alapvetően HA. Bár amelyik szolgáltatásnál ez értelmes/megoldható, jó lenne a
loadbalancing is. Pl. fájlszerver, alkalmazás/login szerver. A HTTP, SMTP,
IMAP forgalom mennyisége nem jelentős, az LDAP-ra meg - ahogy láttam - a
replikánál nincs jobb megoldás.

evms2 ha modullal, vagy openafs, lustre, opengfs