Discussion:
sok adat tarolasa gyorsan
Zoltan NAGY
2005-12-07 21:34:24 UTC
Permalink
udv!

van egy gepunk, 3ware raid vezerlo, rajta 8 vinyo, es valami irtozatosan
gyatra teljesitmenyt produkal ha elkezdi 400-500 juzer rangatni egyszerre.
satas vinyok, ugyhogy gondolom ez lehet a gond, de a scsi az meregdraga.

a kerdesem: hogyan szoktak manapsag megoldani (hogy lehet _esszeruen_
- azaz nem krozusi osszegekbol) sok TByte tarolasat, amit lehetoleg
sok felhasznalo egyszerre tud rangatni?

gondolok itt olyan megoldasokra, mint kulso vinyodoboz, tele vinyokkal,
es azt egy FC csatis kartyara rakotni, azonban nem volt me'g ilyen dolgokhoz
szerencsem, igy gondoltam megkerdem az okosabbakat, Titeket, hatha
Nektek mar igen.

a lenyeg: sok adat, sok felhasznalo, megse kene 80-90% -os iowait,
es 120as load.

koszonettel,

Z
Papp Tamas
2005-12-07 22:29:28 UTC
Permalink
Post by Zoltan NAGY
udv!
van egy gepunk, 3ware raid vezerlo, rajta 8 vinyo, es valami irtozatosan
gyatra teljesitmenyt produkal ha elkezdi 400-500 juzer rangatni egyszerre.
satas vinyok, ugyhogy gondolom ez lehet a gond, de a scsi az meregdraga.
a kerdesem: hogyan szoktak manapsag megoldani (hogy lehet _esszeruen_
- azaz nem krozusi osszegekbol) sok TByte tarolasat, amit lehetoleg
sok felhasznalo egyszerre tud rangatni?
gondolok itt olyan megoldasokra, mint kulso vinyodoboz, tele vinyokkal,
es azt egy FC csatis kartyara rakotni, azonban nem volt me'g ilyen dolgokhoz
szerencsem, igy gondoltam megkerdem az okosabbakat, Titeket, hatha
Nektek mar igen.
a lenyeg: sok adat, sok felhasznalo, megse kene 80-90% -os iowait,
es 120as load.
imho sw raid.

tompos
Zoltan NAGY
2005-12-07 23:10:16 UTC
Permalink
Post by Papp Tamas
Post by Zoltan NAGY
udv!
van egy gepunk, 3ware raid vezerlo, rajta 8 vinyo, es valami irtozatosan
gyatra teljesitmenyt produkal ha elkezdi 400-500 juzer rangatni egyszerre.
satas vinyok, ugyhogy gondolom ez lehet a gond, de a scsi az meregdraga.
a kerdesem: hogyan szoktak manapsag megoldani (hogy lehet _esszeruen_
- azaz nem krozusi osszegekbol) sok TByte tarolasat, amit lehetoleg
sok felhasznalo egyszerre tud rangatni?
gondolok itt olyan megoldasokra, mint kulso vinyodoboz, tele vinyokkal,
es azt egy FC csatis kartyara rakotni, azonban nem volt me'g ilyen dolgokhoz
szerencsem, igy gondoltam megkerdem az okosabbakat, Titeket, hatha
Nektek mar igen.
a lenyeg: sok adat, sok felhasznalo, megse kene 80-90% -os iowait,
es 120as load.
imho sw raid.
ez rendben is volna, de hova dugjam a soksok vinyot? :)
tobb gepbe? es akkor azokat hogy hozzam "ossze" egy gepen belulre?
vagy nbd? azzal tapasztalat vkinek?
sw raidre gondoltam enis, de nehez megoldani, mert fizikailag ugye egy
gepen kene lenniuk.. vagy nbd -kbol sw raid?

udv,

Z
Papp Tamas
2005-12-07 23:18:37 UTC
Permalink
Post by Zoltan NAGY
ez rendben is volna, de hova dugjam a soksok vinyot? :)
tobb gepbe? es akkor azokat hogy hozzam "ossze" egy gepen belulre?
vagy nbd? azzal tapasztalat vkinek?
sw raidre gondoltam enis, de nehez megoldani, mert fizikailag ugye egy
gepen kene lenniuk.. vagy nbd -kbol sw raid?
Nem logikusabb egy megfelelo meretu hazat venni egy megfelelo
alaplappal hozza nehany ide vezerlo es kesz?

tompos
Zoltan NAGY
2005-12-07 23:25:14 UTC
Permalink
Post by Papp Tamas
Post by Zoltan NAGY
ez rendben is volna, de hova dugjam a soksok vinyot? :)
tobb gepbe? es akkor azokat hogy hozzam "ossze" egy gepen belulre?
vagy nbd? azzal tapasztalat vkinek?
sw raidre gondoltam enis, de nehez megoldani, mert fizikailag ugye egy
gepen kene lenniuk.. vagy nbd -kbol sw raid?
Nem logikusabb egy megfelelo meretu hazat venni egy megfelelo
alaplappal hozza nehany ide vezerlo es kesz?
most van egy supermicro lapunk 5 pci-x -el, meg egy supermicro hazunk
8 hotswap sata fiokkal. ezt szeretnenk megfeleloen boviteni :)
nem kene kidobni, nem volt olcso mulatsag...

hogy tudom megcsinalni azt, hogy egy masik gepben vannak a vinyok, viszont
az ez az alaplap kezeli oket?
letezik valami "PCI extender"? vagy hasonlo?

udv,

Z
Papp Tamas
2005-12-07 23:29:58 UTC
Permalink
Post by Zoltan NAGY
most van egy supermicro lapunk 5 pci-x -el, meg egy supermicro hazunk
8 hotswap sata fiokkal. ezt szeretnenk megfeleloen boviteni :)
nem kene kidobni, nem volt olcso mulatsag...
hogy tudom megcsinalni azt, hogy egy masik gepben vannak a vinyok, viszont
az ez az alaplap kezeli oket?
letezik valami "PCI extender"? vagy hasonlo?
SATA vinyokhoz is lehet venni kulso hazat biztosan. A fizikai
kapcsolat hogyan megy, azt nem tudom, de az is megoldhato, talan
tobbfelekeppen is. Minden azon mulik, mennyit akartok rakolteni.

tompos
Pallai Roland
2005-12-08 23:35:13 UTC
Permalink
Post by Zoltan NAGY
hogy tudom megcsinalni azt, hogy egy masik gepben vannak a vinyok, viszont
az ez az alaplap kezeli oket?
letezik valami "PCI extender"? vagy hasonlo?
letezik, PCI expander, a Sun es a Magma gyart ilyeneket, a 66/64-es
PCI-X kb 700.000 magyar pengo 7 slotos verzioban, max 1.5 meter
kabellel. sajnos a Magma PCI bridge vagy 30-40% -al lerontja a busz
teljesitmenyet, 250-300Mb/s -nel mar vege, hiaba pofatlanul draga :(


--
dap

Honti Miki
2005-12-07 23:19:47 UTC
Permalink
Post by Zoltan NAGY
ez rendben is volna, de hova dugjam a soksok vinyot? :)
nagykerben tegnap vettem 4 portos sata vezerlot 5.xxx Ft-ert. mondjuk az h
mennyit bir nem tudom, silicon image chipes.

innentol nagy haziko kell tobb tapegyseggel, sok diskkel.
Kántor Sándor
2005-12-07 23:22:12 UTC
Permalink
Post by Zoltan NAGY
vagy nbd -kbol sw raid?
Bocs, hogy beleszólok, de ha lenne ebből valami, kérlek
osszátok meg velünk (halandókkal is).
Dániel Vásárhelyi
2005-12-08 07:34:36 UTC
Permalink
ATA over ethernet?


--
Dániel Vásárhelyi
http://www.nsfw.hu/ | http://www.tophost.hu/
Szalai Ferenc Attila
2005-12-08 07:56:51 UTC
Permalink
Post by Dániel Vásárhelyi
ATA over ethernet?
Jo de nem tokeletes megoldas azon a gepen amire kotod erosnek kell
lennie sok user eseten. Hatarozottan azt tapasztaltuk hogy szereti a
SMP-s eros procikat ami bizonyos idozitesi problemakra (Ethernet nem
TCP) vezetheto vissza.
--
Udv
Feri
Szalai Ferenc Attila
2005-12-08 07:55:23 UTC
Permalink
Post by Zoltan NAGY
van egy gepunk, 3ware raid vezerlo, rajta 8 vinyo, es valami irtozatosan
gyatra teljesitmenyt produkal ha elkezdi 400-500 juzer rangatni egyszerre.
satas vinyok, ugyhogy gondolom ez lehet a gond, de a scsi az meregdraga.
Konkretan mik a teljesitmeny elvarasaid.
Post by Zoltan NAGY
a kerdesem: hogyan szoktak manapsag megoldani (hogy lehet _esszeruen_
- azaz nem krozusi osszegekbol) sok TByte tarolasat, amit lehetoleg
sok felhasznalo egyszerre tud rangatni?
gondolok itt olyan megoldasokra, mint kulso vinyodoboz, tele vinyokkal,
es azt egy FC csatis kartyara rakotni, azonban nem volt me'g ilyen dolgokhoz
szerencsem, igy gondoltam megkerdem az okosabbakat, Titeket, hatha
Nektek mar igen.
a lenyeg: sok adat, sok felhasznalo, megse kene 80-90% -os iowait,
es 120as load.
Szamos megoldas letezik:
1. A la FSN tegla projekt: veszel jo alaplapot hazat gepet stb
osszerakod egy hazba orulsz. Viszonylag olcso kicst nehezebben bovitheto
megoldas. Ilyen everything in a box megoldas.
2. NAS szerver DAS dobozokkal: A NAS szerveredhez DAS dobozok
csatlakoznak. A csatlakozas tekintetben is tobb megoldas van:
2a. Vannak olyan dobozok amik SATA/PATA vinyokat tartalmaznak raid
vezerlot stb es mondjuk SCSI kotod a NAS szerverhez (pl HP MSA20).
2b. Lehet azt csinalni hogy a 1. pontban megjelolt konfiguraciot
kotod a NAS szerverhez iSCSI , AOE, NBD technikak valamelyikevel.
3. Veszel rendes SAN dobozt es FC, iSCSI-vel kotod a NAS szerverhez
4. Veszel rendes SAN dobozt mondjuk FC4 vagy Infiniband interconnectel
(10-60 Gbs)

Ertelem szerien a fentike arban is hatarozott elterest mutatnak, az 1-2
pont kb ugyanannyiban van a management es a skalazhatosagban kulonboznek
meg abban hogy hol vannak a szuk keresztmetszetek meg mennyi
redundanciat akarsz.

A 2b pontot sok helyen hasznaljak ahol keves a penz rendes SAN-ra sokak
megelegedesere mar viszonlyag egyszeru konfiggal allurol meg lehet
kozelitni a SAN-ok sebesseget MB/s irasi sebesseget pl. Ott arra kell
figyelni hogy a NAS gepnek is erosnek kell lenni es a halozatnal sem art
a Gb-t ami nagyobb mennyisegu disk/DAS doboz eseten mar jo hatlap
sebessegel rendelkezo Gb-es switchet kivanhat.

Aztan ha nagyon nem megy a dolog akkor meg lehet NAS klaszterrel
jatszani (hogy eloszd a terhelest) ami mogott elosztott FS-t hasznalsz
pl Lustre, GPFS (mindkettovel jo tapasztalataink vannak)

(Lajbi-nak volt egy jo osszehasonlito tablazata io meresekrol de most
nem talalom...)
--
Udv
Feri
Szalai Ferenc Attila
2005-12-08 07:59:48 UTC
Permalink
Post by Szalai Ferenc Attila
(Lajbi-nak volt egy jo osszehasonlito tablazata io meresekrol de most
nem talalom...)
http://www.gau.hu/~lajbi/diskbenchmarks.txt
--
Udv
Feri
KELEMEN Peter
2005-12-08 12:16:31 UTC
Permalink
Post by Szalai Ferenc Attila
3. Veszel rendes SAN dobozt es FC, iSCSI-vel kotod a NAS szerverhez
Az iSCSI-val jól pofán is verted az Fibre Channel összes előnyét.

Fuji^
--
.+'''+. .+'''+. .+'''+. .+'''+. .+''
Kelemen Péter / \ / \ ***@cern.ch
.+' `+...+' `+...+' `+...+' `+...+'
Zoltan NAGY
2005-12-08 18:51:39 UTC
Permalink
Post by Szalai Ferenc Attila
Post by Zoltan NAGY
van egy gepunk, 3ware raid vezerlo, rajta 8 vinyo, es valami irtozatosan
gyatra teljesitmenyt produkal ha elkezdi 400-500 juzer rangatni egyszerre.
satas vinyok, ugyhogy gondolom ez lehet a gond, de a scsi az meregdraga.
Konkretan mik a teljesitmeny elvarasaid.
gigabitet ki tudja tolni a vas adott esetben ugy is, hogy
az csak vinyorol osszevissza erkezo adattal legyen tomve (nem linear..)
Post by Szalai Ferenc Attila
Post by Zoltan NAGY
a kerdesem: hogyan szoktak manapsag megoldani (hogy lehet _esszeruen_
- azaz nem krozusi osszegekbol) sok TByte tarolasat, amit lehetoleg
sok felhasznalo egyszerre tud rangatni?
gondolok itt olyan megoldasokra, mint kulso vinyodoboz, tele vinyokkal,
es azt egy FC csatis kartyara rakotni, azonban nem volt me'g ilyen dolgokhoz
szerencsem, igy gondoltam megkerdem az okosabbakat, Titeket, hatha
Nektek mar igen.
a lenyeg: sok adat, sok felhasznalo, megse kene 80-90% -os iowait,
es 120as load.
1. A la FSN tegla projekt: veszel jo alaplapot hazat gepet stb
osszerakod egy hazba orulsz. Viszonylag olcso kicst nehezebben
bovitheto megoldas. Ilyen everything in a box megoldas.
ez eleg jo lenne, de csak a hazra nem akarunk 1 millat kolteni :)
Post by Szalai Ferenc Attila
2. NAS szerver DAS dobozokkal: A NAS szerveredhez DAS dobozok
2a. Vannak olyan dobozok amik SATA/PATA vinyokat tartalmaznak raid
vezerlot stb es mondjuk SCSI kotod a NAS szerverhez (pl HP MSA20).
2b. Lehet azt csinalni hogy a 1. pontban megjelolt konfiguraciot
kotod a NAS szerverhez iSCSI , AOE, NBD technikak valamelyikevel.
uhum, ez kb mennyibe kerul?
Post by Szalai Ferenc Attila
3. Veszel rendes SAN dobozt es FC, iSCSI-vel kotod a NAS szerverhez
4. Veszel rendes SAN dobozt mondjuk FC4 vagy Infiniband interconnectel
(10-60 Gbs)
ezek a draga kategoriak :-)
Post by Szalai Ferenc Attila
A 2b pontot sok helyen hasznaljak ahol keves a penz rendes SAN-ra
sokak megelegedesere mar viszonlyag egyszeru konfiggal allurol meg
lehet kozelitni a SAN-ok sebesseget MB/s irasi sebesseget pl. Ott arra
kell figyelni hogy a NAS gepnek is erosnek kell lenni es a halozatnal
sem art a Gb-t ami nagyobb mennyisegu disk/DAS doboz eseten mar jo
hatlap sebessegel rendelkezo Gb-es switchet kivanhat.
ez nem gond, a kerdes, hogy hol lehet ilyen dobozt venni, es mennyibe
keurl, mit tud.. markak? otletek?
Post by Szalai Ferenc Attila
Aztan ha nagyon nem megy a dolog akkor meg lehet NAS klaszterrel
jatszani (hogy eloszd a terhelest) ami mogott elosztott FS-t hasznalsz
pl Lustre, GPFS (mindkettovel jo tapasztalataink vannak)
ehez tobb gep kell, stb.. egyelore nem akarunk ilyet,
kesobb, ha megno a terheles, akkor lehet. :)

koszi!

udv,

Z
Sickboy
2005-12-08 19:25:21 UTC
Permalink
Post by Zoltan NAGY
gigabitet ki tudja tolni a vas adott esetben ugy is, hogy
az csak vinyorol osszevissza erkezo adattal legyen tomve (nem linear..)
100MB/sec random read? (vagy write is?)
Nem lesz az kicsit sok ilyen "low end" megoldasnak? :)
--
.SiCk of IT.
Pallai Roland
2005-12-08 23:20:51 UTC
Permalink
Post by Zoltan NAGY
Post by Szalai Ferenc Attila
Konkretan mik a teljesitmeny elvarasaid.
gigabitet ki tudja tolni a vas adott esetben ugy is, hogy
az csak vinyorol osszevissza erkezo adattal legyen tomve (nem linear..)
hm, 4kb -s random olvasassal kb 3000db SATA winyora lenne szukseged
hogy ki birjak tolni a gigat, vezerlestol fuggetlenul. :)

gondolom itt szekvencialis, parhuzamos olvasasrol van szo nagy
fajlokbol, ha ez a szitu az kozel sem random, minimalisan fragmentalt
particion nagy readahead window -al cache thrashing nelkul es igen nagy
elfogadhato latency -t engedve a teljesitmeny kozelitheti a
szekvencialis olvasas sebesseget egy linearisan osszefuzott tombon (a
raid5 persze lerontja) - magyaran rengeteget tudsz tuningolni az
alapallapothoz kepest, ha van kedved belenyulni kicsit a kodba
Post by Zoltan NAGY
Post by Szalai Ferenc Attila
1. A la FSN tegla projekt: veszel jo alaplapot hazat gepet stb
osszerakod egy hazba orulsz. Viszonylag olcso kicst nehezebben
bovitheto megoldas. Ilyen everything in a box megoldas.
ez eleg jo lenne, de csak a hazra nem akarunk 1 millat kolteni :)
boritekolom h a tobbi ennel dragabb lesz es minden bovitesnel ujbol ki
kell fizetni, kozeptavon ez a legolcsobb megoldas meg igy is, szvsz


--
dap
Farkas Levente
2005-12-08 10:23:46 UTC
Permalink
Post by Zoltan NAGY
udv!
van egy gepunk, 3ware raid vezerlo, rajta 8 vinyo, es valami irtozatosan
gyatra teljesitmenyt produkal ha elkezdi 400-500 juzer rangatni egyszerre.
satas vinyok, ugyhogy gondolom ez lehet a gond, de a scsi az meregdraga.
a kerdesem: hogyan szoktak manapsag megoldani (hogy lehet _esszeruen_
- azaz nem krozusi osszegekbol) sok TByte tarolasat, amit lehetoleg
sok felhasznalo egyszerre tud rangatni?
gondolok itt olyan megoldasokra, mint kulso vinyodoboz, tele vinyokkal,
es azt egy FC csatis kartyara rakotni, azonban nem volt me'g ilyen dolgokhoz
szerencsem, igy gondoltam megkerdem az okosabbakat, Titeket, hatha
Nektek mar igen.
a lenyeg: sok adat, sok felhasznalo, megse kene 80-90% -os iowait,
es 120as load.
http://www.coraid.com/
--
Levente "Si vis pacem para bellum!"
mag
2005-12-08 13:09:30 UTC
Permalink
Post by Zoltan NAGY
a lenyeg: sok adat, sok felhasznalo, megse kene 80-90% -os iowait,
es 120as load.
A load formájától elég sokk függ. Pl. előfodulhat az, hogy amellett hogy
tényleg sok és nagy adatok rohangálnak, az IO nagy része azért egy jól
meghatározott adathalmazra koncentrálódik. Ha sikerül elérni hogy ez a
gyakran használt rész beférjen a memoárba (more RAM), lehet hogy a
problémák túlnyomó része megoldódik. A másik fajta határesetet (nagy
mennyiségű IO átmenő forgalomban) már kivesézték mások.
Loading...