gzip segfault

[Sickboy]

Sziasztok,

mar hetek ota kuzdok egy problemaval.
Egy idoponttol kezdve (minden elozetes jel nelkul) a hajnali logrotate
elhasal 1-2 apache accesslogon. Pontosabban amikor a regit akarja
tomoriteni (compress, delaycompress) akkor a gzip errorral ter vissza.
(strace-bol kiderult, hogy segfaultol) (Debian woody)

Tehat tobbszaz logfile kozul mindig ugyanazzal az 1-2vel van gondja.
(Ezek kulon diszkeken vannak, nincs egyetlen fs errorra utalo logbejegyzes
sem.) De ugyanaz az 1-2 az ugye tartalmilag nem ugyanaz mindig (a
logfile), mert ha kezzel lerotalom, utana megint elojon a hiba.
A fileok nem nagyobbak 2GB-nal.

Az a kerdesem, hogy vajon merre keresgeljek.
Debian bug database, google "gzip segfault" nem hozott semmi eredmenyt.
(Nem talaltam olyasmit, amit vonatkozonak ereztem volna.)

HW hiba? Csereljek memoriat? (Ilyen tippet kaptam.)

De napkozben latszolag nincs semmi rendellenes mukodes, pedig 10-20-30
load is szokott lenni, a logrotalas meg hajnalban tortenik, amikor majdnem
idle minden.

[Fisher]

Post by Sickboy
Tehat tobbszaz logfile kozul mindig ugyanazzal az 1-2vel van gondja.

Ezek veletlenul nem (sokkal) nagyobbak mint a tobbiek? Ha kezzel
tomorited, akkor is elfekszik a gzip?

En melegedesre gyanakszom, akkor lattam ilyet. A nagy load nem feltetlenul
jelent magas cputerhetlseget, igy lehet, hogy.

----[Fisher]----------[http://fisher.hu]---[X]

[KORN Andras]

Post by Sickboy
elhasal 1-2 apache accesslogon. Pontosabban amikor a regit akarja
tomoriteni (compress, delaycompress) akkor a gzip errorral ter vissza.
(strace-bol kiderult, hogy segfaultol) (Debian woody)
Tehat tobbszaz logfile kozul mindig ugyanazzal az 1-2vel van gondja.
(Ezek kulon diszkeken vannak, nincs egyetlen fs errorra utalo logbejegyzes
sem.) De ugyanaz az 1-2 az ugye tartalmilag nem ugyanaz mindig (a
logfile), mert ha kezzel lerotalom, utana megint elojon a hiba.
A fileok nem nagyobbak 2GB-nal.

Es ha probakeppen bzip2-t hasznalsz?

Post by Sickboy
HW hiba? Csereljek memoriat? (Ilyen tippet kaptam.)

Szerintem is hardvergond. Melegedes vagy memoria. Futtass memtest86+-t
valamelyik hajnalban, vegez 1-2 ora alatt.

Guy

[Sickboy]

Post by KORN Andras

Post by Sickboy
Tehat tobbszaz logfile kozul mindig ugyanazzal az 1-2vel van gondja.
(Ezek kulon diszkeken vannak, nincs egyetlen fs errorra utalo logbejegyzes
sem.) De ugyanaz az 1-2 az ugye tartalmilag nem ugyanaz mindig (a
logfile), mert ha kezzel lerotalom, utana megint elojon a hiba.
A fileok nem nagyobbak 2GB-nal.

Es ha probakeppen bzip2-t hasznalsz?

Most hajnalban mar ezzel futott (ez nekem is eszembe jutott), es nem akadt
el sehol. Viszont sokaig tartott. :)

Akkor most mi van? bzip2 nem jobban terheli a procit, mint a gzip? Elvileg
sokkal jobban. Tobb mint egy oraval hosszabban futott, mint a tegnap
hajnali. (gzip ~10 perc VS bzip2 1:38 perc)
Igaz, hogy a gzip viszont nem tomoritett be nehany nagy filet, mert az
elhasalo fileok viszonylag nagyok.
Itt a feladvany: a bzip2 masfel ora alatt nem hasal el, a gzip meg 10
percen belul neha tobbszor. :S

Post by KORN Andras

Post by Sickboy
HW hiba? Csereljek memoriat? (Ilyen tippet kaptam.)

Szerintem is hardvergond. Melegedes vagy memoria. Futtass memtest86+-t
valamelyik hajnalban, vegez 1-2 ora alatt.

Na ezaz, hogy nem szeretnek 2 orat ulni valamelyik hajnalban a szolgaltato
konzolszobajaban... :S
Most rendeltem ECC-s ram modulokat, azokat fogom betenni, +megprobalom
beloni a homerseklet szenzorokat.

[Fisher]

Post by Sickboy
Akkor most mi van? bzip2 nem jobban terheli a procit, mint a gzip? Elvileg
sokkal jobban. Tobb mint egy oraval hosszabban futott, mint a tegnap hajnali.
(gzip ~10 perc VS bzip2 1:38 perc)

A sebesseggonra ha nem is megoldast, de enyhulest adhat a pbzip2
(http://compression.ca/pbzip2/)

A gzip kresre tovabbra sincs semmi epito jellegu otletem :(

----[Fisher]----------[http://fisher.hu]---[X]

[Sickboy]

Post by Fisher

Post by Sickboy
Akkor most mi van? bzip2 nem jobban terheli a procit, mint a gzip?
Elvileg sokkal jobban. Tobb mint egy oraval hosszabban futott, mint a
tegnap hajnali. (gzip ~10 perc VS bzip2 1:38 perc)

A sebesseggonra ha nem is megoldast, de enyhulest adhat a pbzip2
(http://compression.ca/pbzip2/)

Koszonom, ezt eddig nem ismertem.
Sajnos nem SMP a gep (es nem is HT).
(Off, de az oldalt megnezve erdekes, hogy a 3ghz-s dual xeon full HT-vel
is (utso potty visszavetitve az elso oszlopig) csak az utolso helyet csipi
meg, HT nelkul meg 50%os teljesitmeny minden mashoz kepest.)

[GOMBAS Gabor]

Post by Sickboy
(Off, de az oldalt megnezve erdekes, hogy a 3ghz-s dual xeon full HT-vel
is (utso potty visszavetitve az elso oszlopig) csak az utolso helyet csipi
meg, HT nelkul meg 50%os teljesitmeny minden mashoz kepest.)

Te mit neztel? A benchmark alapjan a Xeon az eltelt ido tekinteteben
"-p1"-nel vert mindenkit, "-p2"-nel tudott csak a SunFire beelozni (ha
mar valaki ennyit kolt vasra...). A gyorsitasi grafikonon meg az
latszik, amit a HT-tol var az ember (a grafikonon az "1 2 2+1HT 2+2HT
felirat szvsz megteveszto, a tablazatbol latszik, mirol is van szo).
Mivel a tobbi resztvevo egyike sem HT, ezert nem igazan lehet oket
osszehasonlitani.

Ami esetleg erdekes lett volna a Xeon eseten, hogy a "-p2" tesztnel a
ket processzt ket kulon fizikai processzorra kenyszeriteni (emlekeim
szerint a 2.4-es kernelekben nincs HT-aware scheduling), ezt mar ossze
lehetne hasonlitani a tobbi architektura eredmenyeivel.

Gabor

[Zs]

Hi!

Post by Sickboy

Post by KORN Andras

Post by Sickboy
Tehat tobbszaz logfile kozul mindig ugyanazzal az 1-2vel van gondja.
(Ezek kulon diszkeken vannak, nincs egyetlen fs errorra utalo
logbejegyzes sem.) De ugyanaz az 1-2 az ugye tartalmilag nem ugyanaz
mindig (a logfile), mert ha kezzel lerotalom, utana megint elojon a
hiba.
A fileok nem nagyobbak 2GB-nal.

Es ha probakeppen bzip2-t hasznalsz?

Most hajnalban mar ezzel futott (ez nekem is eszembe jutott), es nem
akadt el sehol. Viszont sokaig tartott. :)

Mondanám, hogy a bzip2 jobban tömörít, így elfér egy időben a
tömörített és a tömörítetlen
állomány is - gzip esetén meg a tömörítés ideje alatt elfogy a szabad
hely és ebbe pusztul
bele a gzip. Ennek ellentmond, hogy azt írod: a strace szerint
seg.fault...
Az nem lehet, hogy a gzip program sérült? Anno 1990.-ben, még a 3.0-s
Windóze idején a VGA.DRV sérült meg nálam. _Egyetlen_ _bit_-ben
különbözött
a nem sérülttől. Minden szépen működött is, de pl. Excel About Boxa
azonnal
generális faliórát csinált. Ha a gzip nálad is csak ennyire sérült - 1,
2 bit, csak
hibaágon jön elő, ha elfogy a hely - akkor esetleg egy gzip reinstall
gyógyíthatja
a problémát..

De ez ugyebár csak egy 5let, ami vagy bejön, vagy nem...


Zsolt

[Sickboy]

Mondanám, hogy a bzip2 jobban tömörít, így elfér egy időben a tömörített
és a tömörítetlen
állomány is - gzip esetén meg a tömörítés ideje alatt elfogy a szabad
hely és ebbe pusztul
bele a gzip.

Kizart. (Van hely.)

Ennek ellentmond, hogy azt írod: a strace szerint seg.fault...
Az nem lehet, hogy a gzip program sérült?

Sajnos ezt mar joval korabban kilottem. (apt-get --reinstall)

[Horváth Ágoston János]

Post by Sickboy
Sajnos ezt mar joval korabban kilottem. (apt-get --reinstall)

A fuggosegeit is? Konkretan a sharedlibekre gondolok.

Amugy nem hinnem, hogy hardver lenne, ha amugy napkozben teljesen
stabil (ergo memoriagond majdnem kizarva) es a bzip2 tokeletesen fut
masfel orakat (vagyis a cpu is).

Szerintem a szoftver oldal a bunos. Probalj meg egy regebbi/ujabb gzip
binarist, esetleg magad forditani egyet.

[Plesz Viktor]

Post by Sickboy
akkor a gzip errorral ter vissza.

Csövezve fut?

[Sickboy]

Post by Plesz Viktor

Post by Sickboy
akkor a gzip errorral ter vissza.

Csövezve fut?

Logrotate futtatja.
Nem, szerintem gzip -9 /path/to/logfile

[Plesz Viktor]

Post by Sickboy
Logrotate futtatja.
Nem, szerintem gzip -9 /path/to/logfile

Kipróbálhatnád
először a tömörítvényt a null device-re irányítani
csövezéssel és anélkül

aztán verbose opcióval megnézni,
hogy mindig ugyanott dobja e a hibát

[Sickboy]

Post by Plesz Viktor

Post by Sickboy
Logrotate futtatja.
Nem, szerintem gzip -9 /path/to/logfile

Kipróbálhatnád
először a tömörítvényt a null device-re irányítani
csövezéssel és anélkül
aztán verbose opcióval megnézni,
hogy mindig ugyanott dobja e a hibát

Mindig mashol hasal el.

[Sickboy]

Post by Plesz Viktor
hogy mindig ugyanott dobja e a hibát

Ez erdekes. Most megneztem jobban, a plaintext logfile tomoritese kozben
nehany mega (<10) output megtermelese utan elszall, de raengedtem a
bz2-re, ami 70MB, es 70MB is maradt, de ezen vegigment siman.
Ez egyre inkabb hw hiba szagu.

[Plesz Viktor]

jól értem: ha nincs output akkor is elszáll a segment fault-tal a gzip?

[Sickboy]

Post by Plesz Viktor
jól értem: ha nincs output akkor is elszáll a segment fault-tal a gzip?

Nem. Elkezd tomoriteni plaintext logot, majd nehany mega kimenet
eloallitasa (nem tudom, pontosan mennyi inputot dolgoz fel ehhez) utan
elszall (3MB, 7MB, 4MB, valtozo).
Amikor raengedtem egy masik filera (egy betomoritett .bz2 volt keznel),
akkor a 70MB-n vegigment. (De ez hulyeseg, mert lehet, hogy a 7MB
tomoritett plaintexthez ennel tobb inputot olvasott be... nem tudom.)