Kapsilta poistettujen HP-palvelinten lahjoitus

Jesse Hulkko / 27. joulukuuta 2011

Tänää maanantain puolella pidetyssä hallituksen kokouksessa päätettiin Kapsin käytöstä poistettujen HP:n palvelinkoneiden kohtalo. Hakemukset on nyt käsitelty ja lahjoituspäätökset tehty.

Valinnassa painotettiin toiminnan laajuutta, jatkuvuutta sekä kykyä hyödyntää lahjoitettavaa kalustoa. Valinnassa huomioitiin erityisesti sellaiset tarpeet, joita ei ole mahdollista toteuttaa Kapsin tarjoamin jäsenpalveluin tai hakijayhdistyksen omin voimin ilman lahjoitettavaa palvelinta.

Hakemuksia tuli yhteensä 21 kpl, joista 18 päätyi käsiteltäväksi. Kolme hakemusta hylättiin, koska lahjoituksen hakija ei edustanut rekisteröityä yhdistystä. Periaatepäätös poistettujen palvelimien lahjoituksesta on tehty yhdistyksen vaalikokouksessa vuonna 2009.

Suurin osa hakemuksista oli todella hyvin kirjoitettu ja niistä selvisi toiminnan tarkoitus sekä konkreettiset suunnitelmat lahjoitettavan palvelimen varalle. Tämänkertaisista hakemuksista kuitenkin kävi erittäin selväksi, että monet yhdistykset kaipaavat pohjimmiltaan tietynlaisia palveluita, jotka olisivat hyvinkin toteutettavissa Kapsin resurssein.

Pyrimme jatkossa aktiivisesti kehittämään palveluita myös yhdistyksien tarpeisiin. Tavoitteemme on, että yhdistykset voivat keskittyä paremmin tarkoituksensa toteuttamiseen Kapsin keskittyessä toteuttamaan puolestaan omaa tarkoitustaan tuottamalla jäsenilleen Internet-palveluita. Näkisin, että tähän mennessä olemme onnistuneet tässä tehtävässä loistavasti ainoastaan yksityisjäsenten osalta. Yhdistysten yleiset tarpeet ovat kuitenkin usein erilaiset emmekä ole Internet-painotteisena yhdistyksenä osanneet vastata niihin riittävän hyvin.

Lahjoituksen saajat

Lahjoitukset päätyivät hallituksen päätöksellä seuraavanlaisiin kohteisiin.

HP DL380 G5, entinen lakka.kapsi.fi:nä palvellut rauta lahjoitettiin Tietokonekerho LanTrek ry:lle. LanTrek järjestää Tampereella vuosittain huomattavan isoa verkkopelitapahtumaa sekä toimii aktiivisesti verkkopeliscenen hyväksi yhteistyössä muiden järjestäjien kanssa. Hakijoista kaksi oli niin tasavertaisia, että emme kyenneet valitsemaan niiden väliltä, joten lopullisen tuloksen LanTrekin eduksi ratkaisi arpa.

HP DL320s G1, entinen herukka, Kapsin varmuuskopiopalvelin lahjoitettiin Päivölän kansanopiston kannattajayhdistys r.y:lle. Yhdistys ylläpitää kansalaisopistoa ja edistää koulutustoimintaa suomessa. Kapsilta poistunut palvelin menee hoitamaan oppilaitoksen keskitetyn levypalvelimen virkaa entisen, levytilaltaan sekä resursseiltaan pieneksi jääneen laitteen tilalle.

Kiitos kaikille hakijoille. Olisimme mieluusti jakaneet enemmänkin palvelinkalustoa eteenpäin, mikäli olisi mitä jakaa. Käytettyä palvelinkalustoa yhdistyskäyttöön voi kysellä myös yliopistoilta sekä suuremmilta alan yrityksiltä.

Otamme vielä erikseen yhteyttä niihin hakijoihin, joiden hakemuksessa esitetyt tarpeet voisivat olla täytettävissä Kapsin tarjoamin palveluin.

 

Siika-levypalvelimen häiriöt

Joonas Kuorilehto / 15. joulukuuta 2011

Siika – Huuto

Tällä kertaa vähän teknisempää juttua niille joita kiinnostaa. Lyhyt yhteenveto: levypalvelimella on ollut pientä ajoittaista tökkimistä. Ongelmat ovat tiedossa, tarkkaa syytä selvitetään ja korjaus tehdään heti kun mahdollista. Kertokaa jos tällaisia halutaan jatkossa.

Siika-levypalvelin on toiminut pääasiassa erittäin hyvin. Sen suorituskyky on normaalitilassa havaittavasti parempi kuin aiemman levypalvelimen. Valitettavasti uusi levyjärjestelmä ei ole ollut aivan ongelmaton. Tässä artikkelissa joitain havaintoja ja teorioita. Osa asioista on vielä selvittämättä, mutta ajattelin että jäseniä saattaa kiinnostaa mitä ongelmien taustalla on ja mitä asioille on jo tehty.

Siian levyjärjestelmät:

  • tank: kotihakemistot, sähköpostit ja virtuaalikoneet
  • siilo: /siilo-tallennustila

Ongelmat alkoivat ilmenemään useiden viikkojen raskaan käytön jälkeen. Ensimmäisten oireiden ilmetessä tank-levyjärjestelmällä oli käynnissä rutiinitarkastus. Tarkastus oli oireiden ilmennessä kestänyt vajaan viikon ja oli edennyt 90 % asti. Yhtäkkiä kirjoitukset verkkolevylle kestivät kohtuuttoman kauan ja tästä aiheutui hidastelua www-palveluihin, lakan shelliin, irkkeihin ja muihin verkkolevyä käyttäviin palveluihin. Ylläpito keskeytti tarkastuksen kun sen epäiltiin mahdollisesti olevan häiriön aiheuttaja. Oireet lakkasivat lopetukseen.

Hetken tutkiskelun jälkeen muutama levyistä näytti SMART-tietojen perusteella olevan vaihdon tarpeessa. Virheellisiä sektoreita ei vielä ollut, mutta aiempien havaintojen mukaan jo ”pian virheelliset” sektorit enteilevät levyn rikkoutumista ja voivat aiheuttaa hidastelua. Kaksi oireilevaa levyä päätettiin vaihtaa varalevyihin (hot spare). Operaatiota kutsutaan zfs:ssä resilveriksi ja se vastaa jokseenkin RAIDin uudelleenrakennusta, mutta tapahtuu tiedostojärjestelmätasolla, ei raa’alle levypinnalle. Resilver-toiminnon aikana oireilu jatkui ja oli pahimmillaan perjantaina illalla. Asialle ei keksitty mitään helpotuksia ja oireet menivätkin ohi melko pian. Resilver kestää noin 24h. Pakassa olevissa levyissä havaittiin vielä lisää virheitä enteileviä SMART-lukuja ja kaksi levyä lisää on sittemmin vaihdettu.

Levyt

Siian levyt ovat Western Digitalin 7200 RPM Black -levyjä. Niitä on 56 kappaletta Supermicron 4 räkkiyksikön levykehikoissa, joita on Siiassa kaksi. Molemmat ovat 4x 3 Gbit/s SAS-kaapelilla kiinni levyohjaimessa.

Valitettavasti levyjen kanssa on ilmeisesti ongelmia RAID-käytössä. Levyjen firmwaren ongelmista yksi on, että jos lukemisessa sattuu virhe, niin levy yrittää lukea uudestaan useita kertoja ennen epäonnistumista. Tämä on huono ominaisuus palvelinkäytössä, sillä Siian zfs-tiedostojärjestelmä osaisi kyllä tunnistaa ja korjata vaikka virheellisen levyltä tulevan datan. Olennaisesti levyn pitäisi antaa lukuvirhe heti tai hyvin nopeasti, jotta tieto haettaisiin seuraavalta levyltä.

Vaikka ongelma on tiedostettu ja levyjä aiotaan vaihtaa Hitachin valmistamiin (olematon saatavuus hidastaa vaihtoa), esiintyneet häiriöt eivät välttämättä johdu näistä levyistä. On vielä tässä vaiheessa mahdotonta sanoa onko tällä ongelmalla mitään tekemistä esiintyvien häiriöiden kanssa.

ZFS Intent Log

Siikassa on 4 kpl HP:n 60 GB SSD-levyjä, joita käytetään muun muassa ZFS Intent Login tallentamiseen. Tällä järjestelyllä Siika toimii erittäin suorituskykyisesti. Eräs tuoreemmista havainnoista on, että jos ZIL:n ulkoinen loki poistetaan käytöstä, jolloin ZIL kirjoitetaan itse pakan levyille, niin NFS:n pätkiminen loppui.

Jos ZIL:n loki on SSD-levyillä, levyjärjestelmä toimii erittäin suorituskykyisesti, paitsi että ajoittain ainakin resilverin ja scrubin aikana on ilmennyt hidasteluja ja tökkimisiä. Jos SSD:t on poistettu käytöstä, tökkimisiä ei ole havaittu. Toisaalta suorituskyky on paljon heikompi. Ylläpito kokeili myös yhden varakovalevyn käyttämistä ZIL-lokina, mutta oireet tulivat takaisin eli vika ei välttämättä ole itse SSD-levyissä.

Ilmeisesti ZIL liittyy jollain tavalla oireiluun, mutta se miten, on vielä epäselvää. Ylläpito testailee Muikku-varmuuskopiopalvelimella, sillä siinä on vastaava levyjärjestelmä ja OpenIndiana-käyttöjärjestelmä, mutta mahdollinen tökkiminen ei näy jäsenpalveluissa.

Valitettavasti kunnes ongelmat selviävät, levyjärjestelmä toimii hieman hitaammin. Testit pyritään tekemään ilman häiriöitä jäsenpalveluille, mutta täysin niiltä ei voitane välttyä. Pahoittelut ja toivotaan että muuten hyvin toiminut Siika-levyjärjestelmä saadaan toimimaan yhtäaikaa luotettavasti ja nopeasti.

Kapsin rahankäyttö 2011

Olli Vainio / 14. joulukuuta 2011

Olen vuoden 2010 loppupuolella tehnyt vastaavaan blogauksen tästä samasta aiheesta. Vuosi 2011 alkaa olla nyt niin lopuillaan, ettei ole enää tulossa kulueriä, jotka merkittävästi muuttaisivat tätä jakaumaa, niin ajattelin, että vuoden 2011 osalta voisi tehdä samanlaista blogia nyt.

Vuonna 2011 Kapsi on käyttänyt rahaa noin 141 268 euroa. Yllä olevassa kuvassa on prosenttiosuuksina asiat, mihin rahaa on käytetty.

Palvelimet

54 221 euroa

Tämä kohta sisältää kaikki palvelinhankinnat, palvelimien tukisopimukset ja muut laitteistohankinnat varsinaisen operaation pyörittämiseen. Vuonna 2011 oli kolme isompaa palvelinhankintaa kun hankittiin Hilla korvaamaan Xobia, Muikku ja uusi Lakka. Loppuvuodesta hankittiin myöskin uudet sähkönsyöttöratkaisut Nebulan tiloihin ja ne kuuluvat tähän osioon.

Hosting

46 367 euroa

Hostingiin sisältyy Nebulalle ja Tenuelle vuoden aikana maksetut laskut.

Toimitila

9 358 euroa

Toimitilan kuluihin sisältyy toimitilan vuokra, sähkömaksu, Internet-yhteys ja toimitilalle hankitut tarvikkeet.

Matkakulut

4 966 euroa

Matkakulut sisältävät kaikki matkoista aiheutuvat kulut. Kulut muodostuvat lähinnä lentolipuista Oulun ja Helsingin välillä sekä Oulussa yhdistyksen asioita hoitamisesta aiheutuneiden automatkojen kilometrikorvauksista.

Kokouskulut

5 261 euroa

Kokouskulut sisältävät kulut mitä on aihetunut yhdistyksen, hallituksen ja ylläpidon kokouksista. Myös muutamia isompia toimihenkilöiden tapaamisia on pidetty ja ne kulut ovat tässä mukana. Suurin osa kuluista tulee yhdistyksen kokouksien ja isoimpien toimihenkilökokoontumisten tilavuokrista. Ylläpidon ja hallituksien kokouksien satunnaiset virvokkeista ja tarjoiluista aiheutuvat kulut olen myös sisällyttänyt tähän.

Työläppärit

16 094 euroa

Tässä kuluerässä on toimihenkilöiden käyttöön hankitut kannettavat tietokoneet. Kuluerä sisältää 3 kpl 13″ MacBook Air, 5 kpl 13″ MacBook Pro, 1 kpl 15″ MacBook Pro ja 2 kpl Lenovo X220 -kannettavia tietokoneita. Todellinen yhdistykselle aiheutunut menoerä on hieman tuota ylläolevaa euromäärää pienempi, kun osa koneista on ollut määrättyä budjettia kalliimpia ja näissä tapauksissa toimihenkilö on maksanut ylimenevän osuuden koneesta itse. Huomioitavaa on myöskin, että seuraavan kerran isompi menoerä toimihenkilöiden läppäreistä tulee vasta 2014 kun nykyiset koneet pääsevät 3 vuoden käyttöikänsä loppuun.

Muut kulut

5 001 euroa

Tässä on kaikki satunnaiset kulut jotka eivät suoraan kuulu minkään ylläolevan menoerän alle. Suurin menoerä muissa kuluissa on kirjanpito.

Kapsi numeroina 2011

Olli Vainio / 10. joulukuuta 2011

Aiemmin olen blogannut tästä samasta aiheesta ja yhdistyksen IRC-kanavalla esitettiin jo toiveita tämän blogauksen uusimiseksi. Tässäpä tulee tuoreempia numeroita.

Jäsenet

Yhdistyksellä on 3727 jäsentä ja jäsenmäärä edelleen kasvaa useammalla kymmenellä jäsenellä kuukaudessa.

Hallinto

Hallitus käsitteli 446, helpdesk 327 ja ylläpito 2291 yhteydenottoa jäseniltä 12kk aikana marraskuusta 2010, marraskuuhun 2011.

Tekniikka

Yhdistyksellä on 13 palvelinta ja 4 levyhyllyä kahdessa konesalissa ja yhdistyksen toimitilalla.

Palvelimilla on yhteensä 90 prosessoriydintä ja 446 gigatavua keskusmuistia. Eniten ytimiä on Siiassa jossa niitä on 16, tosin vastikään hankittu Lakka 12 ytimellään saattaa olla laskentateholtaan hieman nopeampi. Eniten muistia on Lakassa, jossa sitä on 144 gigatavua.

Raakalevytilaa on noin 223 teratavua. Erilaisten varmistusten jälkeen käytettävissä oleva levytila on toki reilusti pienempi. Jotain viitettä voi saada siitä palvelimet -sivulla. Käyttäjien dataa on Lakan kotihakemistoissa 8 teratavua, Siilossa 23 teratavua ja Hillan kotihakemistoissa 0,3 teratavua.

Käyttäjien ajamana on yhtäaikaisesti noin 14000 prosessia. Joista noin 8000 on Lakalla ja 6000 Hillalla.

Tietokantoja on käytössä 3123 kappaletta. Keskimäärin tietokantoihin tulee noin 940 kyselyä sekunnissa.

Sähköpostipalvelimen läpi kulkee noin 26 000 viestiä päivässä.

Nimipalvelimilta palvellaan 1543 DNS-zonea.

Paskanmarja on uudelleenkäynnistetty 31.5.2011 jälkeen 44 kertaa. Pisimmillään paskanmarjaa on jaksettu pitää päällä 68 päivää kerralla.

IRCnetiin on 2545 yhtäaikaista yhteyttä molemmilta shellipalvelimilta. 1465 Lakalta ja 1080 Hillalta. Tämä tarkoittaa, että noin 3,8% koko IRCnetin käyttäjistä irkkaa Kapsin palveluita käyttäen.

Kapsin WWW-palvelimilla on noin 6200 palveltavaa sivustoa. Näille sivustoille tulee yhteensä noin 15,1 miljoonaa osumaa päivässä.

Kokonaisliikennemäärä kaikilta palvelimilta molemmista konesaleista Internetiin on noin 1,6 teratavua vuorokaudessa.

Lahjoitetaan NetApp-levypalvelin yhdistykselle

Olli Vainio / 29. marraskuuta 2011

Kapsin muutaman vuoden hyvin palvellut levypalvelin lahjoitetaan pois uuden ratkaisun myötä. Palvelin lahjoitetaan yhdistyksen kokouksen päätöksen mukaisesti voittoa tavoittelemattomille yhdistyksille. Hallitus valitsee koneen saajan.

Tarjolla oleva levypalvelin:

NetApp FAS2020, hankittu joulukuussa 2008, levyhylly hankittu maaliskuussa 2010.

  • 2U kokoinen laite
  • 12 sisäistä 1TB SATA-kovalevyä
  • 3U hyllyssä 14 1TB SATA-kovalevyä
  • Kaksi virtalähdettä
  • Hyllyssä myös kaksi virtalähdettä

Levypalvelin lahjoitetaan ilman minkäänlaista takuuta tai palautusoikeutta. Lähtökohtaisesti kuitenkin tiedostopalvelin on ollut vasta tuotannossa ja kaikki rauta on toimivaa.

Mikäli yhdistyksenne haluaa hakea konetta lahjoitettavaksi juuri teidän yhdistykselle, niin sen hakeminen tapahtuu sähköpostitse Kapsin hallitukselle. Hakemuksessa tulee käydä ilmi lyhyesti, mikä yhdistys on kyseessä, mihin käyttöön kone tulisi ja minkälaiset valmiudet kyseistä konetta yhdistyksellä on ylläpitää. Erikoisesti kiinnitämme huomiota siihen, että kone tulisi mielekääseen käyttöön ja yhdistyksellä on oikeasti kykyä myös käyttää ko. konetta. Ottaen huomioon, miten harvalla yhdistyksellä todennäköisesti on oikeasti puitteet tämän koneen ajamiseen, otamme myös poikkeuksellisesti huomioon ne yhdistykset jotka ovat jo hakeneet ja/tai vastaanottaneet aiempia HP:n koneita. Tätä laitetta varten kuitenkin haluamme erillisen hakemuksen.

Hakemukset tulee olla perillä viimeistään 31.12.2011 klo 23:59. Puuttellisia tai määräajan jälkeen tulleita hakemuksia ei huomioida. Kone luovutetaan valitulle yhdistykselle tammi-helmikuussa 2012 nykyisen suunnitelman mukaan, kuitenkin viimeistään ensimmäisen vuosineljänneksen 2012 aikana.

Lahjoitetaan käytettyjä HP:n palvelimia yhdistyksille

Olli Vainio / 18. marraskuuta 2011

Kapsi on taas kovasti uusimassa rautaa ja käyttämättömäksi jää pari vanhaa HP:n palvelinta. Nämä palvelimet lahjoitetaan yhdistyksen kokouksen päätöksen mukaisesti voittoa tavoittelemattomille yhdistyksille. Hallitus valitsee koneiden saajat.

Tarjolla on:

HP DL380 G5, hankittu maaliskuussa 2008

  • Yksi 1,87GHz 4-ytiminen Intel Xeon(E5320) -prosessori
  • 11GB DDR ECC (4x 2GB, 2x 1GB ja 2x 512MB kammat) -muistia
  • 2x 146GB 2.5″ 10krpm SAS -kovalevyjä
  • Kaksi virtalähdettä

HP DL320s G1, hankittu marraskuussa 2007

  • Yksi 2,4GHz 2-ytiminen Intel Xeon (3060) -prosessori
  • 6GB DDR2 EEC (2x 2GB ja 2x 1GB muistikammat) -muistia
  • 6x 750GB ja 6x 1TB 3.5″ SATA -kovalevyjä
  • Kaksi virtalähdettä

Molemmat koneet lahjoitetaan ilman minkäänlaista takuuta tai palautusoikeutta. Lähtökohtaisesti kuitenkin koneet ovat tuotannossa olleita koneita ja kaikki rauta on toimivaa.

Mikäli yhdistyksenne haluaa hakea konetta lahjoitettavaksi juuri teidän yhdistykselle, niin sen hakeminen tapahtuu sähköpostitse Kapsin hallitukselle. Hakemuksessa tulee käydä ilmi lyhyesti mikä yhdistys on kyseessä, mihin käyttöön kone tulisi ja minkälaiset valmiudet kyseistä konetta yhdistyksellä on ylläpitää. Erikoisesti kiinnitämme huomiota siihen, että kone tulisi mielekääseen käyttöön ja yhdistyksellä on oikeasti kykyä myös käyttää ko. konetta.

Hakemukset tulee olla perillä viimeistään 15.12.2011 klo 23:59. Puuttellisia tai määräajan jälkeen tulleita hakemuksia ei huomioida.

Etäosallistumismahdollisuudesta yhdistyksen kokouksissa

Olli Vainio / 24. syyskuuta 2011

Etäosallistumismahdollisuutta yhdistyksen kokouksiin on pyydetty hallitukselta ja siitä on tehty jäsenaloitekin yhdistyksen vuosikokoukselle. Vuoden 2011 vuosikokouksessa päätettiin kuitenkin olla vielä aloittamatta sääntömuutosprosessia etäosallistumisen mahdollistamiseksi. Koitan tässä vähän avata taustoja ja keskustelua mitä tuolla kokouksessa asiasta käytiin.

Vuosikokous 2011. Kuva: Joonas Kuorilehto

Vuosikokouksessa oli esillä jäsenaloite etäosallistumismahdollisuuden järjestämisestä yhdistyksen kokouksiin. Asiasta käytiin pitkä keskustelu, jonka jälkeen äänestettiin useasta esityksestä. Voittaneessa esityksessä ei velvoitettu aloittamaan sääntömuutosprosessia asian osalta.

Yhdistyslaki on vuodesta 2010 asti mahdollistanut lain osalta sen, että yhdistyksen kokouksiin voisi teoriassa osallistua etänä. Etäosallistuminen pitää lain mukaan olla kirjattuna yhdistyksen sääntöihin, jotta sitä voidaan käyttää. Kokouksessa käydyssä keskustelussa päälimmäisenä tuli huolenaiheeksi etäosallistumisen teknisten ratkaisujen puute ja tilanne, jossa mahdollisesti olisi liian ympäripyörät kriteerit etäosallistumismahdollisuudelle.

Tällä hetkellä vaikuttaisi siltä, että oikeita etäosallistumisratkaisuja, missä kokous olisi yhdessä paikassa ja etäosallistujat yksittäin pitkin maata, ei ole olemassa. Tilanne tulee varmasti muuttumaan ajan myötä, mutta toistaiseksi riittävän vaatimustason ratkaisuja ei ole. Jotta etäosallistumusratkaisua voidaan pitää kelpona, siinä pitäisi olla jotenkin mahdollisuus luotettavasti tunnistaa osallistuja, mahdollisuus myöntää puheenvuoroja osallistujille ja osallistujien pystyä tarvittaessa äänestämään.

Kokouksen keskustelussa tuntui vahva konsensus olevan siihen suuntaan, että sääntöjä ei kannata alkaa muuttaa ennen kuin tiedetään, miten niitä tarvii muuttaa. On parempi alkaa rakentamaan etäosallistumiskokonaisuutta sitten kun siihen on oikeat mahdollisuudet.

Seuraamme kehitystä etäosallistumisen osalta ja reagoimme tarpeen mukaan kehittyvään tilanteeseen. Mikäli tulee jotain uutta ja kiinnostavaa vastaan teknisten ratkaisujen osalta etäosallistumiseen niin kannattaa lähestyä sähköpostille yhdistyksen hallitusta niin voimme perehtyä tarkemmin asiaan jos menee meiltä ohi kyseinen ratkaisu.

Vaikka yhdistyksen kokouksiin ei nyt ole ihan lähiaikoina etäosallistumismahdollisuuksia tulossa niin kannattaa muistaa, että yhdistyksen asioihin voi vaikuttaa muutenkin. Yleensä enemmänkin kokouksen ulkopuolella kuin kokouksessa. Allekirjoittanut ainakin keskustelee mielellään yhdistyksen kehityssuunnnista ja siitä mitä pitäisi tehdä. Jos on jotain hienoja visioita, kysymyksiä tai jotain niin rohkeasti vaan pistämään hallitusosoitteeseen mailia. Myös IRCissä (odo@IRCnet) saa tulla huutelemaan. 🙂

Linux-ytimen ongelmat Kapsin palvelimilla

Joonas Kuorilehto / 25. huhtikuuta 2011

Kuva: ”tarazan” CC BY-NC-SA.

Valitettavasti kaikille yhdistyksen palvelimilta irkkaaville jäsenille on tullut varmasti selväksi, että Kapsin palvelinten Linux-ydinten kanssa on vakavia ongelmia. Avaan tässä hieman tiedotteita yksityiskohtaisemmin mitä ongelmat koskevat, mitä asialle on tehty ja tullaan tekemään.

Verkkokortit

Ilmeisesti lähinnä kuormituksen kasvettua Lakka-palvelimella Siilo-levytilan käyttöönoton jälkeen verkkokortit alkoivat oireilla. Käytännössä palvelimen kahdesta verkkokortista toinen (eth0 tai eth1) meni sellaiseen tilaan että liikennettä ei enää kulkenut. Käytännössä kun sisäverkon kortti tipahti, yhteys NFS-verkkolevypalvelimeen meni poikki ja kaikki verkkolevyä käyttävät ohjelmat (kaikki käyttäjien ohjelmat) menivät jumiin. Jumitus jouduttiin purkamaan uudelleenkäynnistyksellä. Vastaava ongelma on ilmennyt aiemminkin lakalla ja xobilla pidemmän aikaa sitten, mutta ei aiemmin ole toistunut. Oletettavasti uudentyyppinen liikenne sattui olemaan sellaista, joka saa vian esiintymään useammin.

Ongelma liittyi Broadcomin verkkokortteihin tietyllä firmware/ajuriversiolla. Valitettavasti uudempaa ajuria ei saatu käytössä olevan Linux-ytimen 2.6.32.y-sarjan versioon. Ongelma ratkaistiin vaihtamalla tärkeimmille koneille verkkokortit Intelin valmistamiin kortteihin.

NFS ja lukkiutumiset

Aluksi osa jumituksista ja kaatumisista kategorisoitiin Linuxin NFS-toteutuksen huonoudeksi. Todellisen vian selvittäminen on hankalaa ja vaikka osa virheistä onkin antanut ymmärtää, että NFS voisi olla syyllinen, vika on voinut olla osassa tapauksista myös verkkokortin ajurissa.

Nyt ongelmana Lakalla on ollut jumittumisia, joissa kaikki prosessoriytimet ovat odottamassa lukon vapautumista eikä niistä yksikään tee mitään hyödyllistä. Tällainen tilanne johtuu ohjelmointivirheestä ytimessä ja siitä toipumiseksi kone on käynnistettävä uudelleen. Tuotantokoneella viasta ei olla onnistuttu kaivamaan riittävän paljon tietoja, jotta vian aiheuttaja saataisiin jäljitettyä. Vastaavaa ongelmaa ei kovasta yrityksestä huolimatta ole saatu toistettua testaukseen tarkoitetulla Paskanmarja-palvelimella. Ilmeisesti vian toistamiseen tarvittavaa tavallista käyttöä matkivaa testikuormaa ei ole onnistuttu toistamaan riittävän hyvin testiympäristössä. Koska vikaa ei saada toistettua hallitusti, sen löytäminen on äärimmäisen vaikeaa ja korjaaminen mahdotonta. Tietysti on mahdollista, että joku Linux-kehittäjistä törmää samaan ongelmaan ja korjaa sen tai kirjoittaa vian aiheuttavan osan koodia uudestaan muun kehityksen yhteydessä.

Hilla on kaatunut nyt useita kertoja niin, että kaatumisesta ei ole jäänyt mitään jälkiä. Vian etsiminen ilman mitään tietoja kaatumisesta on vielä edellistäkin vikatyyppiä vaikeampaa. Koska kaatumisia on tapahtunut usein, otettiin käyttöön Linux 2.6.38-sarjan ydin, jossa ainakin osa Lakalla saaduissa virheilmoituksissa esiintyneistä osista on kirjoitettu uudelleen. Ydintä ei ole ehditty vielä kovin kattavasti testata (joskin yksi vakava bugi siitä jo testauksessa 12 tunnin rasituksen jälkeen löydettiin ja korjattiin). Se otettiin silti käyttöön ajatuksella “eihän se ainakaan huonompi voi olla kuin edellinen”. Aiempi ydin kun ei tunnu pysyvän enää vuorokautta pidempään kunnossa. Ainut järkevä arvaus tuntuu olevan että jokin käyttäjien aiheuttamassa kuormassa on muuttunut, mikä on johtanut vian toistumiseen. Tai tietysti voi olla että vika tulee muuten vain esiin helpommin Debian Squeezen uudemmilla ohjelmilla.

Yksittäiset ongelmat

Vaikeasti toistettavien vikojen toistamisessa ja paikantamisessa yksi huomattava lisäongelma on, että yhdistyksen ytimet eivät ole ns. vanilla-ytimiä eli suoraan kernel.orgin puusta. Yhdistys käyttää esimerkiksi grsecurity-patchiä, joka mm. sisältää suojakeinoja erilaisia hyökkäyksiä vastaan. Toinen käytössä oleva isompi muutos on BFS-skeduleri. Ennen BFS:n käyttöönottoa paljon CPU-aikaa vievät prosessit haittasivat muun järjestelmän vastenopeutta (interaktiivisuutta). BFS:llä CPU-käyttö ei ole enää ollut ongelma.

Ongelma on, että jos törmäämme johonkin epämääräiseen ongelmaan ja epäilemme että se voisi olla jossain kolmessa mainitusta komponentissa (kernel.org Linux, grsecurity, BFS), niin siitä raporttia lähettäessä ensimmäisenä ehdotetaan kokeilemaan toistuuko puhtaalla kernel.org-ytimellä. Jos ongelma on alunperinkin sellainen ettei sitä saada testiympäristössä toistettua, päädytään melko toivottomaan tilanteeseen. Tuotantoympäristössä ei voi hirveästi myöskään kokeilla kovin suuria muutoksia, varsinkaan jos niiden toimivuudesta ei ole mitään takeita.

Yhteenveto

Yhteenvetona ongelman vakavuus siis on todellakin niin yhdistyksen ylläpidon kuin hallituksen tiedossa ja tilanteen ratkaisu on ensiarvoisen tärkeää ja sen eteen tehdään kovasti töitä. Ylläpitäjät ovat käyttäneet useiden työpäivien verran omaa aikaansa uuden Linux-ytimen testaamiseen, ongelmien selvittämiseen ja korjaamiseen. Siis vapaaehtoistyötä. Jäseniltä tulevat kyselyt ”milloin ongelma korjataan” ovat siis sinänsä oikeutettuja, mutta kun tilanne tuntuu toivottomalta, kysymykset tuntuvat ikävältä. Kysymysten tai jopa haukkujen toistaminen ei ole kehittävää vaan on pois siltä työpanokselta, jonka vapaaehtoiset (ja pätevät) ylläpitäjämme jaksavat käyttää oikeiden ongelmien ratkomiseen.

Me ylläpidossa ja hallinnossa olevat olemme myös käyttäjiä ja muiden käyttäjien tavoin haluamme erittäin paljon, että kaikki palvelut toimisivat vakaasti ja ongelmitta. Ylläpitäjien parhaasta ja oikeasti kovasta yrityksestä huolimatta ongelmilta ei ole nyt vältytty. Toivotaan, että tehdyistä korjauksista olisi nyt apua Hillalla tai ainakin ‘lopullinen’ ratkaisu ydinongelmiin löydettäisiin pian.

Hankintoja

Olli Vainio / 12. maaliskuuta 2011

Hetkeen en ole blogannutkaan yhdistyksen hankinnoista Siikaa lukuunottamatta. Tässä hieman kuvausta tällä hetkellä ajankohtaisista ja tulevista hankinnoista yhdistykselle.

Xobin korvaaja

Xobin korvaava uusi palvelin on tilattu. Korvaava kone tulee olemaan samanlainen HP:n DL380-sarjan palvelin kuin aiempinkin Xob, tosin uudempaa sukupolvea. Uusi Xob tulee sisältämään kaksi Intel Xeon E5506 2,13 GHz -prosessoria, 24 GB virheenkorjaavaa muistia, kaksi 146 GB SAS- ja viisi 500 GB SATA -levyä.

Tämä kone tullaan sijoittamaan nykyisen Xobin tavoin Tenuen laitetilaan. Vanha Xob tullaan ottamaan virtuaalialustojen testikäyttöön Nebulan konesaliin.

Koneenvaihdon yhteydessä myöskin Xob -nimi mukautetaan nykyiseen nimeämiskäytäntöön ja tulevaisuudessa kone tullaan tuntemaan nimellä Hilla. Nimenvaihdossa tullaan käyttämään siirtymäaikaa ja muun muassa irciin tarjotaan xob.kapsi.fi-reverseä.

Toimihenkilöiden kannettavat tietokoneet

Kaksi vuotta sitten hankimme yhdistykselle toimihenkilöiden käyttöön kannettavia tietokoneita. Nyt kahden vuoden aktiivikäytön jälkeen koneet alkavat olla mekaanisesti käyttöikänsä lopussa ja ne ovat myös olennaisilta ominaisuuksiltaan rajoittuneita nykyistä käyttöä ajatellen. Näiden kahden vuoden aikana olemme havainneet kannettavat erittäin hyödyllisiksi. Toimihenkilökannettava on mahdollistanut ihmisten kokoontumisen ja asioiden saattamisen eteenpäin niin ylläpitotöiden, hallitustoiminnan, helpdesk-toiminnan, tiedotuksen kuin ohjelmoinninkin muodossa. Malliesimerkkinä tästä toimii kaikessa hiljaisuudessa käyttöön otettu uusi jäsentietojärjestelmä, jonka luomistyössä pariohjelmoinnilla ja erilaisilla kokoontumisilla oli merkittävä rooli.

Hankimme nyt korvaaviksi koneiksi yhteensä seitsemälle toimihenkilölle Applen MacBook Pro– ja MacBook Air -koneita, riippuen kunkin toimihenkilön omista tarpeista. Koneiden suunniteltu käyttöikä on kolme vuotta. Uudet, varsin paljon edellisempiä tehokkaammat koneet mahdollistavat virtualisoinnin kautta esimerkiksi järjestelmäkokoonpanojen ja järjestelmäydinten entistä helpomman testaamisen.

Uudet verkkokortit

Vaikka verkkokorttien hankinta ei ole taloudellisesti yhtä iso kuin muut mainitut hankinnat, on se todennäköisesti palveluiden toimivuuden kannalta sitäkin tärkeämpi. Lakkaa vaivanneet viimeaikaiset kaatumiset on jäljitetty Broadcomin verkkokortin piirisarjan ongelmiin. Ongelmat ilmenevät siten, että verkkoliikenne katkeaa yhtäkkiä täysin. Lakan ollessa kyseessä tämä tarkoittaa kaiken verkon yli käytettävien levyjärjestelmien katoamista ja siten koneen täydellistä jumittumista. Vastaavasti internetiin liitetyn verkkokortin pimeneminen tiputtaa yhteydet internetiin.

Korjauksena olemme hankkimassa Intelin piirisarjalla varustettuja verkkokortteja, joilla vastaavaa ongelmaa ei pitäisi ilmetä. Uudet verkkokortit tullaan asentamaan kaikkiin palvelimiin lähiviikkoina.

Tulevia hankintoja

Lähitulevaisuuteen katsoen, hankimme todennäköisesti Siialle kaveriksi samalla konseptilla toteutun palvelimen minne tulevaisuudessa tullaan varmuuskopioimaan käyttäjien kotihakemistoja. Tarkoituksena on todeuttaa lähes reaaliaikainen varmuuskopiointi, ja rakentaa järjestelmä niin, että tämä varmuuskopiopalvelin voi tarvittaessa palvella käyttäjien kotihakemistoja, jos Siika vikaantuu.

Nykyisten ratkaisujen osalta ei ole muita suuria hankintatarpeita 2011 alkupuoliskolla. Jäsenmäärän kasvu on edelleen voimakasta, ja on todennäköistä että vuoden 2011 aikana joudumme tekemään kokonaan uudenlaisia ratkaisuja järjestelmien skaalautuvuuden varmistamiseksi.

Muutto

Olli Vainio / 6. helmikuuta 2011

Ylläpidon toiminanjohtajan näkemys Siiasta Kapsin toimitilalla. Piirros: Tuomas Salomäki

Taustaa

Marraskuussa vastaanotimme Siika-palvelimen toimitilalle ihmeteltäväksi, ja varsin nopeasti kävi ilmi, että koneen sähkönkulutus on aika hurja jo ilman kuormaa, saati sitten kuormassa. Lähiviikkojen aikana iskostui ajatuksiin se realiteetti, ettei silloisessa salissa vain yksinkertaisesti riitä sähköratkaisu Kapsin tarpeisiin enää. Olimme elokuussa tavanneet Nebulan edustajat liittyen silloisten ratkaisujen parantamiseen, ja jo silloin tuli ilmi mahdollisuus siirtää koko Kapsin operaatio toiseen laitesaliin, jossa sähkösyöttöjä saa huomattavasti vapaammin.

Suunnittelu

Lienee sanomattakin selvää, että tämän kaltaisen muutto-operaation suunnittelu on iso projekti jo itsessään. Asioita, joita pitää miettiä muuttoa varten, on massiivinen määrä. Aloitimme suunnittelun aikalailla kuukautta ennen muuton toteutumista, ja jotkut toimihenkilöt käyttivät yli 100 tuntia aikaa pelkästään suunnitteluun, monet vähemmän, mutta silti huomattavia määriä. Suunnitteluvaiheessa kävi ilmi, että operaatiosta itsessään on myöskin tulossa varsin haastava ja massiivinen suorite.

Keskiviikko 8.12.2010

Minä ja Jesse Pussinen lähdimme Oulusta aikaisin aamulla autolla kohti Helsinkiä, Siika ja läjä muuta roinaa kyydissä. Helsingissä kävimme viemässä Siian konesalille odottamaan seuraavan päivän asennuksia. Ilta menikin pitkälti hotellissa lepäillessä ja IRCissä muiden muuttoon osallistuvien kanssa suunnitellessa tulevia suoritteita.

Pian Helsingissä. Kuva: Henri Strand

Torstai 9.12.2010

Heräsimme Jessen kanssa ajoissa hotellilla ja liikahdimme kohti Helsinki-Vantaata, juuri sopivasti noutamaan Oulusta saapuneet säätäjät, Ilkka Mattilan ja Henri Strandin. Myös yksi paikallisista säätäjistä, Aleksi Pöykkö, oli ehtinyt lentokentälle ja jatkoimme yhtä matkaa kentältä kohti vanhaa salia. Hieman kahdeksan jälkeen aamulla liikenne oli sitä mitä voi odottaakin ruuhkasuomessa ja matka kesti hyvän tovin.

Jumissa Kehällä aamuruuhkassa. Kuva: Henri Strand

Minä ja Aleksi jäimme vanhalle salille purkamaan osaa torstaina siirrettäviä koneita samalla, kun Jesse, Ilkka ja Henri menivät uudelle salille nostamaan Siikaa räkkiin ja muutenkin valmistelemaan räkkiä siihen kuntoon, että siihen voi lastata muunkin laitteiston. Saimme reilussa tunnissa purettua viisi konetta räkistä ja pakattua ne kuljetusta varten. Toisella säätötiimillä meni hetken pidempään uudella salilla joten hetken jouduimme odottelemaan.

Uudella salilla torstain osalta suorite oli jokseenkin yksinkertainen; koneet räkkiin ja nopea testaus, että kaikki toimii.

Torstaina ilta menikin aika pitkälti lepäillessä ja briiffasimme vielä kerran muuttoporukan kesken perjantain suoritteen, että kaikilla on selkeä kuva, mitä on tapahtumassa ja milloin.

Perjantai 10.12.2010

Perjantaina aamun koittaessa taas kävi matka ruuhka-aikaan pääkaupunkiseudun läpi hotellilta vanhalle salille.  Perjantain suoritteeseen tuli torstain lisäksi vielä Matti Averio, ja siten meillä oli varsin hyvä kuuden hengen porukka tekemässä koko homman.

Salille päästyämme Ilkka oli saanut jo suurimman osan koneista alas ajomatkan aikana, ja pääsimme siten heti purkamaan räkin sisältöä. HP on suunnitellut koneensa varsin hyvin, eikä räkistä poistaminen vaadi mitään suurta taisteltua. Myöskin räkkikiskot lähtevät matkaan ilman työkaluja hetkessä. Räkin tyhjennykseen meni aikalailla tunti aikaa, mikä oli jokseenkin odotettua.

Rauta kyytiin. Kuva: Matti Averio

Sitten alkoikin osuus, mikä ainakin minua hieman jännitti, nimittäin matka Helsingin läpi. Ja kyydissähän oli toki kaikki Kapsin kannalta kriittinen tekniikka. Pakkasimme kyllä koneet hyvin, ja vakuutuksetkin siirtoa varten otettiin varmuuden varalle, mutta se suojaa vain mahdollisen vahingon taloudellisilta osilta. Jos esimerkiksi Kuha hajoaisi siirrossa, siitä seuraisi huomattavan pitkä palvelukatko. Ajomatka sujui kuitenkin ongelmitta, vaikka pieni ylimääräinen lenkki tehtiinkin ohi ajetun risteyksen vuoksi.

Ja sitten menoksi! Kuva: Matti Averio

Uudella salilla saatiin varsin tehokkaasti taas koneet räkkiin ja käyttökatko nopeahkosti ohi.

Kun palvelut oli nostettu ylös, käytimme vielä useamman tunnin konesalilla johdotuksien siistimiseen, kaiken merkkaamiseen ja dokumentointiin. Aiemmin hieman kantapään kautta opittuna, dokumentoinnin tärkeyttä on vaikea korostaa liikaa.

Henri odottelemassa palvelinten kanssa pääsyä lämpimämpään ja vähälumisempaan tilaan. Kuva: Matti Averio

Jälkimietteitä

Jälkikäteen katsoen muutto sujui erittäin hyvin. Muuttoa tehdessä ja sen jälkeenkin on vasta tajunnut, että kuinka paljon hyvä suunnittelu auttaa asiaa. Muuttoa suoritettaessa ei enää ollut isoja epäselvyyksiä taikka ihmettelyitä ja kaikki tuntuivat tietävän, että mitä tehdään ja miten tehdään.

Koko muutto-operaatio antoi myöskin tekijöille huomattavia määriä itseluottamusta isompienkin säätöjen tekemiseen tarvittaessa. Tulevaisuudessa vastaavan magnitudin suoritteet ovat varmasti helpompia kaiken tästä opitun jälkeen.