Kapsi BLOG

Kuva: ”tarazan” CC BY-NC-SA.

Valitettavasti kaikille yhdistyksen palvelimilta irkkaaville jäsenille on tullut varmasti selväksi, että Kapsin palvelinten Linux-ydinten kanssa on vakavia ongelmia. Avaan tässä hieman tiedotteita yksityiskohtaisemmin mitä ongelmat koskevat, mitä asialle on tehty ja tullaan tekemään.

Verkkokortit

Ilmeisesti lähinnä kuormituksen kasvettua Lakka-palvelimella Siilo-levytilan käyttöönoton jälkeen verkkokortit alkoivat oireilla. Käytännössä palvelimen kahdesta verkkokortista toinen (eth0 tai eth1) meni sellaiseen tilaan että liikennettä ei enää kulkenut. Käytännössä kun sisäverkon kortti tipahti, yhteys NFS-verkkolevypalvelimeen meni poikki ja kaikki verkkolevyä käyttävät ohjelmat (kaikki käyttäjien ohjelmat) menivät jumiin. Jumitus jouduttiin purkamaan uudelleenkäynnistyksellä. Vastaava ongelma on ilmennyt aiemminkin lakalla ja xobilla pidemmän aikaa sitten, mutta ei aiemmin ole toistunut. Oletettavasti uudentyyppinen liikenne sattui olemaan sellaista, joka saa vian esiintymään useammin.

Ongelma liittyi Broadcomin verkkokortteihin tietyllä firmware/ajuriversiolla. Valitettavasti uudempaa ajuria ei saatu käytössä olevan Linux-ytimen 2.6.32.y-sarjan versioon. Ongelma ratkaistiin vaihtamalla tärkeimmille koneille verkkokortit Intelin valmistamiin kortteihin.

NFS ja lukkiutumiset

Aluksi osa jumituksista ja kaatumisista kategorisoitiin Linuxin NFS-toteutuksen huonoudeksi. Todellisen vian selvittäminen on hankalaa ja vaikka osa virheistä onkin antanut ymmärtää, että NFS voisi olla syyllinen, vika on voinut olla osassa tapauksista myös verkkokortin ajurissa.

Nyt ongelmana Lakalla on ollut jumittumisia, joissa kaikki prosessoriytimet ovat odottamassa lukon vapautumista eikä niistä yksikään tee mitään hyödyllistä. Tällainen tilanne johtuu ohjelmointivirheestä ytimessä ja siitä toipumiseksi kone on käynnistettävä uudelleen. Tuotantokoneella viasta ei olla onnistuttu kaivamaan riittävän paljon tietoja, jotta vian aiheuttaja saataisiin jäljitettyä. Vastaavaa ongelmaa ei kovasta yrityksestä huolimatta ole saatu toistettua testaukseen tarkoitetulla Paskanmarja-palvelimella. Ilmeisesti vian toistamiseen tarvittavaa tavallista käyttöä matkivaa testikuormaa ei ole onnistuttu toistamaan riittävän hyvin testiympäristössä. Koska vikaa ei saada toistettua hallitusti, sen löytäminen on äärimmäisen vaikeaa ja korjaaminen mahdotonta. Tietysti on mahdollista, että joku Linux-kehittäjistä törmää samaan ongelmaan ja korjaa sen tai kirjoittaa vian aiheuttavan osan koodia uudestaan muun kehityksen yhteydessä.

Hilla on kaatunut nyt useita kertoja niin, että kaatumisesta ei ole jäänyt mitään jälkiä. Vian etsiminen ilman mitään tietoja kaatumisesta on vielä edellistäkin vikatyyppiä vaikeampaa. Koska kaatumisia on tapahtunut usein, otettiin käyttöön Linux 2.6.38-sarjan ydin, jossa ainakin osa Lakalla saaduissa virheilmoituksissa esiintyneistä osista on kirjoitettu uudelleen. Ydintä ei ole ehditty vielä kovin kattavasti testata (joskin yksi vakava bugi siitä jo testauksessa 12 tunnin rasituksen jälkeen löydettiin ja korjattiin). Se otettiin silti käyttöön ajatuksella “eihän se ainakaan huonompi voi olla kuin edellinen”. Aiempi ydin kun ei tunnu pysyvän enää vuorokautta pidempään kunnossa. Ainut järkevä arvaus tuntuu olevan että jokin käyttäjien aiheuttamassa kuormassa on muuttunut, mikä on johtanut vian toistumiseen. Tai tietysti voi olla että vika tulee muuten vain esiin helpommin Debian Squeezen uudemmilla ohjelmilla.

Yksittäiset ongelmat

Vaikeasti toistettavien vikojen toistamisessa ja paikantamisessa yksi huomattava lisäongelma on, että yhdistyksen ytimet eivät ole ns. vanilla-ytimiä eli suoraan kernel.orgin puusta. Yhdistys käyttää esimerkiksi grsecurity-patchiä, joka mm. sisältää suojakeinoja erilaisia hyökkäyksiä vastaan. Toinen käytössä oleva isompi muutos on BFS-skeduleri. Ennen BFS:n käyttöönottoa paljon CPU-aikaa vievät prosessit haittasivat muun järjestelmän vastenopeutta (interaktiivisuutta). BFS:llä CPU-käyttö ei ole enää ollut ongelma.

Ongelma on, että jos törmäämme johonkin epämääräiseen ongelmaan ja epäilemme että se voisi olla jossain kolmessa mainitusta komponentissa (kernel.org Linux, grsecurity, BFS), niin siitä raporttia lähettäessä ensimmäisenä ehdotetaan kokeilemaan toistuuko puhtaalla kernel.org-ytimellä. Jos ongelma on alunperinkin sellainen ettei sitä saada testiympäristössä toistettua, päädytään melko toivottomaan tilanteeseen. Tuotantoympäristössä ei voi hirveästi myöskään kokeilla kovin suuria muutoksia, varsinkaan jos niiden toimivuudesta ei ole mitään takeita.

Yhteenveto

Yhteenvetona ongelman vakavuus siis on todellakin niin yhdistyksen ylläpidon kuin hallituksen tiedossa ja tilanteen ratkaisu on ensiarvoisen tärkeää ja sen eteen tehdään kovasti töitä. Ylläpitäjät ovat käyttäneet useiden työpäivien verran omaa aikaansa uuden Linux-ytimen testaamiseen, ongelmien selvittämiseen ja korjaamiseen. Siis vapaaehtoistyötä. Jäseniltä tulevat kyselyt ”milloin ongelma korjataan” ovat siis sinänsä oikeutettuja, mutta kun tilanne tuntuu toivottomalta, kysymykset tuntuvat ikävältä. Kysymysten tai jopa haukkujen toistaminen ei ole kehittävää vaan on pois siltä työpanokselta, jonka vapaaehtoiset (ja pätevät) ylläpitäjämme jaksavat käyttää oikeiden ongelmien ratkomiseen.

Me ylläpidossa ja hallinnossa olevat olemme myös käyttäjiä ja muiden käyttäjien tavoin haluamme erittäin paljon, että kaikki palvelut toimisivat vakaasti ja ongelmitta. Ylläpitäjien parhaasta ja oikeasti kovasta yrityksestä huolimatta ongelmilta ei ole nyt vältytty. Toivotaan, että tehdyistä korjauksista olisi nyt apua Hillalla tai ainakin ‘lopullinen’ ratkaisu ydinongelmiin löydettäisiin pian.

Taustaa

Jotkut ovat jo saattaneet huomata, että tässä kuluneen viikon aikana on ollut härdelli tietokantojen ympärillä. Hommahan meni jokseenkin niin, että havaitsimme silloisen Puolukan, tietokantapalvelimen, olevan kovinkin kuormittunut. Varsin nopeasti syntyi idea uuden tietokantakoneen hankkimisesta, sillä olihan vanha puolukka jo melkein neljä vuotta palvellut, mikä onkin käytännössä maksimaalinen käyttöikä palvelimille Kapsin käytössä. Edellisen keskiviikkona kyselimme toimittajilta hieman raudan perään ja torstaisessa hallituksen kokouksessa päätimme tilata palvelimen. Palvelin saapuikin jo seuraavan viikon maanantaina Nebulalle, jossa Kapsin laitteisto sijaitsee. Tämän viikon keskiviikkona sitten lopulta se käytiin säätämässä räkkiin ja tässä siltä reissulta hieman laajempi kuvaus.

Keskiviikko 19.8.

Heräsin hieman ennen neljää, hyvissä ajoin ennen lentokentälle lähtöä. Lentoni lähtisi kuudelta Helsinkiä kohti. Selvisin kentälle myöskin hyvissä ajoin ja onneksi olin speksannut tavarat pelkiksi käsimatkatavaroiksi. Lähtöselvityksessä oli karsea jono.

Lento Helsinkiin lähti ja saapui ajoissa, mikä lienee aika normaali suorite nykyään.

Helsingin päässä sainkin oppia kantapään kautta, että pidetään aina käteistä matkassa. Kävelin terminaalista tyytyväisenä odottelevaan linjan 615 bussiin ajatellen, että tämähän kävikin helposti. Lykkäsin kuskille pankkikortin kouraan ja vastauksena tuli ettei kelpaa. Fail. Oulussa nimittäin kaikissa busseissa käy kortit. Onneksi ei ollut kiire päällä, sovittu tapaaminen Nebulalla oli vasta kello 11, lopulta päädyin menemään taksilla tätini luo, josta järjestyikin näppärästi liikkuminen avuliaan jäsenen autolla lopun päivää.

Nebulalle saapuessa ensimmäisenä piti rueta ihmettelemään varsin merkittävää laatikkoläjää, jossa oli kone ja kaikki tilatut lisäpalikat. HP toimittaa palvelimet yleensä runkona, johon joutuu lisäämään mahdollisen toisen prosessorin, muistia ja levyt. Meillä oli kuitenkin runkona ns. performance server, jossa oli toinen prosessori ja virtalähde jo valmiina. Tarvitsi siis vain lisätä muistit ja levyt. Palvelimen kasauksessa tuli hieman aluksi ihmettelyitä joidenkin osien mekaniikan kanssa, kun tämä oli yhdistyksen ensimmäinen 6. sukupolven DL380, jossa on hieman erilainen konfiguraatio osilla palvelimen sisällä. Kasaus meni kuitenkin ilman suurempia murheita.

Seuraavaksi oli aika siirtyä konesaliin (josta ei ole, eikä tule kuvia, koska siellä ei saa kuvata) ihmettelemään. Etäsääsätäjät Oulusta olivat jo sammuttaneetkin vanhan puolukan päästessämme räkkikaapille ja meidän tarvitsi vain poistaa vanha kone siitä. Kone lähtikin varsin helposti pois, mutta koneen räkkikiskot olivatkin sitten hieman isompi härdelli. Puolukka sijaitsee räkissä keskellä, muiden palvelimien ympäröivänä ja 2U palvelimen tekemä rako ei ole kovin iso tila missä tehdä töitä, varsinkaan kun ympärillä on tuotantopalvelimia, joiden toimintaa ei saa häiritä. Lopulta vietimme konesalissa reilun tunnin säätäen uuden koneen siihen tilaan, että etäsäätäjät Oulusta pääsivät siihen käsiksi.

Vanha Puolukka oli päätetty kuljettaa Ouluun ylläpidon käsittelyyn, ennen palvelimen poistamista yhdistyksestä. Suunnittelimme jo ennen säätöreissua, että kone tulee nätisti uuden koneen laatikossa lentokoneen ruumassa ja kovalevyt käsimatkatavaroissa. Suunnitelma vaikutti vielä pakkaamisen jälkeenkin ihan toimivalle ja olin varsin luottavaisin mielin konseptista. Kokeilin nostaa Puolukan laatikkoa ja totesin sen varsin raskaaksi. Lentokoneissa on Finnairilla absoluuttinen 32kg raja ruumatavaran kanssa ja epäilin tämän rajan olevan ainakin lähellä. Nebulan alakerrassa sijaitsee Postin toimisto ja keksinkin, että heidän vaa’allahan on hyvä mitata laatikon todellinen paino. Rahaasimme toisen säätäjän kanssa laatikon alakertaan Postiin, jossa avulias nuori virkailija antoi meidän käyttää vaakaa ja totesimme laatikon painoksi 27,2kg. Ei siis mitään hätää. Viereinen Postin virkailija tosin katsoi touhua hieman epäluuloisen näköisenä, kun nostimme jättimäistä laatikkoa pienelle vaa’alle.

Poistuimme Nebulalta lentokentälle vanha Puolukka takakontissa, ideana tehdä lähtöselvitys jo ajoissa, vaikka kone lähtisikin vasta kello 2020. Pääsemme lentokentälle ja ensimmäinen toteamus on, että lähtöselvitykseen on 100m jonot, ei hyvä. Lähtöselvitysautomaatit tosin tarjosivat onneksi oikotien ja varsin lyhyen odottelun jälkeen pääsimme Finnairin baggage-drop tiskille Puolukan laatikon kanssa. Virkailija oli hieman epäuskoisen näköinen nähdessään massiivisen lootan, mutta totesi kuitenkin vain tyynesti, että ”ompa vähän ylipainoa”. Kotimaassahan sallittu maksimi on 20kg, jonka tiesinkin etukäteen. Laskimme tosin, että vaikka tuliskin ylipainomaksuja niin on halvempaa tehdä kuljetus näin kuin kuriirifirmalla tai vastaavasti. Nopean selvittelyn jälkeen Puolukka olikin matkalla Helsinki-Vantaan terminaalin uumeniin prosessoitavaksi oikealle lennolle.

Tuloksena oli varsin tehokkaasti suoritettu säätöpäivä, jossa ei varsinaisen säädön kannalta ollut isompia ongelmia ja aikaakin jäi hyvin ennen lennon lähtöä. Ehdinkin tavata lentokentällä pari kaveria mainiosti.

Turvatarkastuksessa tuli hieman hauska tilanne laukussa olevien kovalevyjen takia. Ilmeisesti 4 kovalevyä paketoituna kuplamuoviin näytää hyvin jännittävälle läpivalaisussa. 🙂 Tuloksena oli 2 läpivalaisukertaa laukussa ja 2 ulkona laukusta.

Lentokin lähti ajoissa, mutta sitten iskikin päivän isoin tappio. Nimittäin eipä ensimmäisellä yrityksellä Ouluun päästy. Vähän ennen Oulua kapteeni kertoi, että perämiehen tuulilasissa on säröjä(ks. kuva) ja huollon vuoksi menemme takaisin Helsinkiin. Just näin, kivaa. Lopulta Helsingissä oli organisoiduttu varsin hyvin tilanteeseen ja alle tunnin maassa olemisen jälkeen olimme toisella koneella matkalla Ouluun. Lopullinen myöhästyminen noin 3 tuntia.

Sitten jännäsin kovasti, että tuleeko Puolukan laatikko ehjänä Ouluun. Vaikka olenkin paljon reissannut, en ole koskaan laittanut vastaavalla konseptilla ruumatavarana mitään. Lyhyen odottelun jälkeen Puolukka tulikin ja totesin laatikon täysin ehjäksi. Erittäin hyvä, Finnair. Laatikon koko oli myös aika sopiva, sillä se juuri ja juuri mahtui takakonttiin Corollassa, jolla oli tarkoitus matkata kentältä kotia. Olin jo varautunut purkamaan palvelimen laatikosta kentällä sen perustella, miten hurjasti laatikko vei tilaa jo farmarimallisessa S4:ssä.

Vaikka takana oli erittäin raskas päivä, niin fiilis oli kuitenkin mainio. Monta kokemusta rikkaampana ja asiat hoidossa. Etäsäätäjätkin olivat saaneet jo konetta ajoon pikkuhiljaa. Näin sen homman pitää toimia.

Lopuksi

Kiitokset Matti Averiolle dokumentoinnista, säätöavusta ja transportaatiojärjestelyistä, niistä oli todella iso apu tällä reissulla.

Uusi Puolukka otettin lopulta ajoon torstaina ja perjantain välisenä yönä, vain reilu vuorokausi asennuksen jälkeen. Lopulta koko prosessi hankintapäätöksestä tuotantoon kesti vain viikon. Sanoisin, että Kapsi todellakin toimii.

Virallista tiedotetta odotellessa myöskin tämä tiedoksi jäsenille. Vanha Puolukka aiotaan luovuttaa tyhjäyksen jälkeen jollekkin Kapsin kannalta mahdollisimman tarkoituksenmukaiselle yhdistykselle. Jos on moisia yhdistyksiä mielessä, niin kannattaa olla yhteydessä hallitukseen.

Helpdeskiin on nyt Lakan ja Xobin päivityksien jälkeen tullut muutamia viestejä koskien ongelmia SFTP:llä kirjautumista. Ongelmaa on ilmennyt F-Secure SSH Clientilla sekä SSH Secure Shell Clientin ja CuteFTP:n vanhoilla versioilla. Kaikki ongelmia aiheuttaneet ohjelmat ovat olleet useita vuosia vanhoja.

Ihan mielenkiinnosta lähdin selvittämään ongelmaa laajemminkin omalla kotipalvelimella. SSH:n ja SFTP:n logit eivät tarjonneet juuri mitään tietoa vaikka debug-asetukset olivat täysillä: yhteydenmuodostus katkesi heti versionumeron lähetyksen jälkeen. Korvasin siis sftp-serverin omalla skriptillä, joka tallensi sftp-serverille välitetyt viestit välistä. Nämä sitten tulkitsin heksaeditorin ja sftp:n standardiluonnoksen avulla.

Tästä syy selvisikin helposti. Debian Lennyn mukana tuleva versio sftp-serveristä lähettää versionumeron mukana extension pair -lisämääreitä, joita nämä ohjelmat eivät ilmeisesti ymmärrä. Näille on kuitenkin varattu paikka jo ensimmäisissä standardiluonnoksissa, joten ohjelmien toteutus on selkeästi virheellinen.

Koska kyseiset ohjelmat ovat niin vanhoja, ei niiden valmistaja korjaa ongelmaa. Myöskään Debianin tai openssh:n on turha odottaa tekevän muutoksia virheellisten yhteysohjelmien vuoksi. Siispä, jos SFTP-kirjautuminen ei onnistu, päivitä ohjelmasi tai vaihda FileZillaan.