Aiemmin olen blogannut tästä samasta aiheesta ja yhdistyksen IRC-kanavalla esitettiin jo toiveita tämän blogauksen uusimiseksi. Tässäpä tulee tuoreempia numeroita.
Arkisto aiheelle ‘Ylläpito’
Kapsi numeroina 2011
lauantaina 10. joulukuuta 2011Lahjoitetaan NetApp-levypalvelin yhdistykselle
tiistaina 29. marraskuuta 2011Kapsin muutaman vuoden hyvin palvellut levypalvelin lahjoitetaan pois uuden ratkaisun myötä. Palvelin lahjoitetaan yhdistyksen kokouksen päätöksen mukaisesti voittoa tavoittelemattomille yhdistyksille. Hallitus valitsee koneen saajan.
Tarjolla oleva levypalvelin:
NetApp FAS2020, hankittu joulukuussa 2008, levyhylly hankittu maaliskuussa 2010.
- 2U kokoinen laite
- 12 sisäistä 1TB SATA-kovalevyä
- 3U hyllyssä 14 1TB SATA-kovalevyä
- Kaksi virtalähdettä
- Hyllyssä myös kaksi virtalähdettä
Levypalvelin lahjoitetaan ilman minkäänlaista takuuta tai palautusoikeutta. Lähtökohtaisesti kuitenkin tiedostopalvelin on ollut vasta tuotannossa ja kaikki rauta on toimivaa.
Mikäli yhdistyksenne haluaa hakea konetta lahjoitettavaksi juuri teidän yhdistykselle, niin sen hakeminen tapahtuu sähköpostitse Kapsin hallitukselle. Hakemuksessa tulee käydä ilmi lyhyesti, mikä yhdistys on kyseessä, mihin käyttöön kone tulisi ja minkälaiset valmiudet kyseistä konetta yhdistyksellä on ylläpitää. Erikoisesti kiinnitämme huomiota siihen, että kone tulisi mielekääseen käyttöön ja yhdistyksellä on oikeasti kykyä myös käyttää ko. konetta. Ottaen huomioon, miten harvalla yhdistyksellä todennäköisesti on oikeasti puitteet tämän koneen ajamiseen, otamme myös poikkeuksellisesti huomioon ne yhdistykset jotka ovat jo hakeneet ja/tai vastaanottaneet aiempia HP:n koneita. Tätä laitetta varten kuitenkin haluamme erillisen hakemuksen.
Hakemukset tulee olla perillä viimeistään 31.12.2011 klo 23:59. Puuttellisia tai määräajan jälkeen tulleita hakemuksia ei huomioida. Kone luovutetaan valitulle yhdistykselle tammi-helmikuussa 2012 nykyisen suunnitelman mukaan, kuitenkin viimeistään ensimmäisen vuosineljänneksen 2012 aikana.
Lahjoitetaan käytettyjä HP:n palvelimia yhdistyksille
perjantaina 18. marraskuuta 2011Kapsi on taas kovasti uusimassa rautaa ja käyttämättömäksi jää pari vanhaa HP:n palvelinta. Nämä palvelimet lahjoitetaan yhdistyksen kokouksen päätöksen mukaisesti voittoa tavoittelemattomille yhdistyksille. Hallitus valitsee koneiden saajat.
Tarjolla on:
HP DL380 G5, hankittu maaliskuussa 2008
- Yksi 1,87GHz 4-ytiminen Intel Xeon(E5320) -prosessori
- 11GB DDR ECC (4x 2GB, 2x 1GB ja 2x 512MB kammat) -muistia
- 2x 146GB 2.5″ 10krpm SAS -kovalevyjä
- Kaksi virtalähdettä
HP DL320s G1, hankittu marraskuussa 2007
- Yksi 2,4GHz 2-ytiminen Intel Xeon (3060) -prosessori
- 6GB DDR2 EEC (2x 2GB ja 2x 1GB muistikammat) -muistia
- 6x 750GB ja 6x 1TB 3.5″ SATA -kovalevyjä
- Kaksi virtalähdettä
Molemmat koneet lahjoitetaan ilman minkäänlaista takuuta tai palautusoikeutta. Lähtökohtaisesti kuitenkin koneet ovat tuotannossa olleita koneita ja kaikki rauta on toimivaa.
Mikäli yhdistyksenne haluaa hakea konetta lahjoitettavaksi juuri teidän yhdistykselle, niin sen hakeminen tapahtuu sähköpostitse Kapsin hallitukselle. Hakemuksessa tulee käydä ilmi lyhyesti mikä yhdistys on kyseessä, mihin käyttöön kone tulisi ja minkälaiset valmiudet kyseistä konetta yhdistyksellä on ylläpitää. Erikoisesti kiinnitämme huomiota siihen, että kone tulisi mielekääseen käyttöön ja yhdistyksellä on oikeasti kykyä myös käyttää ko. konetta.
Hakemukset tulee olla perillä viimeistään 15.12.2011 klo 23:59. Puuttellisia tai määräajan jälkeen tulleita hakemuksia ei huomioida.
Linux-ytimen ongelmat Kapsin palvelimilla
maanantaina 25. huhtikuuta 2011
Kuva: ”tarazan” CC BY-NC-SA.
Valitettavasti kaikille yhdistyksen palvelimilta irkkaaville jäsenille on tullut varmasti selväksi, että Kapsin palvelinten Linux-ydinten kanssa on vakavia ongelmia. Avaan tässä hieman tiedotteita yksityiskohtaisemmin mitä ongelmat koskevat, mitä asialle on tehty ja tullaan tekemään.
Verkkokortit
Ilmeisesti lähinnä kuormituksen kasvettua Lakka-palvelimella Siilo-levytilan käyttöönoton jälkeen verkkokortit alkoivat oireilla. Käytännössä palvelimen kahdesta verkkokortista toinen (eth0 tai eth1) meni sellaiseen tilaan että liikennettä ei enää kulkenut. Käytännössä kun sisäverkon kortti tipahti, yhteys NFS-verkkolevypalvelimeen meni poikki ja kaikki verkkolevyä käyttävät ohjelmat (kaikki käyttäjien ohjelmat) menivät jumiin. Jumitus jouduttiin purkamaan uudelleenkäynnistyksellä. Vastaava ongelma on ilmennyt aiemminkin lakalla ja xobilla pidemmän aikaa sitten, mutta ei aiemmin ole toistunut. Oletettavasti uudentyyppinen liikenne sattui olemaan sellaista, joka saa vian esiintymään useammin.
Ongelma liittyi Broadcomin verkkokortteihin tietyllä firmware/ajuriversiolla. Valitettavasti uudempaa ajuria ei saatu käytössä olevan Linux-ytimen 2.6.32.y-sarjan versioon. Ongelma ratkaistiin vaihtamalla tärkeimmille koneille verkkokortit Intelin valmistamiin kortteihin.
NFS ja lukkiutumiset
Aluksi osa jumituksista ja kaatumisista kategorisoitiin Linuxin NFS-toteutuksen huonoudeksi. Todellisen vian selvittäminen on hankalaa ja vaikka osa virheistä onkin antanut ymmärtää, että NFS voisi olla syyllinen, vika on voinut olla osassa tapauksista myös verkkokortin ajurissa.
Nyt ongelmana Lakalla on ollut jumittumisia, joissa kaikki prosessoriytimet ovat odottamassa lukon vapautumista eikä niistä yksikään tee mitään hyödyllistä. Tällainen tilanne johtuu ohjelmointivirheestä ytimessä ja siitä toipumiseksi kone on käynnistettävä uudelleen. Tuotantokoneella viasta ei olla onnistuttu kaivamaan riittävän paljon tietoja, jotta vian aiheuttaja saataisiin jäljitettyä. Vastaavaa ongelmaa ei kovasta yrityksestä huolimatta ole saatu toistettua testaukseen tarkoitetulla Paskanmarja-palvelimella. Ilmeisesti vian toistamiseen tarvittavaa tavallista käyttöä matkivaa testikuormaa ei ole onnistuttu toistamaan riittävän hyvin testiympäristössä. Koska vikaa ei saada toistettua hallitusti, sen löytäminen on äärimmäisen vaikeaa ja korjaaminen mahdotonta. Tietysti on mahdollista, että joku Linux-kehittäjistä törmää samaan ongelmaan ja korjaa sen tai kirjoittaa vian aiheuttavan osan koodia uudestaan muun kehityksen yhteydessä.
Hilla on kaatunut nyt useita kertoja niin, että kaatumisesta ei ole jäänyt mitään jälkiä. Vian etsiminen ilman mitään tietoja kaatumisesta on vielä edellistäkin vikatyyppiä vaikeampaa. Koska kaatumisia on tapahtunut usein, otettiin käyttöön Linux 2.6.38-sarjan ydin, jossa ainakin osa Lakalla saaduissa virheilmoituksissa esiintyneistä osista on kirjoitettu uudelleen. Ydintä ei ole ehditty vielä kovin kattavasti testata (joskin yksi vakava bugi siitä jo testauksessa 12 tunnin rasituksen jälkeen löydettiin ja korjattiin). Se otettiin silti käyttöön ajatuksella “eihän se ainakaan huonompi voi olla kuin edellinen”. Aiempi ydin kun ei tunnu pysyvän enää vuorokautta pidempään kunnossa. Ainut järkevä arvaus tuntuu olevan että jokin käyttäjien aiheuttamassa kuormassa on muuttunut, mikä on johtanut vian toistumiseen. Tai tietysti voi olla että vika tulee muuten vain esiin helpommin Debian Squeezen uudemmilla ohjelmilla.
Yksittäiset ongelmat
Vaikeasti toistettavien vikojen toistamisessa ja paikantamisessa yksi huomattava lisäongelma on, että yhdistyksen ytimet eivät ole ns. vanilla-ytimiä eli suoraan kernel.orgin puusta. Yhdistys käyttää esimerkiksi grsecurity-patchiä, joka mm. sisältää suojakeinoja erilaisia hyökkäyksiä vastaan. Toinen käytössä oleva isompi muutos on BFS-skeduleri. Ennen BFS:n käyttöönottoa paljon CPU-aikaa vievät prosessit haittasivat muun järjestelmän vastenopeutta (interaktiivisuutta). BFS:llä CPU-käyttö ei ole enää ollut ongelma.
Ongelma on, että jos törmäämme johonkin epämääräiseen ongelmaan ja epäilemme että se voisi olla jossain kolmessa mainitusta komponentissa (kernel.org Linux, grsecurity, BFS), niin siitä raporttia lähettäessä ensimmäisenä ehdotetaan kokeilemaan toistuuko puhtaalla kernel.org-ytimellä. Jos ongelma on alunperinkin sellainen ettei sitä saada testiympäristössä toistettua, päädytään melko toivottomaan tilanteeseen. Tuotantoympäristössä ei voi hirveästi myöskään kokeilla kovin suuria muutoksia, varsinkaan jos niiden toimivuudesta ei ole mitään takeita.
Yhteenveto
Yhteenvetona ongelman vakavuus siis on todellakin niin yhdistyksen ylläpidon kuin hallituksen tiedossa ja tilanteen ratkaisu on ensiarvoisen tärkeää ja sen eteen tehdään kovasti töitä. Ylläpitäjät ovat käyttäneet useiden työpäivien verran omaa aikaansa uuden Linux-ytimen testaamiseen, ongelmien selvittämiseen ja korjaamiseen. Siis vapaaehtoistyötä. Jäseniltä tulevat kyselyt ”milloin ongelma korjataan” ovat siis sinänsä oikeutettuja, mutta kun tilanne tuntuu toivottomalta, kysymykset tuntuvat ikävältä. Kysymysten tai jopa haukkujen toistaminen ei ole kehittävää vaan on pois siltä työpanokselta, jonka vapaaehtoiset (ja pätevät) ylläpitäjämme jaksavat käyttää oikeiden ongelmien ratkomiseen.
Me ylläpidossa ja hallinnossa olevat olemme myös käyttäjiä ja muiden käyttäjien tavoin haluamme erittäin paljon, että kaikki palvelut toimisivat vakaasti ja ongelmitta. Ylläpitäjien parhaasta ja oikeasti kovasta yrityksestä huolimatta ongelmilta ei ole nyt vältytty. Toivotaan, että tehdyistä korjauksista olisi nyt apua Hillalla tai ainakin ‘lopullinen’ ratkaisu ydinongelmiin löydettäisiin pian.
Hankintoja
lauantaina 12. maaliskuuta 2011
Hetkeen en ole blogannutkaan yhdistyksen hankinnoista Siikaa lukuunottamatta. Tässä hieman kuvausta tällä hetkellä ajankohtaisista ja tulevista hankinnoista yhdistykselle.
Xobin korvaaja
Xobin korvaava uusi palvelin on tilattu. Korvaava kone tulee olemaan samanlainen HP:n DL380-sarjan palvelin kuin aiempinkin Xob, tosin uudempaa sukupolvea. Uusi Xob tulee sisältämään kaksi Intel Xeon E5506 2,13 GHz -prosessoria, 24 GB virheenkorjaavaa muistia, kaksi 146 GB SAS- ja viisi 500 GB SATA -levyä.
Tämä kone tullaan sijoittamaan nykyisen Xobin tavoin Tenuen laitetilaan. Vanha Xob tullaan ottamaan virtuaalialustojen testikäyttöön Nebulan konesaliin.
Koneenvaihdon yhteydessä myöskin Xob -nimi mukautetaan nykyiseen nimeämiskäytäntöön ja tulevaisuudessa kone tullaan tuntemaan nimellä Hilla. Nimenvaihdossa tullaan käyttämään siirtymäaikaa ja muun muassa irciin tarjotaan xob.kapsi.fi-reverseä.
Toimihenkilöiden kannettavat tietokoneet
Kaksi vuotta sitten hankimme yhdistykselle toimihenkilöiden käyttöön kannettavia tietokoneita. Nyt kahden vuoden aktiivikäytön jälkeen koneet alkavat olla mekaanisesti käyttöikänsä lopussa ja ne ovat myös olennaisilta ominaisuuksiltaan rajoittuneita nykyistä käyttöä ajatellen. Näiden kahden vuoden aikana olemme havainneet kannettavat erittäin hyödyllisiksi. Toimihenkilökannettava on mahdollistanut ihmisten kokoontumisen ja asioiden saattamisen eteenpäin niin ylläpitotöiden, hallitustoiminnan, helpdesk-toiminnan, tiedotuksen kuin ohjelmoinninkin muodossa. Malliesimerkkinä tästä toimii kaikessa hiljaisuudessa käyttöön otettu uusi jäsentietojärjestelmä, jonka luomistyössä pariohjelmoinnilla ja erilaisilla kokoontumisilla oli merkittävä rooli.
Hankimme nyt korvaaviksi koneiksi yhteensä seitsemälle toimihenkilölle Applen MacBook Pro– ja MacBook Air -koneita, riippuen kunkin toimihenkilön omista tarpeista. Koneiden suunniteltu käyttöikä on kolme vuotta. Uudet, varsin paljon edellisempiä tehokkaammat koneet mahdollistavat virtualisoinnin kautta esimerkiksi järjestelmäkokoonpanojen ja järjestelmäydinten entistä helpomman testaamisen.
Uudet verkkokortit
Vaikka verkkokorttien hankinta ei ole taloudellisesti yhtä iso kuin muut mainitut hankinnat, on se todennäköisesti palveluiden toimivuuden kannalta sitäkin tärkeämpi. Lakkaa vaivanneet viimeaikaiset kaatumiset on jäljitetty Broadcomin verkkokortin piirisarjan ongelmiin. Ongelmat ilmenevät siten, että verkkoliikenne katkeaa yhtäkkiä täysin. Lakan ollessa kyseessä tämä tarkoittaa kaiken verkon yli käytettävien levyjärjestelmien katoamista ja siten koneen täydellistä jumittumista. Vastaavasti internetiin liitetyn verkkokortin pimeneminen tiputtaa yhteydet internetiin.
Korjauksena olemme hankkimassa Intelin piirisarjalla varustettuja verkkokortteja, joilla vastaavaa ongelmaa ei pitäisi ilmetä. Uudet verkkokortit tullaan asentamaan kaikkiin palvelimiin lähiviikkoina.
Tulevia hankintoja
Lähitulevaisuuteen katsoen, hankimme todennäköisesti Siialle kaveriksi samalla konseptilla toteutun palvelimen minne tulevaisuudessa tullaan varmuuskopioimaan käyttäjien kotihakemistoja. Tarkoituksena on todeuttaa lähes reaaliaikainen varmuuskopiointi, ja rakentaa järjestelmä niin, että tämä varmuuskopiopalvelin voi tarvittaessa palvella käyttäjien kotihakemistoja, jos Siika vikaantuu.
Nykyisten ratkaisujen osalta ei ole muita suuria hankintatarpeita 2011 alkupuoliskolla. Jäsenmäärän kasvu on edelleen voimakasta, ja on todennäköistä että vuoden 2011 aikana joudumme tekemään kokonaan uudenlaisia ratkaisuja järjestelmien skaalautuvuuden varmistamiseksi.
Muutto
sunnuntaina 6. helmikuuta 2011
Ylläpidon toiminanjohtajan näkemys Siiasta Kapsin toimitilalla. Piirros: Tuomas Salomäki
Taustaa
Marraskuussa vastaanotimme Siika-palvelimen toimitilalle ihmeteltäväksi, ja varsin nopeasti kävi ilmi, että koneen sähkönkulutus on aika hurja jo ilman kuormaa, saati sitten kuormassa. Lähiviikkojen aikana iskostui ajatuksiin se realiteetti, ettei silloisessa salissa vain yksinkertaisesti riitä sähköratkaisu Kapsin tarpeisiin enää. Olimme elokuussa tavanneet Nebulan edustajat liittyen silloisten ratkaisujen parantamiseen, ja jo silloin tuli ilmi mahdollisuus siirtää koko Kapsin operaatio toiseen laitesaliin, jossa sähkösyöttöjä saa huomattavasti vapaammin.
Suunnittelu
Lienee sanomattakin selvää, että tämän kaltaisen muutto-operaation suunnittelu on iso projekti jo itsessään. Asioita, joita pitää miettiä muuttoa varten, on massiivinen määrä. Aloitimme suunnittelun aikalailla kuukautta ennen muuton toteutumista, ja jotkut toimihenkilöt käyttivät yli 100 tuntia aikaa pelkästään suunnitteluun, monet vähemmän, mutta silti huomattavia määriä. Suunnitteluvaiheessa kävi ilmi, että operaatiosta itsessään on myöskin tulossa varsin haastava ja massiivinen suorite.
Keskiviikko 8.12.2010
Minä ja Jesse Pussinen lähdimme Oulusta aikaisin aamulla autolla kohti Helsinkiä, Siika ja läjä muuta roinaa kyydissä. Helsingissä kävimme viemässä Siian konesalille odottamaan seuraavan päivän asennuksia. Ilta menikin pitkälti hotellissa lepäillessä ja IRCissä muiden muuttoon osallistuvien kanssa suunnitellessa tulevia suoritteita.
Pian Helsingissä. Kuva: Henri Strand
Torstai 9.12.2010
Heräsimme Jessen kanssa ajoissa hotellilla ja liikahdimme kohti Helsinki-Vantaata, juuri sopivasti noutamaan Oulusta saapuneet säätäjät, Ilkka Mattilan ja Henri Strandin. Myös yksi paikallisista säätäjistä, Aleksi Pöykkö, oli ehtinyt lentokentälle ja jatkoimme yhtä matkaa kentältä kohti vanhaa salia. Hieman kahdeksan jälkeen aamulla liikenne oli sitä mitä voi odottaakin ruuhkasuomessa ja matka kesti hyvän tovin.
Jumissa Kehällä aamuruuhkassa. Kuva: Henri Strand
Minä ja Aleksi jäimme vanhalle salille purkamaan osaa torstaina siirrettäviä koneita samalla, kun Jesse, Ilkka ja Henri menivät uudelle salille nostamaan Siikaa räkkiin ja muutenkin valmistelemaan räkkiä siihen kuntoon, että siihen voi lastata muunkin laitteiston. Saimme reilussa tunnissa purettua viisi konetta räkistä ja pakattua ne kuljetusta varten. Toisella säätötiimillä meni hetken pidempään uudella salilla joten hetken jouduimme odottelemaan.
Uudella salilla torstain osalta suorite oli jokseenkin yksinkertainen; koneet räkkiin ja nopea testaus, että kaikki toimii.
Torstaina ilta menikin aika pitkälti lepäillessä ja briiffasimme vielä kerran muuttoporukan kesken perjantain suoritteen, että kaikilla on selkeä kuva, mitä on tapahtumassa ja milloin.
Perjantai 10.12.2010
Perjantaina aamun koittaessa taas kävi matka ruuhka-aikaan pääkaupunkiseudun läpi hotellilta vanhalle salille. Perjantain suoritteeseen tuli torstain lisäksi vielä Matti Averio, ja siten meillä oli varsin hyvä kuuden hengen porukka tekemässä koko homman.
Salille päästyämme Ilkka oli saanut jo suurimman osan koneista alas ajomatkan aikana, ja pääsimme siten heti purkamaan räkin sisältöä. HP on suunnitellut koneensa varsin hyvin, eikä räkistä poistaminen vaadi mitään suurta taisteltua. Myöskin räkkikiskot lähtevät matkaan ilman työkaluja hetkessä. Räkin tyhjennykseen meni aikalailla tunti aikaa, mikä oli jokseenkin odotettua.
Rauta kyytiin. Kuva: Matti Averio
Sitten alkoikin osuus, mikä ainakin minua hieman jännitti, nimittäin matka Helsingin läpi. Ja kyydissähän oli toki kaikki Kapsin kannalta kriittinen tekniikka. Pakkasimme kyllä koneet hyvin, ja vakuutuksetkin siirtoa varten otettiin varmuuden varalle, mutta se suojaa vain mahdollisen vahingon taloudellisilta osilta. Jos esimerkiksi Kuha hajoaisi siirrossa, siitä seuraisi huomattavan pitkä palvelukatko. Ajomatka sujui kuitenkin ongelmitta, vaikka pieni ylimääräinen lenkki tehtiinkin ohi ajetun risteyksen vuoksi.
Ja sitten menoksi! Kuva: Matti Averio
Uudella salilla saatiin varsin tehokkaasti taas koneet räkkiin ja käyttökatko nopeahkosti ohi.
Kun palvelut oli nostettu ylös, käytimme vielä useamman tunnin konesalilla johdotuksien siistimiseen, kaiken merkkaamiseen ja dokumentointiin. Aiemmin hieman kantapään kautta opittuna, dokumentoinnin tärkeyttä on vaikea korostaa liikaa.
Henri odottelemassa palvelinten kanssa pääsyä lämpimämpään ja vähälumisempaan tilaan. Kuva: Matti Averio
Jälkimietteitä
Jälkikäteen katsoen muutto sujui erittäin hyvin. Muuttoa tehdessä ja sen jälkeenkin on vasta tajunnut, että kuinka paljon hyvä suunnittelu auttaa asiaa. Muuttoa suoritettaessa ei enää ollut isoja epäselvyyksiä taikka ihmettelyitä ja kaikki tuntuivat tietävän, että mitä tehdään ja miten tehdään.
Koko muutto-operaatio antoi myöskin tekijöille huomattavia määriä itseluottamusta isompienkin säätöjen tekemiseen tarvittaessa. Tulevaisuudessa vastaavan magnitudin suoritteet ovat varmasti helpompia kaiken tästä opitun jälkeen.
270 teran Siika.
keskiviikkona 29. syyskuuta 2010
Kuva: ”Apple2000”, CC-BY-SA
Olemme jo pitkään pohtineet yhdistykselle tallennusratkaisua jossa gigatavun hinta on sellainen, että voimme tarjota jäsenille isoja levytilakiintiöitä. Nykyinen 50 gigatavua on kuitenkin aika vähän nykyään.
Tänään päätimme hankkia yhdistykselle uuden palvelimen, jonka konseptina on juuri tämä. Aluksi palvelin tulee korvaamaan nykyistä Herukka-palvelinta ja tänä aikana palvelin on myöskin tarkoitus testata äärimmäisen kattavasti, että mitään yllätyksiä ei pääsisi syntymään. Joskus ensi vuonna palvelin on tarkoitus laittaa korvaamaan nykyinen Kuha.
Kun nykyinen Kuha on korvattu tällä uudella ratkaisulla niin on todennäköistä, että voimme tarjota jäsenille esimerkiksi varmuuskopiointikäyttöön havaittavasti isompaa levytilakiintiötä kuin nyt.
Jos vielä otsikosta ei käynyt ilmi niin koneen nimeksi tosiaan tulee Siika. Ratkaisultaan Siika on jokseenkin samanlainen HP:n palvelin kuin nykyiset, joskin rauta on optimoitu levyn palvelemista ajatellen. Levyt tulevat koneen ulkopuolisiin levyhyllyihin joista kukin vetää 45 levyä. Ihan aluksi kone on tarkoitus kalustaa siten, että siinä on 2 levyhyllyä joissa kussakin on 10 kappaletta 2 TB levyjä kussakin, eli 20 TB varmennettua levypintaa. Se, mistä tuo otsikon 270 TB tuli, on se, että tällä rautakonseptilla voimme palvella 270 TB varmennettua levypintaa palvelimelta. Raakalevyä tuolloin olisi jo yli puoli petatavua.
Kaikenkaikkiaan hienoksi tämän koko konseptin tekee, että voimme lisätä levypintaa halvalla ja nopeasti tarpeen mukaan. Siian säädöstä ja käyttöönotosta tullaan varmasti blogaamaan pitkin syksyä ja kevättä, kunhan mielenkiintoisia säätöjä tapahtuu.
Apple2000
Erillisiä palvelimia erityistarpeisiin
torstaina 8. heinäkuuta 2010Yhdistyksen IRC-kanavalla esitettiin keväällä ajatus erillisestä palvelimesta modernien www-sovellusten ajamiseen. Ajatus on mielestäni mainio, sillä nykyään Debianin pari vuotta vanhat ohjelmaversiot vaikeuttavat esimerkiksi Ruby on Railsin käyttöä.
Idea sai myös jonkin verran kannatusta ylläpidon piirissä, mutta toteutusta ei silti liene aivan heti tulossa. Se ei kuitenkaan vaatisi edes laitteistohankintoja, joten sopivan henkilön innostuessa tuloksia varmaankin syntyisi parissa päivässä.
Tiheästi päivittyvä www-palvelin
Tavalliset PHP- ja Python-ohjelmat pyörivät aivan mainiosti nykyisellä www-palvelimella. Se johtuu siitä, että nämä ympäristöt eivät ole juurikaan muuttuneet Debianin edellisen julkaisun valmistelun eli vuoden 2008 jälkeen.
Sen sijaan Ruby on Rails on kehittynyt huimaa vauhtia, eikä uusin versio enää edes toimi FCGI:n kautta. Tämä on johtanut erikoiseen tilanteeseen Kapsin RoR-ohjeen suhteen: toisaalta se toimii hyvin Kapsilla olevaan RoR:n versioon, mutta kyseinen versio on niin vanha ettei sitä käytä kovin mielellään. Sen vuoksi uusin RoR on täytynyt asentaa itse kotihakemistoon, ja ajaa erillisessä palvelinohjelmassa. Ohjeet tähän eivät ole päätyneet verkkosivuille, vaikka helpdesk onkin asian parille jäsenelle neuvonut.
Ohjelmia ei kuitenkaan voida noin vain lähteä päivittämään parin ohjelmointikielen vuoksi, koska kokemuksen perusteella päivitykset aiheuttavat aina enemmän tai vähemmän ongelmia sivustoille. Erillisellä palvelimella ei haittaisi niin paljon, jos päivitys rikkoisikin jotain; jokainen voisi valita itse mitä palvelinta käyttää.
Uusimmat ohjelmat sisältäviä Linux-jakeluita on useita mahdollisia; esimerkiksi Ubuntu Server tai Gentoo. Riippumatta jakelusta käyttöön saataisiin esimerkiksi mod_passenger, jonka ansiosta RoR-ohjelmien pitäisi toimia aivan yhtä helposti kuin PHP nyt.
Toisen jakelun pystyisi asentamaan chroot:in avulla samaan koneeseen nykyisen www-palvelimen rinnalle. Haluttu palvelin valittaisiin vaihtamalla nimipalvelutietojen ip-osoite.
Vakaa IRC-shell
Samaa linjaa noudattaen kaipaisin palvelimen, joka olisi ihanteellisen vakaa irkkaamiseen. Tästä tulee luultavasti ensimmäisenä mieleen, että eikö Xob jo ole erityisesti irkkaukseen tarkoitettu? Niinhän sen pitäisi olla, mutta se ei kyllä ole ollut aikoihin kovin vakaa.
Aikanaan Xobilla oli jopa yli 500 päivän uptimejä, mutta ensin Xen, sitten DDoS ja nyttemmin internet-operaattorin vaihto ovat pätkineet sitä tasaiseen tahtiin.
Tämä ei ole kivaa.
En tiedä mistä nämä kernelin ongelmat ovat johtuneet, mutta ainakin Tenueen vaihto on omasta mielestäni ollut pettymys. Kyseessä oli tietysti pakkotilanne, koska vanha operaattori lähti alta, mutta jokin ratkaisu verkkokatkoksiin pitäisi löytyä.
Jos käyttöjärjestelmä ja verkko pysyvät pystyssä, on yleensä seuraava uudelleenkäynnistyksen syy tietoturvapäivityksissä. Nämäkin saisi nykyään hoidettua lennossa Ksplicellä. Tietysti siinäkin on varmasti joitakin haittapuolia joita en tiedä, koska en ole kokeillut.
Ylipäätänsä Kapsilla on tietysti paljon jäseniä, joita IRC:n pätkiminen parin kuukauden välein ei haittaa ja joille PHP riittää mainiosti. Mielestäni yhdistyksen ei kuitenkaan kannata jämähtää tähän, vaan pitää palvelut ajantasalla. Kapsihan on tähänkin asti ollut jonkin sortin edelläkävijä: aikanaan palvelut olivat muihin verrattuna todella edulliset, ja nykyäänkin esimerkiksi levytilaa on paljon enemmän kuin monella muulla.
WWW-sivujen katko 31.3.2010
torstaina 1. huhtikuuta 2010Kapsin jäsenten verkkosivuilla (palvelimet kirsikka ja karviainen) olevat WWW-palvelimen konfiguraatiotiedostot rikkoontuivat 31.3. Säätöä vierestä seuranneena kirjoitankin nyt analyysin, mistä katko luultavasti johtui.
Ensin hieman taustaa. Yhdistyksellä on noin 4400 virtuaalihostia WWW-palvelinten konfiguraatiossa. Samat sivut palvellaan molemmilta palvelimilta, joskin vain toinen koneista palvelee kerrallaan yhtä sivustoa (kirsikka *.kapsi.fi ja karviainen kaikkia muita). Konfiguraation koko on generoituna noin 1,9 megatavua ja se generoidaan skriptillä helpommin hallittavasta muodosta. Tämänhetkinen generointiskripti käy myös läpi, että kaikilla sivustoilla on lokihakemisto olemassa ja asettaa lokin käyttöoikeudet kuntoon. Skripti on ajettu 10 minuutin välein.
- Make-kääntöohjelma huomaa, että lähdetiedostot ovat uudempia kuin konfiguraatio, joten se aloittaa konfiguraation generoinnin.
- 10 minuuttia myöhemmin Make ajetaan uudestaan ja koska edellinen ei ole valmistunut, generointi aloitetaan uudestaan päällekäin edellisen kanssa.
- Ensimmäinen generointi valmistuu ja uusi konfiguraatio otetaan käyttöön (ei tutkittu onnistuiko tämä).
- Toinen generointi valmistuu, mutta koska se oli ylikirjoittanut keskeneräisen välituloksen, lopputulos on väärä. Apache ladataan taas uudestaan, mutta tällä kertaa konfiguraatiossa on ainoastaan uudelleenohjaussivustot (esim. www.domain.tld ➝ domain.tld) toimivat, koska ne generoitiin myöhemmin.
Tilanteen toistumisen estämiseksi lisättiin Makefileen toimiva lukitus. Aiemminkin siinä oli kyllä lukitus, mutta se varmisti vain pienen, sekunteja kestävän, osuuden toimivuuden.
Tämänkin pitäisi sinänsä riittää, mutta koska konfiguraation generointi on paisunut yhdistyksen koon kasvaessa kohtuuttoman hitaaksi, myös generointiskripti kirjoitetaan uudestaan heti kun ehditään (kirjoitan tätä alle tunti korjautumisen jälkeen). Merkittävin hidaste sivustojen toimintaan palauttamiselle tuli siitä, että skriptin ajaminen ja Apache-palvelimen uudelleenlataaminen kestää kymmeniä minuutteja. Lisäksi häiriön aiheuttaja selvisi tarkasti vasta minuutteja ennen kuin korjaus saatiin valmiiksi, minkä vuoksi ajastettu generointi ehti tuhota yhden sinänsä täysin ehjän konfiguraation. Tämä konfiguraatio ehdittiin kuitenkin saamaan käyttöön kirsikka-palvelimelle ennen kuin se tuhoutui, minkä vuoksi muut kuin *.kapsi.fi-osoitteet toimivat jo aiemmin kuin muut.
Xobin palvelinsalin muutto
tiistaina 29. joulukuuta 2009Vanha Eunetin laitesali, jossa xobina tunnettu lillukka-kone oli, aiotaan ajaa alas. Tämän vuoksi ilmeni tarve löytää uusi toissijainen laitesali Nebulan tilan lisäksi. Saimme tiedon laitesalin sulkemisesta 17.11.2009. Viimeiseksi irtisanomispäiväksi ilmoitettiin 31.12.2009, mikäli korvaavia palveluita ei oteta Elisalta. Tämän vuoksi jouduimme liikkumaan nopealla aikataululla muuton suhteen. Asiaa ei helpota sekään, että IP-uudelleennumerointi on iso operaatio ja IRC-yhteyksien siirtäminen tai saaminen ei ole yksinkertaista tai nopeaa.
Yhdistys pyrkii tarjoamaan mahdollisimman hyvän luotettavuuden jäsenpalveluilleen. Tämän vuoksi laitteita on sijoitettu kahteen eri saliin ja eri operaattorien yhteyksien taakse. Tarjouksia pyydettiin noin kymmeneltä eri operaattorilta. Suurin osa tarjouksista ei soveltunut tarkoitukseen, vaan tarjotut palvelut olivat joko liian kalliita sisältöön nähden tai eivät vastanneet tarjouspyyntöä.
Tarjouksista parhaiten sopivalta vaikutti Tenue, joka on varsin uusi tarjoaja. Kiinnostavana seikkana mainittakoon muun muassa, että Tenuella on yhteydet kahdelta ylemmältä palveluntarjoajalta, Elisalta ja RETN:ltä. Tämän avulla heidän on mahdollista tarjota hieman erilaisia palveluita.
Sähköposti- ja puhelinkeskustelujen pohjalta päädyimme käymään paikan päällä tutustumassa saliin ja neuvottelemaan yhdistykselle parhaiten sopiva palvelupaketti. Kokoonpanoksi iskuryhmään muodostui Joonas Kortesalmi, Ilkka Mattila ja Atte Hinkka. Ilkan kanssa lensimme Oulusta aamu seitsemän lennolla Helsinkiin. Helsingissä meitä oli vastassa Matti Averio (Maza), joka on mm. #kapsi.fi-kanavan aktiiveja.
Kävimme poimimassa juuri heränneen Aten kyytiin kotoaan ja suuntasimme kohti Helsingin konesalipeltoja (keksimäni nimi alueelle, jossa ilmeisesti sijaitsee pienehköllä alueella useita eri tarjoajien konesaleja). Etsimme alueelta soveltuvan ruokailupaikan ja kävimme nauttimassa paikallisen kulttuurielämyksen, 5 euron pizzan. Oululaisena täytyy myöntää, että kilpailu on tehnyt hyvää kun Helsingissäkin voi viimein syödä pizzaa järkevään hintaan ja täytevalintaakaan ei ole rajoitettu listan vakiopizzoihin.
Maha täynnä jatkoimme kello yhdeksitoista Tenuen tiloihin, jossa kävimme katselemassa salia itse ja kuvailimme yhdistyksen nykyiset ratkaisut ja rakensimme niitä vastaavan setin. Sitten kävimme läpi vaihtoehtoja, joilla palvelutasoa voisi nostaa entisestä. Pyysimme kahdesta iskuryhmän ja toimihenkilöiden taustajoukkon mielestä parhaiten soveltuvasta paketista vielä päivitetyn tarjouksen hallitukselle ja jatkoimme eteenpäin.
Kävimme viettämässä iltapäivää Helsingin yliopistolla ja tutustuimme muutamiin paikallisiin nähtävyyksiin. Jätimme Aten yliopistolle ja suuntasimme kohti lentoasemaa, jotta ehtisimme ajoissa viideltä lähtevään paluulentoon Ouluun. Lentoasemalta sovimme lyhyestä purkutilaisuudesta, jossa kävimme hallituksen ja muutaman ylläpidon jäsenen kanssa päivän tuloksia.
Oulussa meitä oli vastassa Jesse Pussinen. Kävimme matkan varrella Ilkan, Jessen ja mukaan liittyneen Olli Vainion kanssa syömässä ja jatkoimme kohti kokousta. Kertasimme taas päivän tulokset, vaikka siihen mennessä suurin osa olikin jo käyty läpi myös irkin toimihenkilökanavalla. Hallitus pääsi helposti yksimielisyyteen siitä, että jonkin verran kalliimpi, mutta paremman toimintavarmuuden tarjoava ratkaisu on parempi ja se päätettiin tilata.
Suuret kiitokset Matti Averiolle päivän kulkemisista Helsingin päässä ja Jesse Pussiselle Oulussa. Päivän tuloksena saatiin luotua yhteyksiä Tenuen suuntaan ja löydettiin erittäin hyvältä vaikuttava ratkaisu Xobin sijoituspaikalle. Tietysti todellinen varmuus nähdään vasta kun kone saadaan saliin, mutta ainakin tällä hetkellä odotukset uudelle salille ovat kovat.
Joulukiireiden ja Sikteeri-rupeaman vuoksi tämän postauksen julkaisu siirtyi vasta käyttöönoton jälkeen. Toivottavasti kuitenkin asia vielä kiinnostaa.
