Arkisto aiheelle ‘Sekalaista’

Ylläpidon tunkkausviikonloppu I/2012

maanantaina 22. lokakuuta 2012

Kapsin ylläpidossa on reilu tusina hyvinkin tavanomaisen oloista kaveria, joiden intohimon kohteena vain sattuu keskimääräistä useammin olemaan ZFS-levyjärjestelmän tai  Linuxin kernelin optimointi tuhansien käyttäjien palvelinjärjestelmään. Ylläpito on se Kapsin elin, joka parhaansa mukaan pitää huolen siitä, että Kapsin jäsenistö pystyy huoletta käyttämään Kapsin palveluita ilman turhia käyttökatkoja tai hidastumisia.

Rutiininomaista ylläpitotyötä tapahtuu päivittäin, ja tähän kuuluu kaikkea palvelupyyntöihin vastaamisesta omituisen muistikuorman selvittämiseen levypalvelimella. Tämä on sitä työtä, joka pitää palvelut ajossa ja Kapsin lipun korkealla. Mutta kuten pitkäaikaisimmat jäseneemme ovat ehkä huomanneet, niin Kapsihan kehittyy jatkuvasti. Uusia palvelimia hankitaan, uusia palveluita nostetaan pystyyn ja olemassa olevia palveluita hiotaan paremmiksi. Tehokkaaksi tavaksi suorittaa tätä työtä on kehittynyt konsepti nimeltään tunkkausviikonloppu.

Bugien metsästystä

Bugien metsästystä

Kapsin ylläpito koostuu maantieteellisesti hajautuneesta ryhmästä säätäjiä, joten ylläpidon yhteiset tapaamiset ovat aina hieman työläitä. Mutta kun ne onnistuvat, kuten nyt viikonloppuna, ovat lopputulokset huikeita. Jo alakoulussa opittiin miten saman pöydän ääressä ryhmätöitä tehdessä hommat edistyvät huikeaa vauhtia, ja sama pätee myös täällä. Viikonlopun aikana käytetään 48h tehokkaasti mitä erinäisimpien asioiden hoitamiseen,  tiedostopalvelimen debuggauksesta aina virtuaalialustojen päivittämiseen. Välillä otetaan rennommin, saunotaan ja speksataan mitä seuraavassa pyrähdyksessä tehtäisiin – olo on kuin pääsisi seuraamaan ohjelmistoalan startupin toimintaa lähietäisyydeltä.

Kaikenlaista on saatu [aikaan]. –Wraith

Säätäjät säätävät

Säätäjä + ES = Paremmat palvelut

Hommat jatkuvat pitkälle yöhön, ja viimeiset sammuttavat debuggerinsa vain hieman ennen auringonnousua. Aamulla kaverit ovat palanneet kannettaviensa ääreen jo ennen kuin kahvinkeitintäkään on saatu päälle. Mistä he löytävät energian tähän, voi vain kuvitella.

Mites kauan näiden tekemiseen olis menny normaaliin tapaan IRCin ylitse? Erm… pari vuotta? – Ylläpito

Ylläpito ei osoita kuluneen viikonlopun jälkeen minkäänlaisia väsymisen merkkejä. Liekö syynä ES vaiko onnistunut ruokahuolto – säätäjät haluaisivat vain jatkaa säätämistä. Nämä kaverit ovat yksi monista syistä siihen miksi Kapsi awesomeness on kehittynyt tähän malliin, eikä hidastumisen merkkejä ole näkyvissä.

Kapsi numeroina 2011

lauantaina 10. joulukuuta 2011

Aiemmin olen blogannut tästä samasta aiheesta ja yhdistyksen IRC-kanavalla esitettiin jo toiveita tämän blogauksen uusimiseksi. Tässäpä tulee tuoreempia numeroita.

Jäsenet

Yhdistyksellä on 3727 jäsentä ja jäsenmäärä edelleen kasvaa useammalla kymmenellä jäsenellä kuukaudessa.

Hallinto

Hallitus käsitteli 446, helpdesk 327 ja ylläpito 2291 yhteydenottoa jäseniltä 12kk aikana marraskuusta 2010, marraskuuhun 2011.

Tekniikka

Yhdistyksellä on 13 palvelinta ja 4 levyhyllyä kahdessa konesalissa ja yhdistyksen toimitilalla.

Palvelimilla on yhteensä 90 prosessoriydintä ja 446 gigatavua keskusmuistia. Eniten ytimiä on Siiassa jossa niitä on 16, tosin vastikään hankittu Lakka 12 ytimellään saattaa olla laskentateholtaan hieman nopeampi. Eniten muistia on Lakassa, jossa sitä on 144 gigatavua.

Raakalevytilaa on noin 223 teratavua. Erilaisten varmistusten jälkeen käytettävissä oleva levytila on toki reilusti pienempi. Jotain viitettä voi saada siitä palvelimet -sivulla. Käyttäjien dataa on Lakan kotihakemistoissa 8 teratavua, Siilossa 23 teratavua ja Hillan kotihakemistoissa 0,3 teratavua.

Käyttäjien ajamana on yhtäaikaisesti noin 14000 prosessia. Joista noin 8000 on Lakalla ja 6000 Hillalla.

Tietokantoja on käytössä 3123 kappaletta. Keskimäärin tietokantoihin tulee noin 940 kyselyä sekunnissa.

Sähköpostipalvelimen läpi kulkee noin 26 000 viestiä päivässä.

Nimipalvelimilta palvellaan 1543 DNS-zonea.

Paskanmarja on uudelleenkäynnistetty 31.5.2011 jälkeen 44 kertaa. Pisimmillään paskanmarjaa on jaksettu pitää päällä 68 päivää kerralla.

IRCnetiin on 2545 yhtäaikaista yhteyttä molemmilta shellipalvelimilta. 1465 Lakalta ja 1080 Hillalta. Tämä tarkoittaa, että noin 3,8% koko IRCnetin käyttäjistä irkkaa Kapsin palveluita käyttäen.

Kapsin WWW-palvelimilla on noin 6200 palveltavaa sivustoa. Näille sivustoille tulee yhteensä noin 15,1 miljoonaa osumaa päivässä.

Kokonaisliikennemäärä kaikilta palvelimilta molemmista konesaleista Internetiin on noin 1,6 teratavua vuorokaudessa.

Lahjoitetaan NetApp-levypalvelin yhdistykselle

tiistaina 29. marraskuuta 2011

Kapsin muutaman vuoden hyvin palvellut levypalvelin lahjoitetaan pois uuden ratkaisun myötä. Palvelin lahjoitetaan yhdistyksen kokouksen päätöksen mukaisesti voittoa tavoittelemattomille yhdistyksille. Hallitus valitsee koneen saajan.

Tarjolla oleva levypalvelin:

NetApp FAS2020, hankittu joulukuussa 2008, levyhylly hankittu maaliskuussa 2010.

  • 2U kokoinen laite
  • 12 sisäistä 1TB SATA-kovalevyä
  • 3U hyllyssä 14 1TB SATA-kovalevyä
  • Kaksi virtalähdettä
  • Hyllyssä myös kaksi virtalähdettä

Levypalvelin lahjoitetaan ilman minkäänlaista takuuta tai palautusoikeutta. Lähtökohtaisesti kuitenkin tiedostopalvelin on ollut vasta tuotannossa ja kaikki rauta on toimivaa.

Mikäli yhdistyksenne haluaa hakea konetta lahjoitettavaksi juuri teidän yhdistykselle, niin sen hakeminen tapahtuu sähköpostitse Kapsin hallitukselle. Hakemuksessa tulee käydä ilmi lyhyesti, mikä yhdistys on kyseessä, mihin käyttöön kone tulisi ja minkälaiset valmiudet kyseistä konetta yhdistyksellä on ylläpitää. Erikoisesti kiinnitämme huomiota siihen, että kone tulisi mielekääseen käyttöön ja yhdistyksellä on oikeasti kykyä myös käyttää ko. konetta. Ottaen huomioon, miten harvalla yhdistyksellä todennäköisesti on oikeasti puitteet tämän koneen ajamiseen, otamme myös poikkeuksellisesti huomioon ne yhdistykset jotka ovat jo hakeneet ja/tai vastaanottaneet aiempia HP:n koneita. Tätä laitetta varten kuitenkin haluamme erillisen hakemuksen.

Hakemukset tulee olla perillä viimeistään 31.12.2011 klo 23:59. Puuttellisia tai määräajan jälkeen tulleita hakemuksia ei huomioida. Kone luovutetaan valitulle yhdistykselle tammi-helmikuussa 2012 nykyisen suunnitelman mukaan, kuitenkin viimeistään ensimmäisen vuosineljänneksen 2012 aikana.

Lahjoitetaan käytettyjä HP:n palvelimia yhdistyksille

perjantaina 18. marraskuuta 2011

Kapsi on taas kovasti uusimassa rautaa ja käyttämättömäksi jää pari vanhaa HP:n palvelinta. Nämä palvelimet lahjoitetaan yhdistyksen kokouksen päätöksen mukaisesti voittoa tavoittelemattomille yhdistyksille. Hallitus valitsee koneiden saajat.

Tarjolla on:

HP DL380 G5, hankittu maaliskuussa 2008

  • Yksi 1,87GHz 4-ytiminen Intel Xeon(E5320) -prosessori
  • 11GB DDR ECC (4x 2GB, 2x 1GB ja 2x 512MB kammat) -muistia
  • 2x 146GB 2.5″ 10krpm SAS -kovalevyjä
  • Kaksi virtalähdettä

HP DL320s G1, hankittu marraskuussa 2007

  • Yksi 2,4GHz 2-ytiminen Intel Xeon (3060) -prosessori
  • 6GB DDR2 EEC (2x 2GB ja 2x 1GB muistikammat) -muistia
  • 6x 750GB ja 6x 1TB 3.5″ SATA -kovalevyjä
  • Kaksi virtalähdettä

Molemmat koneet lahjoitetaan ilman minkäänlaista takuuta tai palautusoikeutta. Lähtökohtaisesti kuitenkin koneet ovat tuotannossa olleita koneita ja kaikki rauta on toimivaa.

Mikäli yhdistyksenne haluaa hakea konetta lahjoitettavaksi juuri teidän yhdistykselle, niin sen hakeminen tapahtuu sähköpostitse Kapsin hallitukselle. Hakemuksessa tulee käydä ilmi lyhyesti mikä yhdistys on kyseessä, mihin käyttöön kone tulisi ja minkälaiset valmiudet kyseistä konetta yhdistyksellä on ylläpitää. Erikoisesti kiinnitämme huomiota siihen, että kone tulisi mielekääseen käyttöön ja yhdistyksellä on oikeasti kykyä myös käyttää ko. konetta.

Hakemukset tulee olla perillä viimeistään 15.12.2011 klo 23:59. Puuttellisia tai määräajan jälkeen tulleita hakemuksia ei huomioida.

Linux-ytimen ongelmat Kapsin palvelimilla

maanantaina 25. huhtikuuta 2011

Kuva: ”tarazan” CC BY-NC-SA.

Valitettavasti kaikille yhdistyksen palvelimilta irkkaaville jäsenille on tullut varmasti selväksi, että Kapsin palvelinten Linux-ydinten kanssa on vakavia ongelmia. Avaan tässä hieman tiedotteita yksityiskohtaisemmin mitä ongelmat koskevat, mitä asialle on tehty ja tullaan tekemään.

Verkkokortit

Ilmeisesti lähinnä kuormituksen kasvettua Lakka-palvelimella Siilo-levytilan käyttöönoton jälkeen verkkokortit alkoivat oireilla. Käytännössä palvelimen kahdesta verkkokortista toinen (eth0 tai eth1) meni sellaiseen tilaan että liikennettä ei enää kulkenut. Käytännössä kun sisäverkon kortti tipahti, yhteys NFS-verkkolevypalvelimeen meni poikki ja kaikki verkkolevyä käyttävät ohjelmat (kaikki käyttäjien ohjelmat) menivät jumiin. Jumitus jouduttiin purkamaan uudelleenkäynnistyksellä. Vastaava ongelma on ilmennyt aiemminkin lakalla ja xobilla pidemmän aikaa sitten, mutta ei aiemmin ole toistunut. Oletettavasti uudentyyppinen liikenne sattui olemaan sellaista, joka saa vian esiintymään useammin.

Ongelma liittyi Broadcomin verkkokortteihin tietyllä firmware/ajuriversiolla. Valitettavasti uudempaa ajuria ei saatu käytössä olevan Linux-ytimen 2.6.32.y-sarjan versioon. Ongelma ratkaistiin vaihtamalla tärkeimmille koneille verkkokortit Intelin valmistamiin kortteihin.

NFS ja lukkiutumiset

Aluksi osa jumituksista ja kaatumisista kategorisoitiin Linuxin NFS-toteutuksen huonoudeksi. Todellisen vian selvittäminen on hankalaa ja vaikka osa virheistä onkin antanut ymmärtää, että NFS voisi olla syyllinen, vika on voinut olla osassa tapauksista myös verkkokortin ajurissa.

Nyt ongelmana Lakalla on ollut jumittumisia, joissa kaikki prosessoriytimet ovat odottamassa lukon vapautumista eikä niistä yksikään tee mitään hyödyllistä. Tällainen tilanne johtuu ohjelmointivirheestä ytimessä ja siitä toipumiseksi kone on käynnistettävä uudelleen. Tuotantokoneella viasta ei olla onnistuttu kaivamaan riittävän paljon tietoja, jotta vian aiheuttaja saataisiin jäljitettyä. Vastaavaa ongelmaa ei kovasta yrityksestä huolimatta ole saatu toistettua testaukseen tarkoitetulla Paskanmarja-palvelimella. Ilmeisesti vian toistamiseen tarvittavaa tavallista käyttöä matkivaa testikuormaa ei ole onnistuttu toistamaan riittävän hyvin testiympäristössä. Koska vikaa ei saada toistettua hallitusti, sen löytäminen on äärimmäisen vaikeaa ja korjaaminen mahdotonta. Tietysti on mahdollista, että joku Linux-kehittäjistä törmää samaan ongelmaan ja korjaa sen tai kirjoittaa vian aiheuttavan osan koodia uudestaan muun kehityksen yhteydessä.

Hilla on kaatunut nyt useita kertoja niin, että kaatumisesta ei ole jäänyt mitään jälkiä. Vian etsiminen ilman mitään tietoja kaatumisesta on vielä edellistäkin vikatyyppiä vaikeampaa. Koska kaatumisia on tapahtunut usein, otettiin käyttöön Linux 2.6.38-sarjan ydin, jossa ainakin osa Lakalla saaduissa virheilmoituksissa esiintyneistä osista on kirjoitettu uudelleen. Ydintä ei ole ehditty vielä kovin kattavasti testata (joskin yksi vakava bugi siitä jo testauksessa 12 tunnin rasituksen jälkeen löydettiin ja korjattiin). Se otettiin silti käyttöön ajatuksella “eihän se ainakaan huonompi voi olla kuin edellinen”. Aiempi ydin kun ei tunnu pysyvän enää vuorokautta pidempään kunnossa. Ainut järkevä arvaus tuntuu olevan että jokin käyttäjien aiheuttamassa kuormassa on muuttunut, mikä on johtanut vian toistumiseen. Tai tietysti voi olla että vika tulee muuten vain esiin helpommin Debian Squeezen uudemmilla ohjelmilla.

Yksittäiset ongelmat

Vaikeasti toistettavien vikojen toistamisessa ja paikantamisessa yksi huomattava lisäongelma on, että yhdistyksen ytimet eivät ole ns. vanilla-ytimiä eli suoraan kernel.orgin puusta. Yhdistys käyttää esimerkiksi grsecurity-patchiä, joka mm. sisältää suojakeinoja erilaisia hyökkäyksiä vastaan. Toinen käytössä oleva isompi muutos on BFS-skeduleri. Ennen BFS:n käyttöönottoa paljon CPU-aikaa vievät prosessit haittasivat muun järjestelmän vastenopeutta (interaktiivisuutta). BFS:llä CPU-käyttö ei ole enää ollut ongelma.

Ongelma on, että jos törmäämme johonkin epämääräiseen ongelmaan ja epäilemme että se voisi olla jossain kolmessa mainitusta komponentissa (kernel.org Linux, grsecurity, BFS), niin siitä raporttia lähettäessä ensimmäisenä ehdotetaan kokeilemaan toistuuko puhtaalla kernel.org-ytimellä. Jos ongelma on alunperinkin sellainen ettei sitä saada testiympäristössä toistettua, päädytään melko toivottomaan tilanteeseen. Tuotantoympäristössä ei voi hirveästi myöskään kokeilla kovin suuria muutoksia, varsinkaan jos niiden toimivuudesta ei ole mitään takeita.

Yhteenveto

Yhteenvetona ongelman vakavuus siis on todellakin niin yhdistyksen ylläpidon kuin hallituksen tiedossa ja tilanteen ratkaisu on ensiarvoisen tärkeää ja sen eteen tehdään kovasti töitä. Ylläpitäjät ovat käyttäneet useiden työpäivien verran omaa aikaansa uuden Linux-ytimen testaamiseen, ongelmien selvittämiseen ja korjaamiseen. Siis vapaaehtoistyötä. Jäseniltä tulevat kyselyt ”milloin ongelma korjataan” ovat siis sinänsä oikeutettuja, mutta kun tilanne tuntuu toivottomalta, kysymykset tuntuvat ikävältä. Kysymysten tai jopa haukkujen toistaminen ei ole kehittävää vaan on pois siltä työpanokselta, jonka vapaaehtoiset (ja pätevät) ylläpitäjämme jaksavat käyttää oikeiden ongelmien ratkomiseen.

Me ylläpidossa ja hallinnossa olevat olemme myös käyttäjiä ja muiden käyttäjien tavoin haluamme erittäin paljon, että kaikki palvelut toimisivat vakaasti ja ongelmitta. Ylläpitäjien parhaasta ja oikeasti kovasta yrityksestä huolimatta ongelmilta ei ole nyt vältytty. Toivotaan, että tehdyistä korjauksista olisi nyt apua Hillalla tai ainakin ‘lopullinen’ ratkaisu ydinongelmiin löydettäisiin pian.

Kapsi numeroina

lauantaina 3. huhtikuuta 2010

Toimihenkilöiden IRC-kanavalla tuli puheeksi aihe Kapsi numeroina ja asiaa pohtiessa myöskin kävi mielessä, että tämänhän voisi hyvin jakaa tännekkin julkiseksi kaikille. Osa luvuista tietty muuttuu suhteellisen usein, mutta nämä tätä kirjoittaessa:

Jäsenet

  • Yhdistyksellä on 2656 jäsentä (kuvassa eri lukumäärä, koska se on generoitu alkuvuodesta). Uusia jäsenhakemuksia tulee jatkuvasti, yleensä useampi päivässä.

Yhdistyksen jäsenmäärä kaupungittain vuoden 2010 alussa.

Hallinto

  • Yhdistyksen historian aikana on pidetty 156 hallituksen kokousta. Hallituksen kokouksia on nykyään noin kerran kahdessa viikossa.
  • Yhdistyksen kokouksia on järjestetty 12. Alkuaikoina oli useampi ylimääräinen yhdistyksen kokous, nykyään yhdistyksen kokouksia on kahdesti vuodessa, vuosi- ja vaalikokous.
  • Hallitus käsitteli 387, helpdesk 335 ja ylläpito 1631 yhteydenottoa jäseniltä vuonna 2009.

Tekniikka

  • Yhdistyksellä on yhteensä 12 palvelinta kahdessa eri konesalissa.
  • Palvelimilla on yhteensä 47 prosessoriydintä ja 116 gigatavua keskusmuistia. Useammalla koneella on 8 prosessoriydintä, näistä nopein on kuitenkin Puolukka, joka edustaa uusinta prosessoriteknologiaa. Eniten keskusmuistia on Xobissa ja Puolukassa, 24 gigatavua.
  • Raakakovalevytilaa on noin 44 teratavua, tästä varsinaisesti käytettävää tilaa on merkittävästi pienempi osa kun kaikki levytila on varmistettua eritasoisilla RAIDeilla.
  • Käyttäjien ajamana on yhtäaikaa noin 11000 prosessia Lakalla ja Xobilla yhteensä.
  • IRCNetiin on yhdistyksen palvelimilta yhteensä 1963 yhteyttä, 1194 Lakalta ja 769 Xobilta. Toisin sanoen noin 2,5 % koko IRCNetin käyttäjistä irkkaa Kapsin palvelimilta.
  • Yhdistyksen WWW-palvelimilla on yhteensä 3274 sivustoa. WWW-sivuille tulee yhteensä noin 9 miljoona osumaa päivässä.
  • Kokonaisliikennemäärä yhdistyksen palvelimilta Internetiin on noin 700 gigatavua vuorokaudessa.

Verkkosivujen uudistus

perjantaina 19. maaliskuuta 2010

Yhdistyksen verkkosivuja on uudistettu edellisten kuukausien aikana. Tänään etusivu päivitettiin modernimmaksi, ja toivottavasti myös paremmaksi. Tavoitteena on ollut tuoda Kapsin ideaa paremmin esille sekä tehdä etusivusta hyödyllisempi tuomalla heti ilmi harrastuslähtöisyys, ja lisäämällä suoraan etusivulle tukipalveluiden yhteystiedot ja linkit mm. phpmyadminiin ja webmailiin.

Jo tammikuussa päivitettiin sivun värimaailmaa kirkkaammaksi. Kontrastia sisältöalueen ja taustan välillä lisättiin, ja logoksi otettiin alkuperäinen, räikeämpi versio. Nyt sisältöalueen tausta on täysin valkoinen, mikä parantaa tekstin erottuvuutta. Toisaalta valkoinen tausta voi käydä silmiin, mutta omalla css-tiedostolla senkin saa halutessaan muutettua 🙂 Värien valinta on ylipäätänsä vaikeaa, kun jokainen näyttö näyttää ne eri tavalla.

Sivuille on lisätty hakutoiminto, joka hakee myös täältä blogista ja forumilta. Tämä helpottaa tiedon löytymistä, kun eri sivuja on kertynyt (pöytäkirjat mukaanlukien) jo lähes 300.

Lisäksi on tehty erinäisiä pieniä parannuksia. Uutta tietoa ovat yhdistysesittely ja toimintaan osallistuminen, sekä monta pienempää päivitystä olemassaoleville sivuille. Ohjeiden jaottelua on uudistettu siten, että pääkategorioiden lisäksi on rinnakkaisia listoja, joista näkee nopeasti esimerkiksi kaikki PHP:hen liittyvät ohjeet. RSS-syötteisiin on lisätty <link>-viittaus, jolloin linkki näkyy osoiterivillä. Otsikoissa on nyt sivun nimi ensimmäisenä, jolloin se näkyy myös välilehden nimessä otsikon typistyessä. Jäsenten kotisivuja etsiviä varten 404-virhesivulla neuvotaan myös koti.kapsi.fi:hin, joka on helppo sekoittaa www.kapsi.fi:hin.

Kaaviot käsitellään nyt rsvg:llä, joka piirtää tekstin terävämpänä.

Vielä pari päivitystä odottaa TODO-listallani. Tiedotteet pitäisi siirtää erillisille sivuille, jolloin niihin linkittäminen olisi kätevämpää. Nykyään ne ovat kaikki yhdellä sivulla #id-linkin takana. Lisäksi on tarkoitus luoda luokittelu tiedotteille, eli erotella yhdistysasiat, tekniset tiedotteet ja häiriötiedotteet toisistaan. Seuraavana vuorossa on kuitenkin muutaman uuden ohjeen lisääminen: crontabin käyttö, ohjelmien asennuspolitiikka ja Maildirin käyttöönotto. Näistä viimeisen on Ari-Martti jo kirjoittanutkin valmiiksi.

Karpalon tyhjennysyritys

torstaina 21. tammikuuta 2010

Halusinpa vain jakaa muutamia tunnelmia vanhan (historiallisesti erittäin ongelmalliseksi osoittautuneen) karpalo.kapsi.fi-koneen levyjen tyhjäysyrityksestä. Liittyihän kyseeseen koneeseen yhdistyksen historian pisin palvelukatko aikoinaan. Karpalo on tullut ylläpidon ja toimihenkilöiden keskuudessa surullisenkuuluisaksi toimimattomuudestaan. Sen vuoksi on saatu useita harmaita hiuksia ja tuhlattu aikaa ja vaivaa. Ja nyt hullut säätäjät haluavat laittaa koneen päälle?

Ensin RAID-ohjaimen asetuksista irrotettiin levyt RAIDista ja asetettiin näkymään yksittäisinä levyinä (single drive) käyttöjärjestelmälle.

Toiveet tyhjennyksen onnistumisesta olivat korkealla – olihan jo aiemmin RAID-ohjaimen asetuksia säätäessä yksi levy silloin tällöin päästänyt naksuvia ääniä ja sen nimenä näkynyt merkkisotkua.

DBAN lähtikin iloisesti käyntiin kuvitellun musiikin soidessa ja…

… jo hetken ajon jälkeen DBANin siniselle ruudulle ilmestyi muutama pieni virheilmoitus:

Tai tarkemminkin sininen ruutu muuttui mustaksi, sillä virheilmoitukset peittivät sen kokonaan.

Päätän lähetyksen tältä iltaa tähän.

Xobin palvelinsalin muutto

tiistaina 29. joulukuuta 2009

Vanha Eunetin laitesali, jossa xobina tunnettu lillukka-kone oli, aiotaan ajaa alas. Tämän vuoksi ilmeni tarve löytää uusi toissijainen laitesali Nebulan tilan lisäksi. Saimme tiedon laitesalin sulkemisesta 17.11.2009. Viimeiseksi irtisanomispäiväksi ilmoitettiin 31.12.2009, mikäli korvaavia palveluita ei oteta Elisalta. Tämän vuoksi jouduimme liikkumaan nopealla aikataululla muuton suhteen. Asiaa ei helpota sekään, että IP-uudelleennumerointi on iso operaatio ja IRC-yhteyksien siirtäminen tai saaminen ei ole yksinkertaista tai nopeaa.

Yhdistys pyrkii tarjoamaan mahdollisimman hyvän luotettavuuden jäsenpalveluilleen. Tämän vuoksi laitteita on sijoitettu kahteen eri saliin ja eri operaattorien yhteyksien taakse. Tarjouksia pyydettiin noin kymmeneltä eri operaattorilta. Suurin osa tarjouksista ei soveltunut tarkoitukseen, vaan tarjotut palvelut olivat joko liian kalliita sisältöön nähden tai eivät vastanneet tarjouspyyntöä.

Tarjouksista parhaiten sopivalta vaikutti Tenue, joka on varsin uusi tarjoaja. Kiinnostavana seikkana mainittakoon muun muassa, että Tenuella on yhteydet kahdelta ylemmältä palveluntarjoajalta, Elisalta ja RETN:ltä. Tämän avulla heidän on mahdollista tarjota hieman erilaisia palveluita.

Sähköposti- ja puhelinkeskustelujen pohjalta päädyimme käymään paikan päällä tutustumassa saliin ja neuvottelemaan yhdistykselle parhaiten sopiva palvelupaketti. Kokoonpanoksi iskuryhmään muodostui Joonas Kortesalmi, Ilkka Mattila ja Atte Hinkka. Ilkan kanssa lensimme Oulusta aamu seitsemän lennolla Helsinkiin. Helsingissä meitä oli vastassa Matti Averio (Maza), joka on mm. #kapsi.fi-kanavan aktiiveja.

Kävimme poimimassa juuri heränneen Aten kyytiin kotoaan ja suuntasimme kohti Helsingin konesalipeltoja (keksimäni nimi alueelle, jossa ilmeisesti sijaitsee pienehköllä alueella useita eri tarjoajien konesaleja). Etsimme alueelta soveltuvan ruokailupaikan ja kävimme nauttimassa paikallisen kulttuurielämyksen, 5 euron pizzan. Oululaisena täytyy myöntää, että kilpailu on tehnyt hyvää kun Helsingissäkin voi viimein syödä pizzaa järkevään hintaan ja täytevalintaakaan ei ole rajoitettu listan vakiopizzoihin.

Maha täynnä jatkoimme kello yhdeksitoista Tenuen tiloihin, jossa kävimme katselemassa salia itse ja kuvailimme yhdistyksen nykyiset ratkaisut ja rakensimme niitä vastaavan setin. Sitten kävimme läpi vaihtoehtoja, joilla palvelutasoa voisi nostaa entisestä. Pyysimme kahdesta iskuryhmän ja toimihenkilöiden taustajoukkon mielestä parhaiten soveltuvasta paketista vielä päivitetyn tarjouksen hallitukselle ja jatkoimme eteenpäin.

Kävimme viettämässä iltapäivää Helsingin yliopistolla ja tutustuimme muutamiin paikallisiin nähtävyyksiin. Jätimme Aten yliopistolle ja suuntasimme kohti lentoasemaa, jotta ehtisimme ajoissa viideltä lähtevään paluulentoon Ouluun. Lentoasemalta sovimme lyhyestä purkutilaisuudesta, jossa kävimme hallituksen ja muutaman ylläpidon jäsenen kanssa päivän tuloksia.

Atte, Ilkka ja Joonas (Kuva: Matti Averio)

Oulussa meitä oli vastassa Jesse Pussinen. Kävimme matkan varrella Ilkan, Jessen ja mukaan liittyneen Olli Vainion kanssa syömässä ja jatkoimme kohti kokousta. Kertasimme taas päivän tulokset, vaikka siihen mennessä suurin osa olikin jo käyty läpi myös irkin toimihenkilökanavalla. Hallitus pääsi helposti yksimielisyyteen siitä, että jonkin verran kalliimpi, mutta paremman toimintavarmuuden tarjoava ratkaisu on parempi ja se päätettiin tilata.

Suuret kiitokset Matti Averiolle päivän kulkemisista Helsingin päässä ja Jesse Pussiselle Oulussa. Päivän tuloksena saatiin luotua yhteyksiä Tenuen suuntaan ja löydettiin erittäin hyvältä vaikuttava ratkaisu Xobin sijoituspaikalle. Tietysti todellinen varmuus nähdään vasta kun kone saadaan saliin, mutta ainakin tällä hetkellä odotukset uudelle salille ovat kovat.

Joulukiireiden ja Sikteeri-rupeaman vuoksi tämän postauksen julkaisu siirtyi vasta käyttöönoton jälkeen. Toivottavasti kuitenkin asia vielä kiinnostaa.

Säätöreissun anatomia

lauantaina 22. elokuuta 2009

Taustaa

Jotkut ovat jo saattaneet huomata, että tässä kuluneen viikon aikana on ollut härdelli tietokantojen ympärillä. Hommahan meni jokseenkin niin, että havaitsimme silloisen Puolukan, tietokantapalvelimen, olevan kovinkin kuormittunut. Varsin nopeasti syntyi idea uuden tietokantakoneen hankkimisesta, sillä olihan vanha puolukka jo melkein neljä vuotta palvellut, mikä onkin käytännössä maksimaalinen käyttöikä palvelimille Kapsin käytössä. Edellisen keskiviikkona kyselimme toimittajilta hieman raudan perään ja torstaisessa hallituksen kokouksessa päätimme tilata palvelimen. Palvelin saapuikin jo seuraavan viikon maanantaina Nebulalle, jossa Kapsin laitteisto sijaitsee. Tämän viikon keskiviikkona sitten lopulta se käytiin säätämässä räkkiin ja tässä siltä reissulta hieman laajempi kuvaus.

Keskiviikko 19.8.

Heräsin hieman ennen neljää, hyvissä ajoin ennen lentokentälle lähtöä. Lentoni lähtisi kuudelta Helsinkiä kohti. Selvisin kentälle myöskin hyvissä ajoin ja onneksi olin speksannut tavarat pelkiksi käsimatkatavaroiksi. Lähtöselvityksessä oli karsea jono.

19.8.2009_säätöreissu03

Lento Helsinkiin lähti ja saapui ajoissa, mikä lienee aika normaali suorite nykyään.

19.8.2009_EFOU-EFHK_OH-LXK11

Helsingin päässä sainkin oppia kantapään kautta, että pidetään aina käteistä matkassa. Kävelin terminaalista tyytyväisenä odottelevaan linjan 615 bussiin ajatellen, että tämähän kävikin helposti. Lykkäsin kuskille pankkikortin kouraan ja vastauksena tuli ettei kelpaa. Fail. Oulussa nimittäin kaikissa busseissa käy kortit. Onneksi ei ollut kiire päällä, sovittu tapaaminen Nebulalla oli vasta kello 11, lopulta päädyin menemään taksilla tätini luo, josta järjestyikin näppärästi liikkuminen avuliaan jäsenen autolla lopun päivää.

Nebulalle saapuessa ensimmäisenä piti rueta ihmettelemään varsin merkittävää laatikkoläjää, jossa oli kone ja kaikki tilatut lisäpalikat. HP toimittaa palvelimet yleensä runkona, johon joutuu lisäämään mahdollisen toisen prosessorin, muistia ja levyt. Meillä oli kuitenkin runkona ns. performance server, jossa oli toinen prosessori ja virtalähde jo valmiina. Tarvitsi siis vain lisätä muistit ja levyt. Palvelimen kasauksessa tuli hieman aluksi ihmettelyitä joidenkin osien mekaniikan kanssa, kun tämä oli yhdistyksen ensimmäinen 6. sukupolven DL380, jossa on hieman erilainen konfiguraatio osilla palvelimen sisällä. Kasaus meni kuitenkin ilman suurempia murheita.

puolukka puolukka2

puolukka4 puolukka5

Seuraavaksi oli aika siirtyä konesaliin (josta ei ole, eikä tule kuvia, koska siellä ei saa kuvata) ihmettelemään. Etäsääsätäjät Oulusta olivat jo sammuttaneetkin vanhan puolukan päästessämme räkkikaapille ja meidän tarvitsi vain poistaa vanha kone siitä. Kone lähtikin varsin helposti pois, mutta koneen räkkikiskot olivatkin sitten hieman isompi härdelli. Puolukka sijaitsee räkissä keskellä, muiden palvelimien ympäröivänä ja 2U palvelimen tekemä rako ei ole kovin iso tila missä tehdä töitä, varsinkaan kun ympärillä on tuotantopalvelimia, joiden toimintaa ei saa häiritä. Lopulta vietimme konesalissa reilun tunnin säätäen uuden koneen siihen tilaan, että etäsäätäjät Oulusta pääsivät siihen käsiksi.

Vanha Puolukka oli päätetty kuljettaa Ouluun ylläpidon käsittelyyn, ennen palvelimen poistamista yhdistyksestä. Suunnittelimme jo ennen säätöreissua, että kone tulee nätisti uuden koneen laatikossa lentokoneen ruumassa ja kovalevyt käsimatkatavaroissa. Suunnitelma vaikutti vielä pakkaamisen jälkeenkin ihan toimivalle ja olin varsin luottavaisin mielin konseptista. Kokeilin nostaa Puolukan laatikkoa ja totesin sen varsin raskaaksi. Lentokoneissa on Finnairilla absoluuttinen 32kg raja ruumatavaran kanssa ja epäilin tämän rajan olevan ainakin lähellä. Nebulan alakerrassa sijaitsee Postin toimisto ja keksinkin, että heidän vaa’allahan on hyvä mitata laatikon todellinen paino. Rahaasimme toisen säätäjän kanssa laatikon alakertaan Postiin, jossa avulias nuori virkailija antoi meidän käyttää vaakaa ja totesimme laatikon painoksi 27,2kg. Ei siis mitään hätää. Viereinen Postin virkailija tosin katsoi touhua hieman epäluuloisen näköisenä, kun nostimme jättimäistä laatikkoa pienelle vaa’alle.

puolukka6

Poistuimme Nebulalta lentokentälle vanha Puolukka takakontissa, ideana tehdä lähtöselvitys jo ajoissa, vaikka kone lähtisikin vasta kello 2020. Pääsemme lentokentälle ja ensimmäinen toteamus on, että lähtöselvitykseen on 100m jonot, ei hyvä. Lähtöselvitysautomaatit tosin tarjosivat onneksi oikotien ja varsin lyhyen odottelun jälkeen pääsimme Finnairin baggage-drop tiskille Puolukan laatikon kanssa. Virkailija oli hieman epäuskoisen näköinen nähdessään massiivisen lootan, mutta totesi kuitenkin vain tyynesti, että ”ompa vähän ylipainoa”. Kotimaassahan sallittu maksimi on 20kg, jonka tiesinkin etukäteen. Laskimme tosin, että vaikka tuliskin ylipainomaksuja niin on halvempaa tehdä kuljetus näin kuin kuriirifirmalla tai vastaavasti. Nopean selvittelyn jälkeen Puolukka olikin matkalla Helsinki-Vantaan terminaalin uumeniin prosessoitavaksi oikealle lennolle.

Tuloksena oli varsin tehokkaasti suoritettu säätöpäivä, jossa ei varsinaisen säädön kannalta ollut isompia ongelmia ja aikaakin jäi hyvin ennen lennon lähtöä. Ehdinkin tavata lentokentällä pari kaveria mainiosti.

Turvatarkastuksessa tuli hieman hauska tilanne laukussa olevien kovalevyjen takia. Ilmeisesti 4 kovalevyä paketoituna kuplamuoviin näytää hyvin jännittävälle läpivalaisussa. 🙂 Tuloksena oli 2 läpivalaisukertaa laukussa ja 2 ulkona laukusta.

Lentokin lähti ajoissa, mutta sitten iskikin päivän isoin tappio. Nimittäin eipä ensimmäisellä yrityksellä Ouluun päästy. Vähän ennen Oulua kapteeni kertoi, että perämiehen tuulilasissa on säröjä(ks. kuva) ja huollon vuoksi menemme takaisin Helsinkiin. Just näin, kivaa. Lopulta Helsingissä oli organisoiduttu varsin hyvin tilanteeseen ja alle tunnin maassa olemisen jälkeen olimme toisella koneella matkalla Ouluun. Lopullinen myöhästyminen noin 3 tuntia.

19.8.2009_EFHK-EFHK_OH-LXK02 19.8.2009_EFHK_OH-LXK03

Sitten jännäsin kovasti, että tuleeko Puolukan laatikko ehjänä Ouluun. Vaikka olenkin paljon reissannut, en ole koskaan laittanut vastaavalla konseptilla ruumatavarana mitään. Lyhyen odottelun jälkeen Puolukka tulikin ja totesin laatikon täysin ehjäksi. Erittäin hyvä, Finnair. Laatikon koko oli myös aika sopiva, sillä se juuri ja juuri mahtui takakonttiin Corollassa, jolla oli tarkoitus matkata kentältä kotia. Olin jo varautunut purkamaan palvelimen laatikosta kentällä sen perustella, miten hurjasti laatikko vei tilaa jo farmarimallisessa S4:ssä.

puolukkasorollassa

Vaikka takana oli erittäin raskas päivä, niin fiilis oli kuitenkin mainio. Monta kokemusta rikkaampana ja asiat hoidossa. Etäsäätäjätkin olivat saaneet jo konetta ajoon pikkuhiljaa. Näin sen homman pitää toimia.

Lopuksi

Kiitokset Matti Averiolle dokumentoinnista, säätöavusta ja transportaatiojärjestelyistä, niistä oli todella iso apu tällä reissulla.

Uusi Puolukka otettin lopulta ajoon torstaina ja perjantain välisenä yönä, vain reilu vuorokausi asennuksen jälkeen. Lopulta koko prosessi hankintapäätöksestä tuotantoon kesti vain viikon. Sanoisin, että Kapsi todellakin toimii.

Virallista tiedotetta odotellessa myöskin tämä tiedoksi jäsenille. Vanha Puolukka aiotaan luovuttaa tyhjäyksen jälkeen jollekkin Kapsin kannalta mahdollisimman tarkoituksenmukaiselle yhdistykselle. Jos on moisia yhdistyksiä mielessä, niin kannattaa olla yhteydessä hallitukseen.