Arkisto: joulukuu 2011

Kapsilta poistettujen HP-palvelinten lahjoitus

tiistaina 27. joulukuuta 2011

Tänää maanantain puolella pidetyssä hallituksen kokouksessa päätettiin Kapsin käytöstä poistettujen HP:n palvelinkoneiden kohtalo. Hakemukset on nyt käsitelty ja lahjoituspäätökset tehty.

Valinnassa painotettiin toiminnan laajuutta, jatkuvuutta sekä kykyä hyödyntää lahjoitettavaa kalustoa. Valinnassa huomioitiin erityisesti sellaiset tarpeet, joita ei ole mahdollista toteuttaa Kapsin tarjoamin jäsenpalveluin tai hakijayhdistyksen omin voimin ilman lahjoitettavaa palvelinta.

Hakemuksia tuli yhteensä 21 kpl, joista 18 päätyi käsiteltäväksi. Kolme hakemusta hylättiin, koska lahjoituksen hakija ei edustanut rekisteröityä yhdistystä. Periaatepäätös poistettujen palvelimien lahjoituksesta on tehty yhdistyksen vaalikokouksessa vuonna 2009.

Suurin osa hakemuksista oli todella hyvin kirjoitettu ja niistä selvisi toiminnan tarkoitus sekä konkreettiset suunnitelmat lahjoitettavan palvelimen varalle. Tämänkertaisista hakemuksista kuitenkin kävi erittäin selväksi, että monet yhdistykset kaipaavat pohjimmiltaan tietynlaisia palveluita, jotka olisivat hyvinkin toteutettavissa Kapsin resurssein.

Pyrimme jatkossa aktiivisesti kehittämään palveluita myös yhdistyksien tarpeisiin. Tavoitteemme on, että yhdistykset voivat keskittyä paremmin tarkoituksensa toteuttamiseen Kapsin keskittyessä toteuttamaan puolestaan omaa tarkoitustaan tuottamalla jäsenilleen Internet-palveluita. Näkisin, että tähän mennessä olemme onnistuneet tässä tehtävässä loistavasti ainoastaan yksityisjäsenten osalta. Yhdistysten yleiset tarpeet ovat kuitenkin usein erilaiset emmekä ole Internet-painotteisena yhdistyksenä osanneet vastata niihin riittävän hyvin.

Lahjoituksen saajat

Lahjoitukset päätyivät hallituksen päätöksellä seuraavanlaisiin kohteisiin.

HP DL380 G5, entinen lakka.kapsi.fi:nä palvellut rauta lahjoitettiin Tietokonekerho LanTrek ry:lle. LanTrek järjestää Tampereella vuosittain huomattavan isoa verkkopelitapahtumaa sekä toimii aktiivisesti verkkopeliscenen hyväksi yhteistyössä muiden järjestäjien kanssa. Hakijoista kaksi oli niin tasavertaisia, että emme kyenneet valitsemaan niiden väliltä, joten lopullisen tuloksen LanTrekin eduksi ratkaisi arpa.

HP DL320s G1, entinen herukka, Kapsin varmuuskopiopalvelin lahjoitettiin Päivölän kansanopiston kannattajayhdistys r.y:lle. Yhdistys ylläpitää kansalaisopistoa ja edistää koulutustoimintaa suomessa. Kapsilta poistunut palvelin menee hoitamaan oppilaitoksen keskitetyn levypalvelimen virkaa entisen, levytilaltaan sekä resursseiltaan pieneksi jääneen laitteen tilalle.

Kiitos kaikille hakijoille. Olisimme mieluusti jakaneet enemmänkin palvelinkalustoa eteenpäin, mikäli olisi mitä jakaa. Käytettyä palvelinkalustoa yhdistyskäyttöön voi kysellä myös yliopistoilta sekä suuremmilta alan yrityksiltä.

Otamme vielä erikseen yhteyttä niihin hakijoihin, joiden hakemuksessa esitetyt tarpeet voisivat olla täytettävissä Kapsin tarjoamin palveluin.

 

Aihe: Hallitustoiminta, Yhdistystoiminta | Ei kommentteja »

Siika-levypalvelimen häiriöt

torstaina 15. joulukuuta 2011

Siika – Huuto

Tällä kertaa vähän teknisempää juttua niille joita kiinnostaa. Lyhyt yhteenveto: levypalvelimella on ollut pientä ajoittaista tökkimistä. Ongelmat ovat tiedossa, tarkkaa syytä selvitetään ja korjaus tehdään heti kun mahdollista. Kertokaa jos tällaisia halutaan jatkossa.

Siika-levypalvelin on toiminut pääasiassa erittäin hyvin. Sen suorituskyky on normaalitilassa havaittavasti parempi kuin aiemman levypalvelimen. Valitettavasti uusi levyjärjestelmä ei ole ollut aivan ongelmaton. Tässä artikkelissa joitain havaintoja ja teorioita. Osa asioista on vielä selvittämättä, mutta ajattelin että jäseniä saattaa kiinnostaa mitä ongelmien taustalla on ja mitä asioille on jo tehty.

Siian levyjärjestelmät:

  • tank: kotihakemistot, sähköpostit ja virtuaalikoneet
  • siilo: /siilo-tallennustila

Ongelmat alkoivat ilmenemään useiden viikkojen raskaan käytön jälkeen. Ensimmäisten oireiden ilmetessä tank-levyjärjestelmällä oli käynnissä rutiinitarkastus. Tarkastus oli oireiden ilmennessä kestänyt vajaan viikon ja oli edennyt 90 % asti. Yhtäkkiä kirjoitukset verkkolevylle kestivät kohtuuttoman kauan ja tästä aiheutui hidastelua www-palveluihin, lakan shelliin, irkkeihin ja muihin verkkolevyä käyttäviin palveluihin. Ylläpito keskeytti tarkastuksen kun sen epäiltiin mahdollisesti olevan häiriön aiheuttaja. Oireet lakkasivat lopetukseen.

Hetken tutkiskelun jälkeen muutama levyistä näytti SMART-tietojen perusteella olevan vaihdon tarpeessa. Virheellisiä sektoreita ei vielä ollut, mutta aiempien havaintojen mukaan jo ”pian virheelliset” sektorit enteilevät levyn rikkoutumista ja voivat aiheuttaa hidastelua. Kaksi oireilevaa levyä päätettiin vaihtaa varalevyihin (hot spare). Operaatiota kutsutaan zfs:ssä resilveriksi ja se vastaa jokseenkin RAIDin uudelleenrakennusta, mutta tapahtuu tiedostojärjestelmätasolla, ei raa’alle levypinnalle. Resilver-toiminnon aikana oireilu jatkui ja oli pahimmillaan perjantaina illalla. Asialle ei keksitty mitään helpotuksia ja oireet menivätkin ohi melko pian. Resilver kestää noin 24h. Pakassa olevissa levyissä havaittiin vielä lisää virheitä enteileviä SMART-lukuja ja kaksi levyä lisää on sittemmin vaihdettu.

Levyt

Siian levyt ovat Western Digitalin 7200 RPM Black -levyjä. Niitä on 56 kappaletta Supermicron 4 räkkiyksikön levykehikoissa, joita on Siiassa kaksi. Molemmat ovat 4x 3 Gbit/s SAS-kaapelilla kiinni levyohjaimessa.

Valitettavasti levyjen kanssa on ilmeisesti ongelmia RAID-käytössä. Levyjen firmwaren ongelmista yksi on, että jos lukemisessa sattuu virhe, niin levy yrittää lukea uudestaan useita kertoja ennen epäonnistumista. Tämä on huono ominaisuus palvelinkäytössä, sillä Siian zfs-tiedostojärjestelmä osaisi kyllä tunnistaa ja korjata vaikka virheellisen levyltä tulevan datan. Olennaisesti levyn pitäisi antaa lukuvirhe heti tai hyvin nopeasti, jotta tieto haettaisiin seuraavalta levyltä.

Vaikka ongelma on tiedostettu ja levyjä aiotaan vaihtaa Hitachin valmistamiin (olematon saatavuus hidastaa vaihtoa), esiintyneet häiriöt eivät välttämättä johdu näistä levyistä. On vielä tässä vaiheessa mahdotonta sanoa onko tällä ongelmalla mitään tekemistä esiintyvien häiriöiden kanssa.

ZFS Intent Log

Siikassa on 4 kpl HP:n 60 GB SSD-levyjä, joita käytetään muun muassa ZFS Intent Login tallentamiseen. Tällä järjestelyllä Siika toimii erittäin suorituskykyisesti. Eräs tuoreemmista havainnoista on, että jos ZIL:n ulkoinen loki poistetaan käytöstä, jolloin ZIL kirjoitetaan itse pakan levyille, niin NFS:n pätkiminen loppui.

Jos ZIL:n loki on SSD-levyillä, levyjärjestelmä toimii erittäin suorituskykyisesti, paitsi että ajoittain ainakin resilverin ja scrubin aikana on ilmennyt hidasteluja ja tökkimisiä. Jos SSD:t on poistettu käytöstä, tökkimisiä ei ole havaittu. Toisaalta suorituskyky on paljon heikompi. Ylläpito kokeili myös yhden varakovalevyn käyttämistä ZIL-lokina, mutta oireet tulivat takaisin eli vika ei välttämättä ole itse SSD-levyissä.

Ilmeisesti ZIL liittyy jollain tavalla oireiluun, mutta se miten, on vielä epäselvää. Ylläpito testailee Muikku-varmuuskopiopalvelimella, sillä siinä on vastaava levyjärjestelmä ja OpenIndiana-käyttöjärjestelmä, mutta mahdollinen tökkiminen ei näy jäsenpalveluissa.

Valitettavasti kunnes ongelmat selviävät, levyjärjestelmä toimii hieman hitaammin. Testit pyritään tekemään ilman häiriöitä jäsenpalveluille, mutta täysin niiltä ei voitane välttyä. Pahoittelut ja toivotaan että muuten hyvin toiminut Siika-levyjärjestelmä saadaan toimimaan yhtäaikaa luotettavasti ja nopeasti.

Aihe: Ylläpito | 10 kommenttia »

Kapsin rahankäyttö 2011

keskiviikkona 14. joulukuuta 2011

Olen vuoden 2010 loppupuolella tehnyt vastaavaan blogauksen tästä samasta aiheesta. Vuosi 2011 alkaa olla nyt niin lopuillaan, ettei ole enää tulossa kulueriä, jotka merkittävästi muuttaisivat tätä jakaumaa, niin ajattelin, että vuoden 2011 osalta voisi tehdä samanlaista blogia nyt.

Vuonna 2011 Kapsi on käyttänyt rahaa noin 141 268 euroa. Yllä olevassa kuvassa on prosenttiosuuksina asiat, mihin rahaa on käytetty.

Palvelimet

54 221 euroa

Tämä kohta sisältää kaikki palvelinhankinnat, palvelimien tukisopimukset ja muut laitteistohankinnat varsinaisen operaation pyörittämiseen. Vuonna 2011 oli kolme isompaa palvelinhankintaa kun hankittiin Hilla korvaamaan Xobia, Muikku ja uusi Lakka. Loppuvuodesta hankittiin myöskin uudet sähkönsyöttöratkaisut Nebulan tiloihin ja ne kuuluvat tähän osioon.

Hosting

46 367 euroa

Hostingiin sisältyy Nebulalle ja Tenuelle vuoden aikana maksetut laskut.

Toimitila

9 358 euroa

Toimitilan kuluihin sisältyy toimitilan vuokra, sähkömaksu, Internet-yhteys ja toimitilalle hankitut tarvikkeet.

Matkakulut

4 966 euroa

Matkakulut sisältävät kaikki matkoista aiheutuvat kulut. Kulut muodostuvat lähinnä lentolipuista Oulun ja Helsingin välillä sekä Oulussa yhdistyksen asioita hoitamisesta aiheutuneiden automatkojen kilometrikorvauksista.

Kokouskulut

5 261 euroa

Kokouskulut sisältävät kulut mitä on aihetunut yhdistyksen, hallituksen ja ylläpidon kokouksista. Myös muutamia isompia toimihenkilöiden tapaamisia on pidetty ja ne kulut ovat tässä mukana. Suurin osa kuluista tulee yhdistyksen kokouksien ja isoimpien toimihenkilökokoontumisten tilavuokrista. Ylläpidon ja hallituksien kokouksien satunnaiset virvokkeista ja tarjoiluista aiheutuvat kulut olen myös sisällyttänyt tähän.

Työläppärit

16 094 euroa

Tässä kuluerässä on toimihenkilöiden käyttöön hankitut kannettavat tietokoneet. Kuluerä sisältää 3 kpl 13″ MacBook Air, 5 kpl 13″ MacBook Pro, 1 kpl 15″ MacBook Pro ja 2 kpl Lenovo X220 -kannettavia tietokoneita. Todellinen yhdistykselle aiheutunut menoerä on hieman tuota ylläolevaa euromäärää pienempi, kun osa koneista on ollut määrättyä budjettia kalliimpia ja näissä tapauksissa toimihenkilö on maksanut ylimenevän osuuden koneesta itse. Huomioitavaa on myöskin, että seuraavan kerran isompi menoerä toimihenkilöiden läppäreistä tulee vasta 2014 kun nykyiset koneet pääsevät 3 vuoden käyttöikänsä loppuun.

Muut kulut

5 001 euroa

Tässä on kaikki satunnaiset kulut jotka eivät suoraan kuulu minkään ylläolevan menoerän alle. Suurin menoerä muissa kuluissa on kirjanpito.

Aihe: Hallitustoiminta, Yhdistystoiminta | 2 kommenttia »

Kapsi numeroina 2011

lauantaina 10. joulukuuta 2011

Aiemmin olen blogannut tästä samasta aiheesta ja yhdistyksen IRC-kanavalla esitettiin jo toiveita tämän blogauksen uusimiseksi. Tässäpä tulee tuoreempia numeroita.

Jäsenet

Yhdistyksellä on 3727 jäsentä ja jäsenmäärä edelleen kasvaa useammalla kymmenellä jäsenellä kuukaudessa.

Hallinto

Hallitus käsitteli 446, helpdesk 327 ja ylläpito 2291 yhteydenottoa jäseniltä 12kk aikana marraskuusta 2010, marraskuuhun 2011.

Tekniikka

Yhdistyksellä on 13 palvelinta ja 4 levyhyllyä kahdessa konesalissa ja yhdistyksen toimitilalla.

Palvelimilla on yhteensä 90 prosessoriydintä ja 446 gigatavua keskusmuistia. Eniten ytimiä on Siiassa jossa niitä on 16, tosin vastikään hankittu Lakka 12 ytimellään saattaa olla laskentateholtaan hieman nopeampi. Eniten muistia on Lakassa, jossa sitä on 144 gigatavua.

Raakalevytilaa on noin 223 teratavua. Erilaisten varmistusten jälkeen käytettävissä oleva levytila on toki reilusti pienempi. Jotain viitettä voi saada siitä palvelimet -sivulla. Käyttäjien dataa on Lakan kotihakemistoissa 8 teratavua, Siilossa 23 teratavua ja Hillan kotihakemistoissa 0,3 teratavua.

Käyttäjien ajamana on yhtäaikaisesti noin 14000 prosessia. Joista noin 8000 on Lakalla ja 6000 Hillalla.

Tietokantoja on käytössä 3123 kappaletta. Keskimäärin tietokantoihin tulee noin 940 kyselyä sekunnissa.

Sähköpostipalvelimen läpi kulkee noin 26 000 viestiä päivässä.

Nimipalvelimilta palvellaan 1543 DNS-zonea.

Paskanmarja on uudelleenkäynnistetty 31.5.2011 jälkeen 44 kertaa. Pisimmillään paskanmarjaa on jaksettu pitää päällä 68 päivää kerralla.

IRCnetiin on 2545 yhtäaikaista yhteyttä molemmilta shellipalvelimilta. 1465 Lakalta ja 1080 Hillalta. Tämä tarkoittaa, että noin 3,8% koko IRCnetin käyttäjistä irkkaa Kapsin palveluita käyttäen.

Kapsin WWW-palvelimilla on noin 6200 palveltavaa sivustoa. Näille sivustoille tulee yhteensä noin 15,1 miljoonaa osumaa päivässä.

Kokonaisliikennemäärä kaikilta palvelimilta molemmista konesaleista Internetiin on noin 1,6 teratavua vuorokaudessa.

Aihe: Sekalaista, Yhdistystoiminta, Ylläpito | Ei kommentteja »