Arkisto aiheelle ‘Sekalaista’

Toimia tietoturvan edistämiseksi

torstaina 22. toukokuuta 2014

Teemme Kapsin ylläpidossa monenlaisia tehtäviä jäsenten sekä muiden Internetin käyttäjien tietoturvan parantamiseksi. Pyrimme aktiivisesti seuraamaan tietoturvamaailman tapahtumia sekä vähentämään järjestelmiin kohdistuvia riskejä. Asiasta on ollut usein keskustelua irkissä ja monet jäsenet ovat olleet kiitollisia palvelusta, mutta tämä tulee silti välillä yllätyksenä Kapsilaisille.

Visualisaatiota verkkoliikenteen häirinnästä.

Visualisaatiota verkkoliikenteen häirinnästä.

Aihetta käsitellessä on hyvä tiedostaa yhdistyksen Linux-järjestelmien tietoturvan olevan oma kokonaisuutensa eikä alla kuvatut ongelmat vaaranna Kapsin järjestelmien luotettavuutta, vaan aiheuttavat harmia yksittäisille jäsenille tai muille Internetin käyttäjille. Alla joitain esimerkkejä toimistamme jäsenten tunnusten ja tietojen suojaamiseksi sekä muiden Internetin käyttäjien tietoturvan parantamiseksi.

Puhdistamme jäsenten saastuneita sivustoja yhdessä jäsenten kanssa. Teemme usein tietomurroista raportteja CERT-FI:lle sekä rikosilmoituksen poliisille. Osassa tapauksista rikoksen tekijä saadaan kiinni ja tekijä päätyy asiasta vastuuseen. Joka tapauksissa informaatio päätyy viranomaisten statistiikkaan ja antaa parempaa kuvaa yleisesti tietoturvamurroista ja niiden määrästä esimerkiksi Viestintäviraston käyttöön.

Viimeisimmät tietomurrot ovat koskeneet FileZillan saastuneita versioita, joista myös tiedotettiin jäsenistöä. Usean jäsenen tunnukselle kirjauduttiin ulkomailta pyrkimyksenä kerätä hyökkääjälle virtuaalirahaa Kapsin resursseilla. Kaiken kaikkiaan kyseessä oli varsin järjestäytynyt haitallinen toiminta, johon reagoimme tapauskohtaisesti mahdollisimman pikaisesti.

Ilmoitamme Kapsin järjestelmään päässeitä haitallisia tiedostoja esimerkiksi ClamAV-projektille, jotta muutkin tätä haittaohjelman torjuntasovellusta käyttävät laitteet havaitsevat samoja ongelmia tulevaisuudessa. ClamAV tekee yhteistyötä lukuisien muidenkin toimijoiden, kuten esimerkiksi F-Secure ja FireEye -firmojen kanssa.

Muistutamme jäseniä päivittämättömistä www-sivustoalustoista, joissa on tunnettuja tietoturvahaavoittuvuuksia. Tätä varten kehitetään aktiivisesti open-source työkalua, jolla on Kapsin ympäristössä lähetetty yli 10 000 muistutussähköpostia jäsenille vuoden 2011 jälkeen. Päivittämättömiin www-sivustoihin murtaudutaan usein ja niitä käytetään pääasiassa roskapostittamiseen, tiedonkeruuseen tai muuhun haitalliseen toimintaan. Usein murrettu sivusto on hyökkääjälle jalansija yhdistyksen järjestelmiin minkä pyrimme estämään proaktiivisesti.

Ilmoitamme jäsenille myös keskeneräisiä asennuksista, jotka hyökkääjä voisi halutessaan asentaa loppuun ja joissain tapauksissa tämän jälkeen ajaa mielivaltaista haitallista koodia Kapsin palvelimilla.

Ilmoitamme ja vaihdamme julkisuuteen vuotaneita salasanoja sekä testaamme Kapsin jäsenten tunnuksien salasanoja heikkojen varalta ja pyydämme vaihtamaan ne tarvittaessa parempaan. Päivitimme palveluita Heartbleed-haavoittuvuuden osalta jo ennen virallista korjausta.

Useat Kapsin toimihenkilöt toimivat myös työssään tietoturvaroolissa.

Ylläpidon ylläpitoviikonloppu 5/2013

sunnuntaina 8. joulukuuta 2013

Itsenäisyyspäivän pidentämä viikonloppu alkoi torstai-illalla kun ensimmäiset ylläpitäjät saapuivat kokouspaikalle. Mukana oli toinen ylläpidon uusista jäsenistä, joka pikaisen tutustumiskierroksen jälkeen oli jo täydellä vauhdilla lyhentämässä ylläpidon tikettijonoa. Muutamaa tuntia myöhemmin homma sujui kuin vanhalta tekijältä, joten voitaneen todeta valinnan osuneen kohdilleen.

Ensimmäinen suuri ihmettelynaihe löytyi sopasta joka syntyi yhdistämällä PostgreSQL, OpenIndiana, ZFS sekä pakallinen 15k SAS-levyjä. Levyjen suorituskyky ei tuntunut missään vaiheessa nousevan odotetulle tasolle, ja syitä etsittiin sekä possusta, kerneleistä sekä levyohjaimista.

Kapsi WEB2.0 -prototyyppi nostettiin pystyyn ja pistettiin kovaan syyniin. Prototyypin on tarkoitus havainnollistaa usealle palvelimelle hajautetun webpalvelimen hyötyjä ja haasteita. Järjestelmää ponnistettiin Apachen JMeterillä ja varmuuden vuoksi ylläpito laittoi huput päähän ja opettelivat dossaamaan.

Vihreähatut dossaavat

Vihreähatut dossaavat

Toinen prototyyppi joka viikonlopun aikana saatiin ajoon oli Kapsi SQL2.0. Kyseisessä järjestelyssä PostgreSQL sijoitettiin virtualisoidulle testipalvelimelle ja kantaa moukaroitiiin pgbenchillä kunnes pullonkaulat tulivat esille. Sama konsepti toistettiin myös mariadb:lle. Virtualisoidut tietokantapalvelimet eivät performoineet vielä halutulla tavalla ja erinäköisten konseptien testailuja jatketaan tulevaisuudessa.

Ylläpidon toinen uusi jäsen osoitti suurta innostusta karttapalveluita kohtaan ja suoritti muiden speksausten oheessa päivityksen yhdistyksen jäsenkartalle joka jo muutenkin oli päivityksen tarpeessa. Tulevaisuudessa lienee mahdollista nähdä myös muita päivityksiä karttapalveluiden osalta.

Lauantai-yöllä suoritettiin suunniteltu huoltokatko Siialle jonka jälkeen 10GE -yhteydet kättelivät onnistuneesti.

Viikonlopun aikana ehdittiin myös konseptoimaan potentiaalisia tulevaisuuden suunnitelmia, joista varmasti tullaan kirjoittamaan tulevaisuudessa enemmän kunhan toteuttamiskelpoiset ideat saadaan eroteltua esiin.

Linux – HA – grsec – BFS – Kapsi – ???

perjantaina 30. elokuuta 2013

$ uname -a
Linux lakka 3.2.46-grbfs-kapsi #1 SMP Wed Jun 5 19:48:35 EEST 2013 x86_64 GNU/Linux

Niin mistä puhe?

Ydin eli kerneli (engl. kernel) on tietokoneen käyttöjärjestelmän alin osa, joka mahdollistaa kaikkien muiden tietokoneen ohjelmien toiminnan. ( Wikipedia )

Mikäli olet sinut Kapsin tarjoamien palveluiden kanssa oletan, että tiedät vähintäänkin pääpiirteissään mistä tässä kaikessa on kyse. Nyt vajotaan ihan vähäisesti pintaa syvemmälle niihin periaatteisiin ja perusteisiin, jotka ovat olleet Kapsin Linux-käyttöjärjestelmäytimen kasauksen ja konfiguraation pohjana.

Yleistä Kapsin kerneliarkkitehtuurista

Ensimmäinen huomionarvoinen seikka Kapsin järjestelmiä tarkastellessa on se, että vaikka käytössä on pääosin Debian-distribuution mukaisia järjestelmiä, käytetty käyttöjärjestelmäydin ei ole Debian-projektin tarjoama. Kapsin ylläpito on varsin varhaisessa vaiheessa yhdistyksen historiaa alkanut ylläpitää omaa versiota Linux-kernelin käännöksestä. Tämä ei tarkoita sitä, että käytössä olisi  mitenkään suuresti normaalista Linux-ytimestä eroava versio, vaan pikemminkin lähtökohdiltaan Kapsin käyttämän laitteiston sekä tarpeiden mukaan säädetty versio kulloinkin vakaaksi todetusta ”vanilla”-versiosta.

Ymmärtääksemme nykyisen tilanteen kunnolla, täytyy tarkastelussa palata historiassa taaksepäin, aikaan vuosia ennen kuin itse liityin tähän kirjavaan joukkoon ylläpitäjiä, joiden prioriteetti on pitää Kapsin järjestelmät turvassa ja toimivina. Kapsin historia alkoi vuonna 2003.

Linux 2.6 joulukuussa 2003 lisäsi XFS- ja JFS-tiedostojärjestelmät, sisälsi uudet ALSA-ääni- ja syöttölaitteiden ajuritNPTL-säikeistyksen tuen ja tehosti käyttöä suurissa järjestelmissä.

Linux 2.6 oli Kapsin ensimmäisten toimintavuosien ajan ”uusi juttu”. Mentiin Debianinkin käyttämän 2.4-sarjan voimin hyvin pitkään. Nykyään  käytössä on vielä 3.2-sarjan kerneli, jota päivitetään eteenpäin käytännössä Kapsin käyttämien patchien sekä muun mahdollisen tarpeen mukaisesti.

Kernelin päivitykset ovat yhdistyksen toimintojen kannalta aika voimakkaasti käyttäjille näkyviä operaatioita ja aiheuttavat varsinkin shellipalveluihin ikävän käyttökatkon. Tästä syystä toimivaa ja turvallista kerneliversiota pyritään ajamaan mahdollisimman pitkään.

Kapsin käyttämät kernelipatchit

Kapsin kernelin suunnittelussa on otettu huomioon useita erityisesti yhdistyksen toimintaa koskettavia tekijöitä. Haasteina on ollut erityisesti tietoturva, suorituskyky sekä järjestelmien vakaus pitkänkin yhtäjaksoisen päälläolon jälkeen.

Käydään hieman läpi Kapsin käyttämiä patcheja sekä niiden taustoja ja osuutta kokonaisuudessa.

HA-patch

Kapsin historian alkuaikoina käytetyistä spesiaalisäädöistä tiedän vain sen verran, että käytössä oli jo tuolloin niinsanottu HA-patch. Nimi ei viittaa ”High Availabilityyn” kuten äkkiseltään voisi kuvitella, vaan patchin tekijöiden sukunimien ensimmäisiin kirjaimiin. Patchin kirjoitti Jaakko Heusala, yhdistyksen alkuvuosien puheenjohtaja ja ylläpitäjä usean vuoden ajalta. Jaakko osasi kertoa kommenteissa tämän historiasta sekä nimeämisestä, joten lainaan Jaakkoa tähän: 

”Tuo HA-pätsin nimi tulee ”huoh access limit” lyhennyksestä, koska käytin silloin nimimerkkiä huoh. Osittain se ehkä viittasi myös siihen fiilikseen, että oli etsitty toimivaa ratkaisua simppeliin ongelmaan maailmalta kuitenkaan hyvää ratkaisua löytämättä ja se pätsi oli vähän sellainen tulos ”nyt se kernelin koodi tänne, korjaan sen itse!” (Kernelin muokkaaminen oli melkeinpä niitä viimeisiä juttuja joita halusin ruveta tekeen silloin.)”

HA-patch on pohjimmiltaan hyvin yksinkertainen. Sen tarkoitus on pitää käyttäjien tiedostot piilossa toisilta käyttäjiltä chmod-määreistä riippumatta. Tämä on käyttäjille näkyvin muutos Kapsin kernelin osalta. HA-patch on myös koodillisesti erittäin yksinkertainen ja on siten tominut lähes muutoksitta aina versioista 2.4 asti.

Grsecurity

Toinen merkittävä virstanpylväs yhdistyksen kernel arkkitehtuurissa on grsec. Se on laaja patchset, jonka tarvoite on antaa lisäsuojaa erilaisia mahdollisia käyttöjärjestelmäytimen haavoittuvuuksien hyödyntämisyrityksiä vastaan. Kapsin tietoturva-arkkitehtuurissa grsecistä on pitkään käytetty sellaisia osia, jotka eivät vaadi suuria järjestelmäriippuvaisia konfiguraatioita. Esimerkiksi RBAC (Role Based Access Control) ei ole ollut toistaiseksi laajassa käytössä.

Grsecin ajatus tietoturvan kannalta on toimia yhtenä monista muuttujista, joita mahdollisen haavoittuvuuksia hyödyntävän hyökkääjän on vaikea ottaa huomioon yhdistyksen järjestelmiin suunnattuja toimia pohtiessaan. Lähtökohtaisesti grsec ei koskaan pysty täydellisesti estämään muun kernelin osa-alueen haavoittuvuuden hyödyntämistä, vaan aiheuttaa lähinnä tarpeen kohdistaa hyökkäystä juuri tätä kyseistä ympäristöä vastaan. Toisinsanoen yleisesti saatavilla olevat hyökkäyskoodit eivät välttämättä, toivottavasti, toimi sellaisenaan sopivin grsecin tarjoamin optioin varustettua järjestelmää vastaan. Käytännön kannalta grsec parhaimmillaankin ostaa ylläpidolle vain aikaa järjestelmän päivityksen valmisteluun.

Grsecin ja HA-patchin lisäksi kernelin suojauksessa on käytössä yksi vähemmän ”hieno”, mutta enemmän käytännönläheinen ajatusmalli turvallisuuteen liittyen. Pohjimmaisena on periaate, jonka mukaan kerran käynnistettyä järjestelmäydintä ei tule voida peukaloida. Grsec tarjoaa itsessään jonkin verran erilaisia kernelin muistialueen suojauksia tähän liittyen, mutta haittaohjelmien ja rootkittejen kannalta yleisin toimintamalli riitävät oikeudet hankittuaan on puuttua suoraan käytössä olevan kernelin toimintaan.

Kernelimoduulituki

Helpoin ja toimivin tapa muuttaa kernelin toimintaa järjestelmän ollessa käynnissä on ladata moduuli, joka toteuttaa hyökkääjän kannalta oleellisia toimintoja. Nämä voivat olla esimerkiksi kyseisen modulin olemassaolon ja tiettyjen hyökkääjän käyttämien palveluiden ja verkkoliikenteen piilottaminen koko muun järjestelmän näkyviltä. Tällainen palikka tunnetaan myös nimellä rootkit.

Kapsin lähestymistapa rootkiteiltä suojautumiseen on tehdä kernelistä mahdollisimman vaikeasti muutettava ajon aikana. Linux-järjestelmissä tähän on olemassa erittäin helppo ja yksinkertainen keino. Kernelistä on jätetty moduulituki kokonaan pois, jolloin kernelin muuttamiseksi vaaditaan koneen uudelleenkäynnistys. Kapsin kerneli on rakennettu juurikin näin.

Schedulointi ja BFS

Tästä aiheesta voisi ja ehkä pitäisikin kirjoittaa ihan oma blogiposti – tai kirja. Sen verran tuntuu olevan vaikeasti lähestyttävä kokonaiskonsepti kyseessä. Käydään nyt kuitenkin asia läpi popularistisellä tasolla ja yksinkertaistettuna niin ettei aiheuteta lukijoille välttämättä päänsärkyä.

Isoa shell-käyttäjämäärää palvelevan linux-koneen haasteena on väistämättä suoritettavien prosessejen suuri määrä. Kapsi ei ole toiminnassaan koskaan pyrkinyt asettamaan tiukkoja rajoja, vaan käyttäjien toimille asetetut järjestelmätason rajat pyrkivät vähentämään mahdollisten väärinkäytösten, tahattomien tai tahallisten, aiheuttamaa haittaa järjestelmän muille käyttäjille.

Yhdeksi merkittäväksi haasteeksi linuxin ja suuren prosessimäärän kanssa nousee interaktiiviset prosessit, jotka käyttävät yleensä hyvin pienen määrän suoritinaikaa kerrallaan, mutta todella usein. Esimerkkejä tällaisista interaktiivisista prosesseista ovat vaikkapa verkkoliikennettä vastaanottavat prosessit, jotka heräävät käsittelemään saapuneita paketteja tai SSH tai irssi, jotka ottavat käyttäjän syötteitä vastaan ja pitävät yllä aktiivisia yhteyksiä internettiin.

Suuri määrä interaktiivisia prosesseja on luonteeltaan haastava kuorma kernelille koska kernelin prosessischeduleri joutuu pitämään kirjaa ja tekemään päätökset siitä, mikä prosessi milloinkin saa suoritinaikaa ja mitkä prosessit joutuvat odottamaan pääsyä suoritukseen. Tämä kernelin sisäinen prosessi vie myös itsessään suoritinaikaa ja koneen resursseja riippuen kernelin sisäisen schedulerin toimintaperiaatteesta ja tehokkuudesta päätöksenteossa sekä seurannassa.

Linux-kernelin oletusarvoinen prosessischeduleri tunnetaan nimeltä CFS (Completely Fair Scheduler). Se pyrkii tarjoamaan tasa-arvoa prosessien suoritinajan suhteen ja päästää vähäisesti suoritinaikaa käyttävät prosessit suoritettavaksi useammin kuin pitkään suoritettavat prosessit. Tämä periaate on sinänsä hyvä ja toimiva, mutta Kapsin kaltaiesssa ympäristössä CFS:n toteutus aiheesta jätti huomattavasti toivomisen varaa.

Kapsin pääasiallinen shellipalvelin, Lakka, kärsi huomattavasta hitaudesta aina iltapäivisin ruuhka-aikaan talvella 2010. Tuolloin käytössä oli vielä HP DL380 G5 -sarjan palvelinkone, jossa oli kaksi fyysistä neljän ytimen suoritinta ja 16 Gt muistia.

lakka-kapsi-fi-vmstat-year-png

VMstat-kuvaaja kertoo suoritusta odottavien prosessejen määrän arvona ”running” ja levyoperaatioita odottavien prosessejen määrän arvona ”I/O sleep”. Running-arvon tulisi olla kaikissa tilanteissa pienempi kuin käytettävien prosessoriytimien määrä parhaan suorituskyvyn takaamiseksi. Kuvaajan vasen laita on ajalta ennen siirtymistä BFS-scheduleriin.

Ylläpidolla oli kaksi vaihtoehtoa hitailun ratkaisemiseksi. Joko hankkia uusi, järeämpi palvelinkone tai yrittää löytää resurssiongelmaan jokin muu ratkaisu. Käyttäjien toimien rajoittaminen ei kuulunut edes tuolloin harkittuihin vaihtoehtoihin.

Havaittiin eräänlainen ristiriita prosessejen suoritusjonon ja koneen CPU:n käyttöasteen välillä.

lakka-kapsi-fi-cpu-year-png

Kuvassa Lakka-palvelimen CPU-käyttö. CFS:n ollessa käytössä (kuvan vasen laita) CPU-resursseista oli käytössä yhteensä vain noin 25 %. Kuvaajan ”hassut” arvot oikealla johtuvat kyseisten kerneliversioiden epävakaudesta sekä lukuisista käyttökatoista vuoden 2010 aikana.

Suoritusjonon ja CPU-käytön välinen ristiriitatilanne antoi viitteitä siitä, että ehkä kernelin toiminnassa voisi olla parantamisen varaa prosessien scheduloinnin suhteen. Tutkittiin vaihtoehtoja ja päädyttiin kokeilemaan BFS-patchia Kapsin kernelissä. Muutos oli aika radikaali ja hitailuongelmat kerralla poissa.

Tässä vielä muutama kuva, jotka antavat käsitystä koneen yhtäaikaisten käyttäjien määrästä.

lakka-kapsi-fi-interrupts-year-png

Context switches -arvo kertoo sen, kuinka usein suoritettava prosessi vaihtuu sekunnin aikana. Oikealla olevat piikit ovat jälleen kerneliongelmien aiheuttamia vääristymiä kuvaajissa.

Tämä kuvaaja on lähinnä referenssiksi siitä, että CFS:sta BFS:iin vaihtaessa koneen käyttöaste ei juuri muuttunut. Vuosien 2010 ja 2011 aikana yhdistys kuitenkin sai paljon uusia jäseniä ja toisaalta shellikoneella alettiin myös ajamaan entistä raskaampia palvelinprosesseja kuiten Minecraft-palvelimia.

lakka-kapsi-fi-ps_sshd-year-png

SSHd-prosessien määrä Lakka-palvelimella CFS:sta BFS:iin siirryttäessä ja sen jälkeen.

SSHd-prosessien määrä kertoo yhtäaikaisesti palvelimella kirjautuneena olevat sessiot. Vaaleamman vihreä alue näyttää vuorokausivaihtelun kirjautumismäärissä. Käyttäjämäärien nousu vuoden 2011 alkuun mennessä on kohtuu huomattava.

Kokonaisuudessaan siirtyminen Kapsin kernelissä CFS-schedulerista BFS-scheduleriin ei ollut helppo tie. Epävakaus oli vuoden 2010 aikana todellinen riesa ja vasta Linux-kernelin VM (Virtual Memory) -kokonaisuuden suurempi korjaus toi lopulta helpotuksen vakausongelmiin. Suorituskyky nousi kuitenkin vaihdoksen myötä aivan uudelle tasolle, kun prosessien schedulointi ei enää ollut pullonkaula järjestelmän toiminnassa.

 

Teknisempää settiä voi seurata tai olla seuraamatta riippuen blogaajien mielenkiinnosta, käytettävissä olevasta ajasta sekä kuun asennosta. Kuulostellaan myös lukijoiden mielenkiintoa aiheeseen. 😉

Palvelinten lahjoituspäätös

tiistaina 9. heinäkuuta 2013

Kapsin hallitus eilisessä hallituksen kokouksessaan on päättänyt lahjoittaa palvelimet Electronic Frontier Finland ry:lle ja Suomen luonnonsuojeluliiton Uudenmaan piiri ry:lle. Nämä kaksi hakijaa pystyivät perustelemaan Kapsin hallitukselle parhaiten koneelle järkevän käyttötarkoituksen.

Hakemuksia vastaanotettiin yhteensä seitsemän kappaletta.

Kapsi tulee jatkossakin uudistamaan palvelinkalustoaan ja tulevaisuudessa tulemme myös tämän blogin kautta ilmoittamaan lahjoitettavista palvelimista.

Lahjoitetaan kaksi palvelinta

sunnuntaina 23. kesäkuuta 2013

Kapsi on taas uusimassa rautaa ja käyttämättömäksi jää pari vanhaa HP:n palvelinta. Nämä palvelimet lahjoitetaan yhdistyksen kokouksen päätöksen mukaisesti voittoa tavoittelemattomille yhdistyksille. Hallitus valitsee koneiden saajat.

Palvelin 1 ”Puska1”:

  • HP DL380 G5
  • 2x Intel Quad Xeon 2,33 GHz
  • 24GB keskusmuistia
  • 2x 146GB 2.5″ SAS-levyä
  • Hankittu syksyllä 2007

Palvelin 2 ”Karviainen”:

  • HP DL380 G5
  • 2x Intel Quad Core Xeon 2,50 GHz
  • 20GB keskusmuistia
  • 2x 146GB 2.5″ SAS-levyä
  • Hankittu maaliskuussa 2008

Molemmat koneet lahjoitetaan ilman minkäänlaista takuuta tai palautusoikeutta. Lähtökohtaisesti kuitenkin koneet ovat tuotannossa olleita koneita ja kaikki rauta on toimivaa.

Koneiden vastaanottaja voi tulla hakemaan koneen Helsingistä tai se voidaan erikseen sovittavalla ratkaisulla kuljettaa muualle vastaanottajan vastatessa kuluista.

Mikäli yhdistyksenne haluaa hakea konetta lahjoitettavaksi juuri teidän yhdistykselle, niin sen hakeminen tapahtuu sähköpostitse Kapsin hallitukselle.

Hakemuksesta on löydyttävä seuraavat asiat:

  • Yhdistyksen virallinen nimi
  • Lyhyt kuvaus yhdistyksen toiminnan luonteesta
  • Lyhyt kuvaus käytöstä johon palvelin tulisi
  • Kuvaus siitä, että yhdistyksellä on riittävät valmiudet käyttää lahjoitettua palvelinta (ts. soveltuva tila ja kykyä maksaa sähköt jne.)

Muita huomionarvoisia seikkoja:

  • Aiempina kertoina moni on hakenut palvelinta www-palvelimeksi tms. yleiseen käyttöön johon esimerkiksi Kapsin yhteisöjäsenyys on taysin riittävä ja yleisesti soveltuvakin. Kapsin yhteisöjäsenyys maksaa myöskin vähemmän kuin kummankaan koneen sähköt vuodessa.
  • Eniten painotetaan sitä, että mihin käyttöön palvelin tulisi.
  • Ensisijaisesti ei lahjoiteta niille yhdistyksille joille on jo lahjoitettu palvelin aiemminkin.
  • Hakemuksen ei kannata olla liian pitkä, TL;DR-fiiliksen aiheuttamista kannattaa välttää.

Hakemukset tulee olla perillä viimeistään perjantaina 5.7.2013 klo 17.00. Puuttellisia tai määräajan jälkeen tulleita hakemuksia ei huomioida.

Peruskartta Android-mobiililaitteilla

lauantaina 9. helmikuuta 2013

OruxMapsMoottorikelkkaillessa Sirkassa tuli tarve saada kelkkareittikartta mukaan reissuun. Samsung Galaxy Tab 2 7.0 on mainio laite karttakäyttöön, mutta esim. Googlen kartoissa ei ole moottorikelkkareittejä, eikä ihan joka paikassa kuulu 3G. Ainakaan sesonkiaikana on turha kuvitella saavansa 3G:stä dataa läpi karttapaikan katselua ajatellen.

Onneksi Maanmittauslaitos julkaisi mm. peruskartan yleiseen käyttöön. Kartat on peilattu kapsin palvelimille (http://kartat.kapsi.fi/) ja niitä voi käyttää mobiililaitteiden, sekä karttasovellusten yleisesti tukeman WMS-rajapinnan kautta.

Asenna Orux Maps

Karttojen selailuun soveltuu mainiosti Android-sovellus Orux Maps. Orux Mapsin voi asentaa Googlen Play-palvelusta.

Vaihda karttaa karttavalikosta

Käynnistä Orux Maps ja valitse oikean yläkulman karttavalikosta valinta ”Switch map”. Avaa karttalistasta ”WMS Creator”.

Valitse WMS Creator karttalistasta

Syötä WMS-creatoriin osoitteeksi http://tiles.kartat.kapsi.fi/peruskartta?, paina OK, ja valitse esiin ponnahtavasta ikkunasta kaikki karttatasot.

Syötä karttapalvelun osoiteValitse kaikki karttatasot

Aseta kartan mini- ja maksimizoomit arvoihin 0 ja 20. Valitse myös ”Cacheable” ja ”Downloadable” -valinnat ja paina ”Create”.

Kartan asetukset

Alareunassa lukee ”WMS Created OK”. Palaa karttalistaan painamalla peruutusnäppäintä, päivitä lista painamalla ”Refresh maps” ja valitse ”WMS:Peruskartta”.

Valitse WMS:Peruskartta

 

Nyt sinulla on säädetty toimiva online-peruskartta! Joskus on kuitenkin tarve käyttää karttaa 3G:n kuulumattomissa. Offline-kartan voi tehdä karttavalikon ”Map Creator” -toiminnolla.

Käynnistä Map Creator

Map Creatorissa valitaan haluttu alue klikkaamalla alueen vasenta yläkulmaa ja oikeaa alakulmaa.

Valitse kartta-alue

Valitse ladattavat zoomitasot. Tasot 12, 14, 15 ja 16 riittävät eikä ladattavan datan koko kasva liian suureksi.

Valitse tasotLataus valmis

 

 

Kun karttadata on ladattu, peruuta pois Map Creatorista paluunäppäimellä ja valitse karttalistan yläkulmasta ”Offline Maps”. Offline-kartoissa pitäisi näkyä juuri luotu kartta.

Valitse juuri luotu offline-kartta

 

Sirkan kartta 18-zoomin

Ylläpidon tunkkausviikonloppu I/2012

maanantaina 22. lokakuuta 2012

Kapsin ylläpidossa on reilu tusina hyvinkin tavanomaisen oloista kaveria, joiden intohimon kohteena vain sattuu keskimääräistä useammin olemaan ZFS-levyjärjestelmän tai  Linuxin kernelin optimointi tuhansien käyttäjien palvelinjärjestelmään. Ylläpito on se Kapsin elin, joka parhaansa mukaan pitää huolen siitä, että Kapsin jäsenistö pystyy huoletta käyttämään Kapsin palveluita ilman turhia käyttökatkoja tai hidastumisia.

Rutiininomaista ylläpitotyötä tapahtuu päivittäin, ja tähän kuuluu kaikkea palvelupyyntöihin vastaamisesta omituisen muistikuorman selvittämiseen levypalvelimella. Tämä on sitä työtä, joka pitää palvelut ajossa ja Kapsin lipun korkealla. Mutta kuten pitkäaikaisimmat jäseneemme ovat ehkä huomanneet, niin Kapsihan kehittyy jatkuvasti. Uusia palvelimia hankitaan, uusia palveluita nostetaan pystyyn ja olemassa olevia palveluita hiotaan paremmiksi. Tehokkaaksi tavaksi suorittaa tätä työtä on kehittynyt konsepti nimeltään tunkkausviikonloppu.

Bugien metsästystä

Bugien metsästystä

Kapsin ylläpito koostuu maantieteellisesti hajautuneesta ryhmästä säätäjiä, joten ylläpidon yhteiset tapaamiset ovat aina hieman työläitä. Mutta kun ne onnistuvat, kuten nyt viikonloppuna, ovat lopputulokset huikeita. Jo alakoulussa opittiin miten saman pöydän ääressä ryhmätöitä tehdessä hommat edistyvät huikeaa vauhtia, ja sama pätee myös täällä. Viikonlopun aikana käytetään 48h tehokkaasti mitä erinäisimpien asioiden hoitamiseen,  tiedostopalvelimen debuggauksesta aina virtuaalialustojen päivittämiseen. Välillä otetaan rennommin, saunotaan ja speksataan mitä seuraavassa pyrähdyksessä tehtäisiin – olo on kuin pääsisi seuraamaan ohjelmistoalan startupin toimintaa lähietäisyydeltä.

Kaikenlaista on saatu [aikaan]. –Wraith

Säätäjät säätävät

Säätäjä + ES = Paremmat palvelut

Hommat jatkuvat pitkälle yöhön, ja viimeiset sammuttavat debuggerinsa vain hieman ennen auringonnousua. Aamulla kaverit ovat palanneet kannettaviensa ääreen jo ennen kuin kahvinkeitintäkään on saatu päälle. Mistä he löytävät energian tähän, voi vain kuvitella.

Mites kauan näiden tekemiseen olis menny normaaliin tapaan IRCin ylitse? Erm… pari vuotta? – Ylläpito

Ylläpito ei osoita kuluneen viikonlopun jälkeen minkäänlaisia väsymisen merkkejä. Liekö syynä ES vaiko onnistunut ruokahuolto – säätäjät haluaisivat vain jatkaa säätämistä. Nämä kaverit ovat yksi monista syistä siihen miksi Kapsi awesomeness on kehittynyt tähän malliin, eikä hidastumisen merkkejä ole näkyvissä.

Kapsi numeroina 2011

lauantaina 10. joulukuuta 2011

Aiemmin olen blogannut tästä samasta aiheesta ja yhdistyksen IRC-kanavalla esitettiin jo toiveita tämän blogauksen uusimiseksi. Tässäpä tulee tuoreempia numeroita.

Jäsenet

Yhdistyksellä on 3727 jäsentä ja jäsenmäärä edelleen kasvaa useammalla kymmenellä jäsenellä kuukaudessa.

Hallinto

Hallitus käsitteli 446, helpdesk 327 ja ylläpito 2291 yhteydenottoa jäseniltä 12kk aikana marraskuusta 2010, marraskuuhun 2011.

Tekniikka

Yhdistyksellä on 13 palvelinta ja 4 levyhyllyä kahdessa konesalissa ja yhdistyksen toimitilalla.

Palvelimilla on yhteensä 90 prosessoriydintä ja 446 gigatavua keskusmuistia. Eniten ytimiä on Siiassa jossa niitä on 16, tosin vastikään hankittu Lakka 12 ytimellään saattaa olla laskentateholtaan hieman nopeampi. Eniten muistia on Lakassa, jossa sitä on 144 gigatavua.

Raakalevytilaa on noin 223 teratavua. Erilaisten varmistusten jälkeen käytettävissä oleva levytila on toki reilusti pienempi. Jotain viitettä voi saada siitä palvelimet -sivulla. Käyttäjien dataa on Lakan kotihakemistoissa 8 teratavua, Siilossa 23 teratavua ja Hillan kotihakemistoissa 0,3 teratavua.

Käyttäjien ajamana on yhtäaikaisesti noin 14000 prosessia. Joista noin 8000 on Lakalla ja 6000 Hillalla.

Tietokantoja on käytössä 3123 kappaletta. Keskimäärin tietokantoihin tulee noin 940 kyselyä sekunnissa.

Sähköpostipalvelimen läpi kulkee noin 26 000 viestiä päivässä.

Nimipalvelimilta palvellaan 1543 DNS-zonea.

Paskanmarja on uudelleenkäynnistetty 31.5.2011 jälkeen 44 kertaa. Pisimmillään paskanmarjaa on jaksettu pitää päällä 68 päivää kerralla.

IRCnetiin on 2545 yhtäaikaista yhteyttä molemmilta shellipalvelimilta. 1465 Lakalta ja 1080 Hillalta. Tämä tarkoittaa, että noin 3,8% koko IRCnetin käyttäjistä irkkaa Kapsin palveluita käyttäen.

Kapsin WWW-palvelimilla on noin 6200 palveltavaa sivustoa. Näille sivustoille tulee yhteensä noin 15,1 miljoonaa osumaa päivässä.

Kokonaisliikennemäärä kaikilta palvelimilta molemmista konesaleista Internetiin on noin 1,6 teratavua vuorokaudessa.

Lahjoitetaan NetApp-levypalvelin yhdistykselle

tiistaina 29. marraskuuta 2011

Kapsin muutaman vuoden hyvin palvellut levypalvelin lahjoitetaan pois uuden ratkaisun myötä. Palvelin lahjoitetaan yhdistyksen kokouksen päätöksen mukaisesti voittoa tavoittelemattomille yhdistyksille. Hallitus valitsee koneen saajan.

Tarjolla oleva levypalvelin:

NetApp FAS2020, hankittu joulukuussa 2008, levyhylly hankittu maaliskuussa 2010.

  • 2U kokoinen laite
  • 12 sisäistä 1TB SATA-kovalevyä
  • 3U hyllyssä 14 1TB SATA-kovalevyä
  • Kaksi virtalähdettä
  • Hyllyssä myös kaksi virtalähdettä

Levypalvelin lahjoitetaan ilman minkäänlaista takuuta tai palautusoikeutta. Lähtökohtaisesti kuitenkin tiedostopalvelin on ollut vasta tuotannossa ja kaikki rauta on toimivaa.

Mikäli yhdistyksenne haluaa hakea konetta lahjoitettavaksi juuri teidän yhdistykselle, niin sen hakeminen tapahtuu sähköpostitse Kapsin hallitukselle. Hakemuksessa tulee käydä ilmi lyhyesti, mikä yhdistys on kyseessä, mihin käyttöön kone tulisi ja minkälaiset valmiudet kyseistä konetta yhdistyksellä on ylläpitää. Erikoisesti kiinnitämme huomiota siihen, että kone tulisi mielekääseen käyttöön ja yhdistyksellä on oikeasti kykyä myös käyttää ko. konetta. Ottaen huomioon, miten harvalla yhdistyksellä todennäköisesti on oikeasti puitteet tämän koneen ajamiseen, otamme myös poikkeuksellisesti huomioon ne yhdistykset jotka ovat jo hakeneet ja/tai vastaanottaneet aiempia HP:n koneita. Tätä laitetta varten kuitenkin haluamme erillisen hakemuksen.

Hakemukset tulee olla perillä viimeistään 31.12.2011 klo 23:59. Puuttellisia tai määräajan jälkeen tulleita hakemuksia ei huomioida. Kone luovutetaan valitulle yhdistykselle tammi-helmikuussa 2012 nykyisen suunnitelman mukaan, kuitenkin viimeistään ensimmäisen vuosineljänneksen 2012 aikana.

Lahjoitetaan käytettyjä HP:n palvelimia yhdistyksille

perjantaina 18. marraskuuta 2011

Kapsi on taas kovasti uusimassa rautaa ja käyttämättömäksi jää pari vanhaa HP:n palvelinta. Nämä palvelimet lahjoitetaan yhdistyksen kokouksen päätöksen mukaisesti voittoa tavoittelemattomille yhdistyksille. Hallitus valitsee koneiden saajat.

Tarjolla on:

HP DL380 G5, hankittu maaliskuussa 2008

  • Yksi 1,87GHz 4-ytiminen Intel Xeon(E5320) -prosessori
  • 11GB DDR ECC (4x 2GB, 2x 1GB ja 2x 512MB kammat) -muistia
  • 2x 146GB 2.5″ 10krpm SAS -kovalevyjä
  • Kaksi virtalähdettä

HP DL320s G1, hankittu marraskuussa 2007

  • Yksi 2,4GHz 2-ytiminen Intel Xeon (3060) -prosessori
  • 6GB DDR2 EEC (2x 2GB ja 2x 1GB muistikammat) -muistia
  • 6x 750GB ja 6x 1TB 3.5″ SATA -kovalevyjä
  • Kaksi virtalähdettä

Molemmat koneet lahjoitetaan ilman minkäänlaista takuuta tai palautusoikeutta. Lähtökohtaisesti kuitenkin koneet ovat tuotannossa olleita koneita ja kaikki rauta on toimivaa.

Mikäli yhdistyksenne haluaa hakea konetta lahjoitettavaksi juuri teidän yhdistykselle, niin sen hakeminen tapahtuu sähköpostitse Kapsin hallitukselle. Hakemuksessa tulee käydä ilmi lyhyesti mikä yhdistys on kyseessä, mihin käyttöön kone tulisi ja minkälaiset valmiudet kyseistä konetta yhdistyksellä on ylläpitää. Erikoisesti kiinnitämme huomiota siihen, että kone tulisi mielekääseen käyttöön ja yhdistyksellä on oikeasti kykyä myös käyttää ko. konetta.

Hakemukset tulee olla perillä viimeistään 15.12.2011 klo 23:59. Puuttellisia tai määräajan jälkeen tulleita hakemuksia ei huomioida.