Arkisto: lokakuu 2012

Ylläpidon tunkkausviikonloppu I/2012

maanantaina 22. lokakuuta 2012

Kapsin ylläpidossa on reilu tusina hyvinkin tavanomaisen oloista kaveria, joiden intohimon kohteena vain sattuu keskimääräistä useammin olemaan ZFS-levyjärjestelmän tai  Linuxin kernelin optimointi tuhansien käyttäjien palvelinjärjestelmään. Ylläpito on se Kapsin elin, joka parhaansa mukaan pitää huolen siitä, että Kapsin jäsenistö pystyy huoletta käyttämään Kapsin palveluita ilman turhia käyttökatkoja tai hidastumisia.

Rutiininomaista ylläpitotyötä tapahtuu päivittäin, ja tähän kuuluu kaikkea palvelupyyntöihin vastaamisesta omituisen muistikuorman selvittämiseen levypalvelimella. Tämä on sitä työtä, joka pitää palvelut ajossa ja Kapsin lipun korkealla. Mutta kuten pitkäaikaisimmat jäseneemme ovat ehkä huomanneet, niin Kapsihan kehittyy jatkuvasti. Uusia palvelimia hankitaan, uusia palveluita nostetaan pystyyn ja olemassa olevia palveluita hiotaan paremmiksi. Tehokkaaksi tavaksi suorittaa tätä työtä on kehittynyt konsepti nimeltään tunkkausviikonloppu.

Bugien metsästystä

Bugien metsästystä

Kapsin ylläpito koostuu maantieteellisesti hajautuneesta ryhmästä säätäjiä, joten ylläpidon yhteiset tapaamiset ovat aina hieman työläitä. Mutta kun ne onnistuvat, kuten nyt viikonloppuna, ovat lopputulokset huikeita. Jo alakoulussa opittiin miten saman pöydän ääressä ryhmätöitä tehdessä hommat edistyvät huikeaa vauhtia, ja sama pätee myös täällä. Viikonlopun aikana käytetään 48h tehokkaasti mitä erinäisimpien asioiden hoitamiseen,  tiedostopalvelimen debuggauksesta aina virtuaalialustojen päivittämiseen. Välillä otetaan rennommin, saunotaan ja speksataan mitä seuraavassa pyrähdyksessä tehtäisiin – olo on kuin pääsisi seuraamaan ohjelmistoalan startupin toimintaa lähietäisyydeltä.

Kaikenlaista on saatu [aikaan]. –Wraith

Säätäjät säätävät

Säätäjä + ES = Paremmat palvelut

Hommat jatkuvat pitkälle yöhön, ja viimeiset sammuttavat debuggerinsa vain hieman ennen auringonnousua. Aamulla kaverit ovat palanneet kannettaviensa ääreen jo ennen kuin kahvinkeitintäkään on saatu päälle. Mistä he löytävät energian tähän, voi vain kuvitella.

Mites kauan näiden tekemiseen olis menny normaaliin tapaan IRCin ylitse? Erm… pari vuotta? – Ylläpito

Ylläpito ei osoita kuluneen viikonlopun jälkeen minkäänlaisia väsymisen merkkejä. Liekö syynä ES vaiko onnistunut ruokahuolto – säätäjät haluaisivat vain jatkaa säätämistä. Nämä kaverit ovat yksi monista syistä siihen miksi Kapsi awesomeness on kehittynyt tähän malliin, eikä hidastumisen merkkejä ole näkyvissä.

Se yksi kostea juhannus…

lauantaina 20. lokakuuta 2012

Nimittäin tänä vuonna. Toimitilalla.

Juhannusviikolla ennen juhannusta kesätyöntekijä lähti toimitilalta normaalisti töiden jälkeen pois ja kaikki oli ok. Sunnuntaina juhannuksen jälkeen toimihenkilöiden saapuessa paikalle olikin toimitila muuttunut uimaaltaaksi. Lattialla oli paikoin useampi sentti vettä ja rakenteet selvästi kastuneet. FFFFFUUUUUUU.

Tämän juhannuksen jälkeen oli tokikin hyvin ilmeistä, että toimitila tulee olemaan pidemmän aikaa poissa käytöstä. Aiemmin jo olimme harkinneet toimitilan vaihtoa tilanpuutteen vuoksi ja nyt päädyimmekin ratkaisuun, että sama tässä välissä vaihtaa toimitilaa kun kuitenkin joutuu tekemään kaiken uusiksi.

Tuo uuden toimitilan hankinta osoittautuikin sitten astetta haastavammaksi operaatioksi kuin olimme ajatelleet. Jostain syystä vuokranantajat suhtautuivat todella nihkeästi asunnon vuokraamista yhdistykselle toimitilaksi. Aloimme etsiä uutta toimitilaa heti juhannuksen jälkeen ja lopulta uusi toimitila saatiin vuokrattua syyskuun lopulla. Tämän 3 kuukauden aikana tuli kyllä kaikille hyvin ilmeiseksi toimitilan tarpeellisuus.

 Neuvottelupuoli uudella toimitilalla. Jotain asennuksia on vielä kesken.

Uusi toimitila on Oulun Kaijonharjussa sijaitseva 51,5 neliön kaksio johon olemme kalustaneet toisen huoneen neuvotteluhuoneen kaltaiseksi tilaksi ja toisen huoneen kalustus on vielä hieman kesken, mutta siitä on tarkoitus tehdä jonkun kaltainen ”säätötila”.

Toinen puoli uudesta toimitilasta on vielä vaiheessa.

Cyber Defence Exercise 2012 – CDX12

perjantaina 19. lokakuuta 2012

Tammikuu 2012, IRC-chat, yksityisviesti:

”Haluasikohan Kapsin ylläpito osallistua kybersotaharjotuksen harjotukseen =)”

Näin alkoi eräs hyvin mielenkiintoinen keskustelu, joka johti omaltani sekä yhdistyksen kannalta vieläkin mielenkiintoisempaan tapahtumaketjuun. Meille tarjottiin tilaisuus osallistua kansainväliseen CDX12-kybersotaharjoitukseen pienessä sivuroolissa. Olimme Viron Cyber Defence Leaguen ohella toinen ”koekaniiniryhmä”, jonka tarkoitus oli testata harjoituksen skenaariota sekä infraa noin kuukausi ennen varsinaista harjoitusta.

Helmikuun alku. Harjoituksen testiajo lähestyi. Ylläpidosta kasattiin kymmenen hengen ”Blue Team” osallistumaan harjoitukseen. Erilaisia valmistelevia pohdintoja alettiin pitää mahdollisista tekniikoista, joilla erilaisiin infraa vastaan kohdistuviin verkkohyökkäyksiin voitaisiin parhaalla mahdollisella tavalla vastata. Strategian pohjaksi valittiin tietysti Kapsin oma tietoturvamalli ja samat tekniikat, jotka on käytössä myös yhdistyksen järjestelmien suojaamisessa. Pohdittiin uusia tapoja havainnoida hyökkäyksiä ja löytää järjestelmästä poikkeavuuksia. Koodia syntyi, speksi kehittyi.

All hands on deck!

Ylläpitäjäjoukko saa hälytyksen. Kansallisesti merkittävän Internet-operaattorin järjestelmiin kohdistuu parhaillaan kyberhyökkäys! Operaattorin pääasiallinen ylläpitotiimi on poissa ja tavoittamattomissa. Kasataan porukka, joka ei tunne infraa juuri entuudestaan. Dokumentaatio ei ole ajan tasalla. Verkkokuvista ja järjestelmäkuvauksista on jotain apua tilanteen hahmottamisessa. Omituisia asioita tapahtuu eri puolilla verkkoja.

Kapsin urhoollinen task force kokoontuu saman katon alle, tälläkertaa yhdistyksen pieneksi käyvään toimitilaan, selvittämään tilannetta ja turvaamaan infraa. Osa järjestelmistä on todella vanhoja, päivittämättä ja pahasti haavoittuvia. Tuntemattomassa tilanteessa infra täytyy saada nopeasti haltuun. Mahdollisimman moni julkisesti saatavilla oleva järjestelmä päivitetään ja Linux-kernelit vaihdetaan Kapsin omiin käännöksiin. Varustelu on alkanut.

Kaikkien järjestelmien logit ajetaan keskitettyyn paikkaan ja filtteröidään isolle screenille kaikkien nähtäville. Jos jotain merkittävää tapahtuu, se näkyy kaikille heti. Muut havainnointi ja vastatoimet alkavat olla paikoillaan.

Verkkotiimi alkaa päästä ennalta tuntemattoman palomuuriratkaisun jäljille. Verkko on ensimmäinen elementti, jossa hyökkääjä voidaan havaita. Samalla myös viimeinen työkalu, jolla mahdollinen tunkeutuja saadaan irti järjestelmistä. Ennakkovalmisteluja ei juuri verkon osalta keretty tekemään. Nyt mennään vaistojen ja pitkän kokemuksen turvin. Verkkotiimissä on kaksi henkilöä, mukana on Kapsin ylläpitotiimin tuolloin tuorein vahvistus, pitkän linjan kokenut verkkosäätäjä.

Hyökkäyksiä aletaan havaita. Jollain koneella on backdoor. Onneksi tilanne näkyy heti ja hälytykset sekä vastatoimet toimivat. Hyökkääjä on järjestelmistä ulkona jo ennen kuin tilanteeseen keretään reagoida. Kolmen ylläpitäjän vahvuiselle response-teamille jäi tälläerää vain takaoven siivoilu järjestelmästä.

Tästä eteenpäin hyökkäyksiä tulee useita yhtäaikaisesti ja kädet täyttyvät töistä. Operaattorin asiakkaiden WWW-sivuja onnistutaan töhrimään PHP-reiän kautta. Myös web-palvelimelle yritetään rootiksi, mutta jälleen kerran tuloksetta. Response-team hoitaa Linux-järjestelmiä jatkuvasti parempaan suuntaan ja paikkailee löydettyjä haavoittuvuuksia ja konfiguraatiovirheitä.

Windows-rintamalla yritetään asennella päivityksiä ja tarkastaa turvallisuusasetukset kohdalleen. Osa Windows-työasemista simuloi yrityksen hallinnon käyttöä. Käyttäjät availevat sähköpostilla tulleita linkkejä ja tiedostoja. Yksi PDF-tiedosto jäi verkkotiimin pystyttämään web-proxyyn. Haitanteko estyi jo ennalta.

Sähköpostipalvelimet eivät toimi. Harjoitusinfrassa on selkeitä ongelmia virtuaalikoneiden levyjen kanssa. Järjestelmät ovat hitaita ja osa koneista täysin käyttökelvottomia. Harjoituksen tekninen tiimi tutkii tilannetta. Ongelmiin ei saatu ratkaisua testiajon aikana. On syytä käydä asiat läpi ennen varsinaista harjoitusta. Testitiimejä oli kaksi, varsinaisessa harjoituksessa on yhdeksän. Tilanne ei näytä erityisen hyvältä.

Tutustun hieman tarkemmin harjoituksen taustalla olevaan tekniseen ympäristöön. Käy ilmi, että SAN-valmistajan ilmoittama levyjärjestelmän vauhti ei aivan vastaa reaalimailman toteumaa. Täytyy keksiä jokin vaihtoehtoinen ratkaisu. Aikaa on alle kolme viikkoa.

Kapsin uusi Siika-levyjärjestelmä otettiin ajoon reilut kaksi kuukautta aiemmin. Sitä ennen testausta tehtiin lähes vuosi. Pohdinta siirtyi Siika-järjestelmän hyödyntämään Solaris-pohjaiseen OpenIndiana-käyttöjärjestelmään ja sen ZFS-tiedostojärejstelmään. Saataisiinko tehokkaalla cachella riittävän paljon suorituskykyä olemassaolevalla raudalla, jotta testiajon ongelmat eivät toistuisi? Asiaa täytyy kokeilla käytännössä.

Kaksi Kapsin ylläpidon edustajaa pystyttää yhdelle blade-palvelimelle OpenIndianan. Levyt tulevat SAN-järjestelmästä 10 Gbps -verkon ylitse. Alustavat suorituskykyarvot vaikuttavat erittäin lupaavilta. Testauksen jälkeen päädytään siihen yhdessä teknisen tiimin kanssa, että tämä on paras ratkaisu mikä tällä aikataululla on järjestettävissä. Muita virtualisointijärjestelmän osa-alueita hienosäädetään. Harjoitus lähestyy.

To be continued, mikäli lukijoita kiinnostaa… 😉