Kapsi BLOG

Tammikuu 2012, IRC-chat, yksityisviesti:

”Haluasikohan Kapsin ylläpito osallistua kybersotaharjotuksen harjotukseen =)”

Näin alkoi eräs hyvin mielenkiintoinen keskustelu, joka johti omaltani sekä yhdistyksen kannalta vieläkin mielenkiintoisempaan tapahtumaketjuun. Meille tarjottiin tilaisuus osallistua kansainväliseen CDX12-kybersotaharjoitukseen pienessä sivuroolissa. Olimme Viron Cyber Defence Leaguen ohella toinen ”koekaniiniryhmä”, jonka tarkoitus oli testata harjoituksen skenaariota sekä infraa noin kuukausi ennen varsinaista harjoitusta.

Helmikuun alku. Harjoituksen testiajo lähestyi. Ylläpidosta kasattiin kymmenen hengen ”Blue Team” osallistumaan harjoitukseen. Erilaisia valmistelevia pohdintoja alettiin pitää mahdollisista tekniikoista, joilla erilaisiin infraa vastaan kohdistuviin verkkohyökkäyksiin voitaisiin parhaalla mahdollisella tavalla vastata. Strategian pohjaksi valittiin tietysti Kapsin oma tietoturvamalli ja samat tekniikat, jotka on käytössä myös yhdistyksen järjestelmien suojaamisessa. Pohdittiin uusia tapoja havainnoida hyökkäyksiä ja löytää järjestelmästä poikkeavuuksia. Koodia syntyi, speksi kehittyi.

All hands on deck!

Ylläpitäjäjoukko saa hälytyksen. Kansallisesti merkittävän Internet-operaattorin järjestelmiin kohdistuu parhaillaan kyberhyökkäys! Operaattorin pääasiallinen ylläpitotiimi on poissa ja tavoittamattomissa. Kasataan porukka, joka ei tunne infraa juuri entuudestaan. Dokumentaatio ei ole ajan tasalla. Verkkokuvista ja järjestelmäkuvauksista on jotain apua tilanteen hahmottamisessa. Omituisia asioita tapahtuu eri puolilla verkkoja.

Kapsin urhoollinen task force kokoontuu saman katon alle, tälläkertaa yhdistyksen pieneksi käyvään toimitilaan, selvittämään tilannetta ja turvaamaan infraa. Osa järjestelmistä on todella vanhoja, päivittämättä ja pahasti haavoittuvia. Tuntemattomassa tilanteessa infra täytyy saada nopeasti haltuun. Mahdollisimman moni julkisesti saatavilla oleva järjestelmä päivitetään ja Linux-kernelit vaihdetaan Kapsin omiin käännöksiin. Varustelu on alkanut.

Kaikkien järjestelmien logit ajetaan keskitettyyn paikkaan ja filtteröidään isolle screenille kaikkien nähtäville. Jos jotain merkittävää tapahtuu, se näkyy kaikille heti. Muut havainnointi ja vastatoimet alkavat olla paikoillaan.

Verkkotiimi alkaa päästä ennalta tuntemattoman palomuuriratkaisun jäljille. Verkko on ensimmäinen elementti, jossa hyökkääjä voidaan havaita. Samalla myös viimeinen työkalu, jolla mahdollinen tunkeutuja saadaan irti järjestelmistä. Ennakkovalmisteluja ei juuri verkon osalta keretty tekemään. Nyt mennään vaistojen ja pitkän kokemuksen turvin. Verkkotiimissä on kaksi henkilöä, mukana on Kapsin ylläpitotiimin tuolloin tuorein vahvistus, pitkän linjan kokenut verkkosäätäjä.

Hyökkäyksiä aletaan havaita. Jollain koneella on backdoor. Onneksi tilanne näkyy heti ja hälytykset sekä vastatoimet toimivat. Hyökkääjä on järjestelmistä ulkona jo ennen kuin tilanteeseen keretään reagoida. Kolmen ylläpitäjän vahvuiselle response-teamille jäi tälläerää vain takaoven siivoilu järjestelmästä.

Tästä eteenpäin hyökkäyksiä tulee useita yhtäaikaisesti ja kädet täyttyvät töistä. Operaattorin asiakkaiden WWW-sivuja onnistutaan töhrimään PHP-reiän kautta. Myös web-palvelimelle yritetään rootiksi, mutta jälleen kerran tuloksetta. Response-team hoitaa Linux-järjestelmiä jatkuvasti parempaan suuntaan ja paikkailee löydettyjä haavoittuvuuksia ja konfiguraatiovirheitä.

Windows-rintamalla yritetään asennella päivityksiä ja tarkastaa turvallisuusasetukset kohdalleen. Osa Windows-työasemista simuloi yrityksen hallinnon käyttöä. Käyttäjät availevat sähköpostilla tulleita linkkejä ja tiedostoja. Yksi PDF-tiedosto jäi verkkotiimin pystyttämään web-proxyyn. Haitanteko estyi jo ennalta.

Sähköpostipalvelimet eivät toimi. Harjoitusinfrassa on selkeitä ongelmia virtuaalikoneiden levyjen kanssa. Järjestelmät ovat hitaita ja osa koneista täysin käyttökelvottomia. Harjoituksen tekninen tiimi tutkii tilannetta. Ongelmiin ei saatu ratkaisua testiajon aikana. On syytä käydä asiat läpi ennen varsinaista harjoitusta. Testitiimejä oli kaksi, varsinaisessa harjoituksessa on yhdeksän. Tilanne ei näytä erityisen hyvältä.

Tutustun hieman tarkemmin harjoituksen taustalla olevaan tekniseen ympäristöön. Käy ilmi, että SAN-valmistajan ilmoittama levyjärjestelmän vauhti ei aivan vastaa reaalimailman toteumaa. Täytyy keksiä jokin vaihtoehtoinen ratkaisu. Aikaa on alle kolme viikkoa.

Kapsin uusi Siika-levyjärjestelmä otettiin ajoon reilut kaksi kuukautta aiemmin. Sitä ennen testausta tehtiin lähes vuosi. Pohdinta siirtyi Siika-järjestelmän hyödyntämään Solaris-pohjaiseen OpenIndiana-käyttöjärjestelmään ja sen ZFS-tiedostojärejstelmään. Saataisiinko tehokkaalla cachella riittävän paljon suorituskykyä olemassaolevalla raudalla, jotta testiajon ongelmat eivät toistuisi? Asiaa täytyy kokeilla käytännössä.

Kaksi Kapsin ylläpidon edustajaa pystyttää yhdelle blade-palvelimelle OpenIndianan. Levyt tulevat SAN-järjestelmästä 10 Gbps -verkon ylitse. Alustavat suorituskykyarvot vaikuttavat erittäin lupaavilta. Testauksen jälkeen päädytään siihen yhdessä teknisen tiimin kanssa, että tämä on paras ratkaisu mikä tällä aikataululla on järjestettävissä. Muita virtualisointijärjestelmän osa-alueita hienosäädetään. Harjoitus lähestyy.

To be continued, mikäli lukijoita kiinnostaa… 😉

Tämä artikkeli on kirjoitettu perjantaina 19. lokakuuta 2012 klo 1:29 ja sen aiheena on Yhdistystoiminta, Ylläpito. Voit seurata tähän merkintään tulevia kommentteja tilaamalla RSS 2.0-syötteen. Voit vastata tai tehdä paluuviitteen omalta sivustoltasi.