Ylläpito « Kapsi BLOG

Arkisto aiheelle ‘Ylläpito’

Kapsin web-palvelinuudistus

keskiviikkona 20. heinäkuuta 2016

Kapsin web-palvelinten historia

Kapsilla oli aikaisemmin muutaman palvelingeneraation ajan dedikoidut web-palvelimet Kirsikka ja Karviainen. Vuosien 2012 ja 2013 aikana tehtiin päätös systemaattisesti ruveta siirtämään Kapsin infrastruktuuria fyysisestä ympäristöstä vahvasti virtualisoituun ympäristöön. Ensimmäisessä vaiheessa vanhat web-palvelimet migratoitiin sellaisenaan ja palvelimiin lyötiin lähinnä lisää muistia, joka ratkaisi sen hetkiset tarpeet. Tämä ratkaisu noudatti lähinnä perinteistä ”rautaa rajalle” -ratkaisua.

Virtualisoidun infrastruktuurin hyödyntäminen

Vuoden 2014 aikana aloitettiin kehittämään web-palvelimen arkkitehtuuria vastaamaan tulevaisuuden tarpeita ja hyödyntämään virtualisoidun infrastruktuurin arkkitehtuuria täysimääräisesti. Nopeasti tultiin havaintoon, että edusta- ja taustapalvelimet halutaan eriyttää toisistaan ja nämä halutaan rakentaa arkkitehtuurillisesti siten, että ovat skaalattavissa tarpeen mukaan.

Seuraavat asiat on tehty

Kaikkien nettisivujen nimipalvelut, jotka on osoitettu Kapsin nimipalvelimille, on siirretty osoittamaan uusia frontend-web-palvelimia. Nämä ohjaavat toistaiseksi vanhoille taustapalvelimille Kirsikalle ja Karviaiselle. Sivustot (”sites”) on kopioitu uudelle levyjärjestelmälle ja sivustohakemisto on korvattu symbolisella linkillä uuteen levyalueeseen. Vanhat ”sites”-hakemistot on siirretty nimelle sites.old ja nämä tullaan poistamaan ylläpidon toimesta lähiaikoina. Halutessasi voit poistaa ”sites.old”-hakemiston myös itse. Ylläpito luo kaikki uudet vhostit oletuksena uusille taustapalvelimille.

Käyttäjille näkyvät muutokset

Sivustot on omassa tiedostojärjestelmässään ja käytetyn ratkaisun vuoksi quota-komento ei toimi oikein. Itse quota on siitä huolimatta voimassa, kuten aikaisemminkin. Edusta- ja taustapalvelut on eriytetty omille virtuaalikoneilleen, joka mahdollistaa jatkossa koneiden ohjelmistopäivitykset helpommin.

Koti.kapsi.fi/~käyttäjätunnus-osoitteet tulevat jatkossa häviämään kokonaan ja ne korvataan käyttäjätunnus.kapsi.fi-osoitteilla. Mikäli haluat käyttäjätunnus.kapsi.fi-osoitteen, ole yhteydessä ylläpitoon.

Uusien taustojen käyttöönoton yhteydessä ”secure-www”-hakemisto poistuu käytöstä kokonaan. Sekä salattu, että salaamaton sivusto palvellaan ”www”-hakemistosta. Mikäli haluat uudelleenohjauksen HTTP → HTTPS, niin sen voi toteuttaa .htaccess-tiedostolla näin:

RewriteEngine On
RewriteCond %{ENV:HTTPS} !on
RewriteRule (.*) https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]

Uusilta taustapalvelimilta ei ole oletusarvoisesti mahdollista käyttää Siilon levytilaa. Tämä on estetty, jotta mahdolliset tietoturvapoikkeukset käyttäjän web-hakemistoissa eivät paljastaisi varmuuskopioita hyökkääjälle. Siilon käyttöön webin yli on tehty oma taustapalvelimensa (websiilo1), jonka voi pyytää käyttöön halutuille sivustoille ylläpidolta.

Tällä hetkellä jäsenet pääsevät kirjautumaan omilla tunnuksillaan web-koneilla Kirsikka ja Karviainen. Uusille web-palvelimille ei ole pääsyä jäsenillä, mutta sovelluspalvelimia ja muita shell-pääsyn vaativaa käyttöä varten on tehty webapp1-kone, joka löytyy osoitteesta webapp1.kapsi.fi.

Oman sivuston siirtäminen uusille taustoille

Ennen siirtämistä sivustosi pitää osoittaa uusille edustapalvelimille. Mikäli nimipalvelusi ovat Kapsilla, on tämä jo tehty. Mikäli ei, niin suosittelemme tekemään nimipalvelussa seuraavan nimipalvelutietueen:

oma.sivusto.tld IN CNAME sites.kapsi.fi.

(tai ssl-sites.kapsi.fi, mikäli sivustosi toimii salattuna). Voit toki vaihtoehtoisesti tehdä A- ja AAAA-tietueet suoraan kohti uusia edustapalvelimia:

oma.sivusto.tld IN A 91.232.156.81
oma.sivusto.tld IN A 91.232.156.82
oma.sivusto.tld IN AAAA 2001:67c:1be8::80:1
oma.sivusto.tld IN AAAA 2001:67c:1be8::80:2

Seuraavana pitää suorittaa migraatio järjestelmässä. Lakalta löytyy komento web2migrate.py, joka siirtää www-sivusi palveltavaksi uusilta taustapalvelimilta. web2migrate.py list -komennolla voit listata omien vhostiesi migraation tilan. web2migrate.py migrate omavhost.domain.tld -komennolla voit migratoida omat vhostisi uudelle taustapalvelimelle. Yhden vhostin migratointiin kuluu aikaa 5–15 minuuttia. Huomioithan, että sivusi saattaa olla toimimatta migraation aikana.

Huomioitavia asioita:

Uusilla backend-palvelimilla on asennettu PHP 5.6 sekä Apache 2.4.
Apache-sovelluspalvelimessa on tällä hetkellä käytössä Apache 2.2 -yhteensopivuustila.
Konfiguraatiot olisi hyvä saattaa 2.4-konfiguraatioiden mukaiseksi, koska jossain vaiheessa yhteensopivuustilasta pitää luopua.

Aikataulu

Uudet taustat ovat tällä hetkellä mahdollista ottaa käyttöön kaikille sivustoille. Ylläpito migratoi kaikki loput sivustot 17.2.2017.

Mikäli haluat varmistaa sivustosi toiminnan, on migraatio syytä tehdä web2migrate.py-skriptillä haluttuna ajankohtana. Näin voit itse korjata mahdolliset migraation tuomat ongelmat heti.

Päivitys 16.1.2017: Korjattu faktoja aikataulujen sekä webapp1- ja websiilo1-palvelinten osalta.

Aihe: Sekalaista, Ylläpito | 19 kommenttia »

Ylläpidon säätöeventti 1/2016

torstaina 16. kesäkuuta 2016

Vuoden ensimmäinen ylläpidon säätöeventti järjestettiin 21.-24.1.2016 Kirkkonummella. Etukäteen agendalla oli mm. ylläpidon tikettijonon tyhjennystä, tulevan jäsenresurssijärjestelmän kehittämistä ja logien analysointijärjestelmän kehittämistä. Lisäksi paikalla oli ylläpidon jäseniä, jotka vaikuttavat yhdistyksen hallituksessa. Tarkoituksena oli näin edistää viimevuonna vaiheeseen jäänyttä yhdistyksien sääntöjen uudistamisprojektia.

Renki

Jäsenille suunnatun itsepalveluportaalin kehitystä on jatkettu intensiivisesti viime vuoden aikana. Tämä kunnianhimoinen sekä varsin haastava kokonaisuus alkaa pikkuhiljaa lähestyä pistettä, jossa ensimmäiset moduulit alkavat valmistua. Tavoitteenamme on julkaista ensimmäinen rajattu versio jäsenistön käyttöön tämän vuoden aikana.

Kartat.kapsi.fi

Kartat.kapsi.fi tarjoaa Maanmittauslaitoksen kartta-aineistoja yleiseen käyttöön. Päivitimme kartat.kapsi.fi -palvelun aineistoja 2 vuoden takaisesta aineistoista MML:n äskettäin julkaistuun aineistoon. Samalla karttoihin saatiin uusia välitasoja. Näiden lisäksi tutustuttiin MML:n laserkeilausaineistoihin ja niiden käyttömahdollisuuksiin.

Sääntömuutosprojekti

Sääntömuutos oli tarkoitus tehdä jo vuoden 2015 aikana. Erinäisten kiireiden ja mm. uuden levyjärjestelmän hankinnan vietyä todella suuren osan Kapsin toimihenkilöiden ajasta, projekti päätettiin viime keväänä siirtää vuodella eteenpäin. Tällä hetkellä olemme luonnostelleet ensimmäistä versiota sääntömuutoksesta. Sääntömuutosehdotus on tarkoitus tuoda ensimmäisen kerran käsittelyyn yhdistyksen vuosikokoukseen keväällä. Sääntömuutoksessa on tarkoitus tehdä pieniä viilauksia mm. hallituksen kokoonpanoon sekä suurimpana muutoksena yhdistyksen kokousten etäosallistumisen mahdollistaminen.

Pienempiä suoritteita

Näiden isompien kokonaisuuksien lisäksi agendalla oli monia pienempiä asioita. Siilon levytila on paria viimeistä käyttäjää lukuunottamatta siirretty uudelle levyjärjestelmälle. Virtuaalikone missä pyörii kapsin toissijaiset nimipalvelut päivitettiin. Lisäksi uusittiin kapsin ylläpitäjien VPN-yhteyksiä vastaanottanut vanha Juniperin SSG -laite uuteen Juniperin SRX -laitteeseen. Lisäksi murskattiin runsaasti tikettejä sekä tehtiin suunnitelmia alkaneen vuoden varalle.

Aihe: Ylläpito | Ei kommentteja »

Ylläpidon säätöeventit 2015

torstaina 16. kesäkuuta 2016

Kapsin ylläpito kokoontui viime vuonna useamman kerran viimevuosina perinteiksi tulleisiin säätöviikonloppuihin. Säätöviikonloppuja on aiemmin pidetty mm. Kirkkonummella, Saariselällä sekä Oulussa. Lisäksi on pidetty uudenlaisella konseptilla tämän vuoden vuosikokous ja vaalikokousviikonloput, joista omassa blogipostauksessa lisää.

Tunkkausviikonloppu 1/2015 13-15.3.2015

Vuoden ensimmäinen tunkkausviikonloppu järjestettiin maaliskuussa kirkkonummen porkkalanniemellä. Viikonlopun aikana järjestettiin muunmuassa ylläpidon kesken vertaiskoulutusta DNS-järjestelmien suhteen sekä palaverattiin mahdollisen storage järjestelmän toimittajan kanssa kapsin storage-järjestelmän tarpeista ja mahdollisuuksista heidän puoleltaan järjestelmän toimittamiseksi.

Varsinaisten asioiden edistämispuolella keskiössä olivat tällä kerralla kartat.kapsi.fi:n ulkoasun parantaminen ja yleinen kehityspuuha sekä status.kapsi.fi:n jatkokehitys. Status.kapsi.fi:stä voit seurata kapsin palveluiden statuksia yksinkertaisesti. Perinteiseen tapaa kämpissä kehitettiin myös kapsin ikuisuusprojektirenkiä, joka mahdollistaa tulevaisuudessa toivottavasti jo vuoden 2016 aikana omien resurssien hallinnan käyttöliittymästä.

Tunkkausviikonloppu 2/2015 24-27.9.2015

Syksyn tunkkausviikonloppu pidettiin syyskuussa saariselän maisemissa.

Ensimmäisen tunkkausviikonlopun jälkeen päädyttiin hankkimaan kapsille uusi storage, joksi valikoitui lopulta Dellin Compellent järjestelmä. Tunkkausviikonlopun merkittävimpänä asiana olikin kesän aikana asennetun storagejärjestelmän ihmettely sekä migraatiosuunnitelman tekeminen seuraaville kuukausille siitä miten saadaan storagejärjestelmä migratoitua siten, että jäsenistölle aiheuttaa mahdollisimman vähän haittaa asiasta.

Kämpin aikana edistettiin myös tulevan WEB2.0:n ohjeistusta, uuden tikettijärjestelmän käyttöönottoa sekä tehtiin pieniä parannuksia kartat.kapsi.fi järjestelmään.

Vuoden kolmas puhtaasti ylläpidon tunkkausviikonloppu siirtyi pidettäväksi vuoden 2016 puolella.

Aihe: Ylläpito | Ei kommentteja »

Kapsi Internet-käyttäjät ry ei ryhdy verkkotunnusvälittäjäksi (korjattu)

maanantaina 9. toukokuuta 2016

KORJAUS: Väärä termi käytössä; Kapsi ei lopeta verkkotunnusoperointia, mutta ei myöskään aloita verkkotunnusten välittämistä.

Yhdistyksen hallitus on linjannut, ettei Kapsi Internet-käyttäjät ry ryhdy verkkotunnusvälittäjäksi.

Päätökseen johti eritoten pyrkimys vältellä kilpailutilanteen muodostamista kaupallisten toimijoiden suhteen, sekä verkkotunnusvälittäjältä edellytettävien velvoitteiden tuoma taakka.

Yhdistys pyrkii omalta osaltaan tekemään verkkotunnusten käytöstä mahdollisimman sujuvaa ja tukee käyttäjiä tarvittaessa niiden käytössä.

Fi-verkkotunnusten hakemisen osalta vaikuttaa olevan paljon epäselvyyksiä yleisellä tasolla. Syyskuun alussa tapahtuva muutos tarkoittaa käytännössä sitä, että jatkossa fi-verkkotunnuksia voi hakea samoilta verkkotunnusvälittäjiltä kuin esimerkiksi .com, .net tai .org verkkotunnuksia. Olemassaolevien fi-verkkotunnusten siirtäminen näille välittäjille vaatii siirtotunnuksen (transfer key) käyttöä.

Mikäli verkkotunnuksien hallinnointi on outoa ja etäistä, kannattaa ennen välittäjän valitsemista tutustua tarjolla oleviin vaihtoehtoihin.

Joitakin verkkotunnusvälittäjiä:

Taustaa

Viestintävirasto ottaa 5.9.2016 alkaen käyttöön fi-verkkotunnusten suhteen uudenlaisen toimintamallin, jossa verkkotunnusten välittäminen ja hallinnointi siirtyy verkkotunnusvälittäjille. Toimintamalli liittyy tietoyhteyskuntakaaren myötä esiteltyyn sääntelyyn, jossa fi-verkkotunnusten haku on myös vapaampaa eikä esimerkiksi hakijan iällä taikka kansallisuudella tule olemaan merkitystä.

Lisätietoa Viestintäviraston nettisivuilla: https://domain.fi/info/index/fi_uudistuu.html

Aihe: Hallitustoiminta, Helpdesk, Yhdistystoiminta, Ylläpito | 5 kommenttia »

Puolen Petan Fugu

tiistaina 15. joulukuuta 2015

Kirjoittajat: Henri Strand ja Jesse Hulkko.

Yhdistyksen uusi storage lähenee tuotannollista käyttöönottoaan. Tässä kohti on hyvä hieman istahtaa alas ja käydä läpi Kapsin tähän asti suurimman, toiminnallisesti kriittisimmän (ja hintavimman) infrauudistuksen tavoitteita, projektin eri vaiheita ja tämänhetkistä tilaa näin blogin välityksellä.

Jokaisella Kapsin jäsenellä on käytössään 500 gigatavua erikseen varmentamatonta tallennustilaa varmuuskopioille. Tätä tallennustilaa kutsutaan Siiloksi ja se on ollut käytettävissä jokaisen jäsenen kotihakemistosta kansiosta ”~/siilo/”.

Kuten yllä olevasta kuvasta näkyy, Siilo-levytila on ollut aktiivisessa ja alati kasvavassa käytössä. Kapasiteettia on lisätty tarpeen vaatiessa.

Nyt eteen on tullut kriittinen tilanne; Siilo-levytila on käytännössä täynnä. Noin viisi vuotta sitten käyttöön otettu Siika-levypalvelin on lastattu täyteen kiintolevyjä ja se on palvelusikänsä päätteessä. Tilannetta ei helpota se, että Siika-palvelimen Solaris-pohjainen ZFS-järjestelmä on rajusti muokattu sekä useita major-versioita vanha. Siihen ei uskalleta enää tehdä suuria muutoksia. Ylläpidossa pidettiin jopa pienenä ihmeenä sitä, että Siika selvisi syyskuun alussa tapahtuneesta uudelleenkäynnistyksestä hengissä.

Siika-palvelimen käyttöönotosta voi lukea viiden vuoden takaisesta blogipostauksesta: https://blog.kapsi.fi/2010/09/29/270-teran-siika/

Uusi levyjärjestelmä — Fugu

Keväällä hankimme pitkällisen tallennusjärjestelmän uudistamisprojektin päätteeksi Dell Compellent SC8000 -levypalvelimen, jonka nimesimme japanilaisen pallokalalajin mukaan Fuguksi. Ensialkuun Fugussa on 504 teratavua eli noin puoli petatavua levytilaa. RAID-tekniikkojen käytön jälkeen käytettävää tallennustilaa jää noin 486 teratavua. Tämän arvioidaan riittävän nykyisen kasvun ja projektien puitteissa riittävän pitkään. Järjestelmä on myöskin laajennettavissa edelleen lisäämällä siihen levyhyllyjä.

Fugu koostuu useasta eri osasta: kahdesta toisiaan varmentavasta kontrollerista, SSD-levyhyllystä ja HDD-levyhyllystä. HDD-kiintolevyhyllyssä on 84 kpl 6 Tt NLSAS-kiintolevyjä ja SSD-hyllyyn on kalustettu nyt 8 kpl 1,9 Tt SSD-kiintolevyä. Käytännön räkkitilaa Fugu vie 42 räkkiunitin kaapistamme tällä hetkellä 11 räkkiunittia eli käytännön mitoissa vajaa puoli metriä.

Fugu-levypalvelin sisältää kaksi ohjainyksikköä, SSD-hyllyn ja aluksi yhden varsinaisen 5U kokoisen levyhyllyn. Yhdistyksen muuhun infrastruktuuriin liittytään yhdistyksen 10GE verkkoinfran kautta.

Fugu saapui Nebulan konesaliin toukokuun lopussa, jonka jälkeen alkoi työmaa.

Työmaan suurin ongelma on nykyisten datojen siirto Fugulle. Suurin osa Siian datasta on jäsenten käyttöön tarkoitetun Siilo-tallennustilan tiedostoja. Toisiksi suurin yksittäinen datamassa koostuu Maanmittauslaitoksen avoimesta paikkatietoaineistosta, jota julkaistaan osoitteessa kartat.kapsi.fi.

ZFS jää myös uuden järjestelmän pääasialliseksi tiedostojärjestelmäksi. Itse Fugu tarjoaa ulospäin ainoastaan iSCSI-blokkilevyjä, joten tiedostojärjestelmä täytyy toteuttaa muulla tavoin. Kapsin käytössä on pitkään ollut NFS-pohjainen palvelinten välille jaettu levytila, joka on vanha, mutta toimiva teknologia. Puutteena on kuitenkin erityisesti metadata-tietojen hitaus suuria tiedostomääriä käsitellessä. Tämä tuli vastaan myös pyrkiessämme virtualisoimaan ZFS:ää toteuttavan NAS-koneen jakamaan NFS:ää yhdistyksen jäsenten käytössä oleville koneille. Tässä kohti varsin iso prioriteetti on kuitenkin saada Siilon varaama osa Siika-levyjärjestelmää poistettua käytöstä.

Fugun looginen topologia: Fugu itsessään tarjoaa blokkilevyä iSCSI:n ylitse. Siilo on esimerkki jaetusta isokokoisesta yksittäisestä tiedostojärjestelmästä, jota käytetään yhtäaikaisesti useammalta koneelta. Toteutuksena Kapsilla käytetään ZFS:ää, joka on virtualisoituna nyt siilo.kapsi.fi -palvelimella.

Haluaisimme siirtää kaiken datan nopeasti Fugulle. Tämä ei tietenkään onnistu nopeasti tai varsinkaan yksinkertaisesti. Ensimmäinen yritys oli siirtää koko siilo-datamassa kerralla hyödyntäen ZFS:n tiedostojärjestelmätason lähetys- ja vastaanotto-ominaisuutta (zfs send ja zfs recv). Ongelmaksi muodostui juurikin datan pirstaloitumisesta aiheutunut erittäin hidas siirtonopeus, jonka puitteissa siirto olisi vienyt noin 3 kuukautta aikaa. Tämä ei aikataulullisesti käynyt päinsä, vaan migraatio päätettiin tehdä tiedostotasolla käyttäen perinteisempää rsync-menetelmää.

Rsync-menetelmän etu on siinä, että käyttäjät voidaan siirtää uutteen järjestelmään yksitellen, jolloin yhden käyttäjän kokema palvelukatko on hyvin lyhyt, vain jotain minuutteja. Lisäksi pystyimme käyttämään yhdistyksen toimihenkilöiden siilo-levytiloja koekaniinina ja korjaamaan varsinaisen migraation aikana tulleita virhetilanteita jo hyvin aikaisessa vaiheessa.

Tämän hetken tilanne – Siilon migraatio

Nyt uusi Siilo-levytila Fugu-palvelimen tarjoamana on käytössä jo 4/5 käyttäjistä eli tämän hetken käyttäjämäärällä noin 4800 käyttäjää ja sisältäen noin 137 teratavua dataa. Migraatio ei ole mennyt täysin ilman ongelmia. Uusi virtualisoitu ZFS-tiedostojärjestelmää tarjoava siilo-virtuaalikone on odotettua hitaampi ja vie huomattavan määrän CPU-aikaa suhteessa vanhaan järjestelmään. Seuraavaksi parannamme virtualisoidun siilo.kapsi.fi -palvelimen suorituskykyä päivittämällä ZFS on Linux -ajurin sekä verkkoajurit uudempaan ja lisäämällä koneen käyttöön CPU coreja.

Suorituskykyyn liittyvien ongelmien ratkomisen jälkeen jatkamme migraatiota siirtämällä myös nykyiset käyttäjien varsinaiset kotihakemistot vastaavaan virtualisoidun ZFS on Linux -palvelimen palveltavaksi. Itse Fugu on osoittautunut erittäin nopeaksi ja toimivaksi ratkaisuksi. Kapsin ympäristössä haasteena on nimenomaisesti isokokoinen ja monelle koneelle jaettu yksittäinen tiedostojärjestelmä. Tästä on joka tapauksessa hyvä jatkaa ja kehittää yhdistyksen palveluita edelleen.

Avainsanat:fugu, iscsi, storage, zfs
Aihe: Ylläpito | Ei kommentteja »

Ylläpidon säätöviikonloppu 5/2014

tiistaina 20. tammikuuta 2015

Joulukuun puolivälissä vietettiin Kirkkonummen perämetsissä vuoden 2014 viidettä ja viimeistä ylläpidon säätöviikonloppua. Tämä säätöraportti on hieman myöhässä, sillä se unohtui luonnoksena odottamaan julkaisua – pahoittelut siitä! Säätöviikonlopussa suunniteltiin ja toteutettiin kauaskantoisia infrauudistuksia, kuten uutta web-palvelinjärjestelmää sekä uutta tallennusinfrastruktuuria.

Säätäjä on dossattu

Web-infrastruktuurilla tarkoitamme sitä laitteisto- ja ohjelmistoratkaisua, jolla Kapsin jäsenten web-sivuja palvellaan Internetiin. Nykyinen web-infrastruktuuri on siirretty lähes sellaisenaan vanhalta fyysiseltä raudalta virtualisoituun ympäristöön, eikä se hyödynnä täysin virtualisoinnin mukanaan tuomia mahdollisuuksia. Lisäksi nykyisen web-infrastruktuurin arkkitehtuuri ja konfiguraatio ovat kehittyneet vuosien varrella ns. orgaanisesti, ja tulos on luonteeltaan sen verran karvainen, että minkään uusien ominaisuuksien kehittäminen sen päälle on vaikeaa, työlästä ja virhealtista.

Uusi web-infrastruktuuri on suunniteltu alusta asti vikasietoiseksi ja suorituskykyiseksi: kun yksi taustapalvelin joudutaan ottamaan pois käytöstä ylläpito- ja huoltotoimenpiteiden vuoksi, loput taustapalvelimet jakavat sille aiemmin osuneen kuorman. Perinteiset PHP-sivustot tullaan ajamaan uudessa virtualisointia ja klusterointia hyödyntävässä eristetyssä ympäristössä, joka tulee kuitenkin samalla myös asettamaan hieman erilaiset vaatimukset jäsenten omille web-palveluille. Samalla pyrimme myös edistämään erilaisten palvelinohjelmistoina ajettavien web-alustojen (esim. Django & Gunicorn, Ruby on Rails, Node.JS) käyttömahdollisuuksia.

Uuden ympäristön käyttöönotto alkaa vuoden 2015 aikana, ja siirtyminen tulee tapahtumaan vaiheittain jäsenien toimesta. Kirjoitamme muutoksista ja siirtymisestä tarkemmin myöhemmin.

Säätäjä on dossattu II

Myös uuden tallennusinfrastruktuurin suunnittelu eteni harppauksilla säätöviikonlopun aikana. Tässä puhutaan siis useiden satojen teratavujen suuruisen kovalevytilan tarjoamisesta yhdistyksen muiden palveluiden käyttöön. Kyseessä on Kapsin kannalta iso suunnitteluprojekti ja ennen kaikkea rahallisesti suuri hankinta. Käyttäjille näkyvistä muutoksista ensimmäinen on Siilo-varmuuskopiointitilan siirto uuteen tallennusjärjestelmään, joka toteutuu todennäköisesti vuoden 2015 aikana.

Bonkki saa uuden elämän testipalvelimina

Oma tehtävänäni toimariporukassa on kehittää Edegal-kuvagalleriaa, josta kaavailemme jäsenille helposti asennettavaa ja helppokäyttöistä selainpohjaista kuvagalleriaa. Edegal on avoimen lähdekoodin ohjelmisto, jonka lähdekoodi löytyy GitHubista. Demoa kaipaavat voivat tutustua esimerkiksi omaan kuvagalleriaani, Anikin uuteen kuva-arkistoon tai Insomnia-verkkopelitapahtuman kuvagalleriaan.

Projekti on ollut käynnissä juhannuksesta 2013. Sitä voisi ennen kaikkea kuvata oppimiskokemuksena: tänä aikana on tullut yhä selvemmäksi miten kuvagalleria kannattaa ja ei kannata toteuttaa. Keväällä koitti koko palvelinpään uudelleenkirjoittaminen, edellisessä säätöviikonlopussa modernisoin kehitystyökalut ja JavaScript-kirjastot vuoteen 2014 ja tällä kertaa kirjoitin selainpään uusiksi. Vanha Backbone- ja Transparency-kirjastojen päälle rakennettu arkkitehtuuri sai väistyä uuden, Knockout-ohjelmistokehyksen päälle rakennetun tieltä.

Käyttäjälle ulkonäkö ja käyttökokemus pysyivät täysin identtisinä, mutta CoffeeScript-lähdekoodin määrä putosi noin puoleen – noin 400:sta noin 200:aan. Tämänhetkinen versio Edegalista on hyvä pohja lähteä rakentamaan keskeisimpiä puuttuvia ominaisuuksia kuten selainpohjaista kuvien lisäystä.

Avainsanat:edegal, storage 3.0, web 2.0
Aihe: Ylläpito | Ei kommentteja »

Ylläpidon säätöviikonloppu 4/2014

sunnuntaina 21. syyskuuta 2014

Tänä viikonloppuna vietettiin Kirkkonummen perämetsissä jälleen ylläpidon säätöviikonloppua. Joukossa oli mukana useita uusia säätäjiä – allekirjoittanut mukaan luettuna – ja viikonlopun aikana rakenneltiin useita siistejä uusia palveluita, kuten Teamspeak-palvelinta, Renki-itsepalveluportaalia, Atlassianin tiimityöohjelmistoja ja Edegal-kuvagalleriaa. Taustapuolella muun muassa päivitettiin varmuuskopiointipalvelin Turskan ohjelmistoa ja prototyypattiin Kapsin tulevaa tallennusinfrastruktuuria.

Radioaktiivisten ratkaisujen käsittely vaatii asianmukaiset suojavarusteet.

Siinä missä muut säätöviikonlopun projektit ovat tulevaisuuteen katsovia pitkäaikaisia kehitysprojekteja, Kapsin avoin Teamspeak-palvelin on kaikkien käytettävissä alkaen tästä hetkestä. Teamspeak on erityisesti pelaajien suosiossa oleva reaaliaikainen äänikeskusteluohjelmisto. Tarvitset Teamspeakin käyttöön vain kuulokkeet, mikrofonin sekä ilmaisen Teamspeak-asiakasohjelman. Kapsin Teamspeak-palvelimen löydät osoitteesta teamspeak.kapsi.fi, ja sen salasana on kapsionparas. Väliaikaisia huoneita voi palvelimelle tehdä kuka tahansa, ja pysyviä huoneita voi pyytää Teamspeakissa roikkuvilta ylläpitäjiltä.

Atlassianin tiimityöohjelmistot Confluence, Jira ja Stash tuodaan jäsenten käyttöön talven 2014–2015 aikana. Confluence on kehittynyt ja helppokäyttöinen wiki, Jira on erityisesti ohjelmistoprojektien käyttöön kehitetty tiketöintijärjestelmä ja Stash on hieman Githubin ja Bitbucketin tyyppinen web-pohjainen hallintakäyttöliittymä Git-versionhallintajärjestelmälle. Confluencea, Jiraa ja Stashia voivat jäsenet käyttää niin julkisille kuin yksityisillekin projekteilleen – oli kyse sitten avoimen lähdekoodin ohjelmistoprojektista, roolipeliporukan pelikertomuswikistä tai vaikka hääjärjestelyistä.

Renki on kunnianhimoinen hanke, jonka tarkoituksena on tarjota jäsenille web-pohjainen itsepalveluportaali erikseen pyydettävien jäsenpalveluiden hallintaan. Nykyään esimerkiksi tietokannat ja nimipalvelut täytyy pyytää sähköpostitse ylläpidolta, mutta Rengin käyttöönoton jälkeen tämä käy näppärästi helppokäyttöisellä web-lomakkeella. Tarkoituksena on myös automatisoida ne ylläpitoprosessit, jotka ovat helposti automatisoitavissa, jolloin pyyntöjen läpimenoajat lyhenevät tuntuvasti nykyisestä.

Edegal on web-pohjainen kuvagalleriaohjelmisto, jonka prototyypin rakentelin juhannuksena 2013 cosplay- ja animetapahtumia dokumentoivaa Anikin kuva-arkistoa varten. Edegal on suunniteltu alusta asti tarjoamaan mahdollisimman nopea käyttökokemus, ja mielestäni olen tässä onnistunut: albumien ja kuvien latautumista ei todellakaan tarvitse odotella. Pidemmän tähtäimen tavoitteena on tarjota kuvagallerioita Kapsin jäsenille helposti asennettavana jäsenpalveluna. Edegal on tällä hetkellä vielä varsin aikaisessa kehitysvaiheessa, mutta esimakua saa tutustumalla esimerkiksi Anikin uuteen kuva-arkistoon tai Insomnian galleriaan. Rämäpäisimmät voivat lukea ohjeet ja sukeltaa koodiin GitHubissa.

Avainsanat:confluence, edegal, jira, renki, stash, teamspeak
Aihe: Ylläpito | Yksi kommentti »

Ylläpidon tunkkausviikonloppu I/2012

maanantaina 22. lokakuuta 2012

Kapsin ylläpidossa on reilu tusina hyvinkin tavanomaisen oloista kaveria, joiden intohimon kohteena vain sattuu keskimääräistä useammin olemaan ZFS-levyjärjestelmän tai Linuxin kernelin optimointi tuhansien käyttäjien palvelinjärjestelmään. Ylläpito on se Kapsin elin, joka parhaansa mukaan pitää huolen siitä, että Kapsin jäsenistö pystyy huoletta käyttämään Kapsin palveluita ilman turhia käyttökatkoja tai hidastumisia.

Rutiininomaista ylläpitotyötä tapahtuu päivittäin, ja tähän kuuluu kaikkea palvelupyyntöihin vastaamisesta omituisen muistikuorman selvittämiseen levypalvelimella. Tämä on sitä työtä, joka pitää palvelut ajossa ja Kapsin lipun korkealla. Mutta kuten pitkäaikaisimmat jäseneemme ovat ehkä huomanneet, niin Kapsihan kehittyy jatkuvasti. Uusia palvelimia hankitaan, uusia palveluita nostetaan pystyyn ja olemassa olevia palveluita hiotaan paremmiksi. Tehokkaaksi tavaksi suorittaa tätä työtä on kehittynyt konsepti nimeltään tunkkausviikonloppu.

Bugien metsästystä

Kapsin ylläpito koostuu maantieteellisesti hajautuneesta ryhmästä säätäjiä, joten ylläpidon yhteiset tapaamiset ovat aina hieman työläitä. Mutta kun ne onnistuvat, kuten nyt viikonloppuna, ovat lopputulokset huikeita. Jo alakoulussa opittiin miten saman pöydän ääressä ryhmätöitä tehdessä hommat edistyvät huikeaa vauhtia, ja sama pätee myös täällä. Viikonlopun aikana käytetään 48h tehokkaasti mitä erinäisimpien asioiden hoitamiseen, tiedostopalvelimen debuggauksesta aina virtuaalialustojen päivittämiseen. Välillä otetaan rennommin, saunotaan ja speksataan mitä seuraavassa pyrähdyksessä tehtäisiin – olo on kuin pääsisi seuraamaan ohjelmistoalan startupin toimintaa lähietäisyydeltä.

Kaikenlaista on saatu [aikaan]. –Wraith

Säätäjä + ES = Paremmat palvelut

Hommat jatkuvat pitkälle yöhön, ja viimeiset sammuttavat debuggerinsa vain hieman ennen auringonnousua. Aamulla kaverit ovat palanneet kannettaviensa ääreen jo ennen kuin kahvinkeitintäkään on saatu päälle. Mistä he löytävät energian tähän, voi vain kuvitella.

Mites kauan näiden tekemiseen olis menny normaaliin tapaan IRCin ylitse? Erm… pari vuotta? – Ylläpito

Ylläpito ei osoita kuluneen viikonlopun jälkeen minkäänlaisia väsymisen merkkejä. Liekö syynä ES vaiko onnistunut ruokahuolto – säätäjät haluaisivat vain jatkaa säätämistä. Nämä kaverit ovat yksi monista syistä siihen miksi Kapsi awesomeness on kehittynyt tähän malliin, eikä hidastumisen merkkejä ole näkyvissä.

Aihe: Sekalaista, Ylläpito | Ei kommentteja »

Cyber Defence Exercise 2012 – CDX12

perjantaina 19. lokakuuta 2012

Tammikuu 2012, IRC-chat, yksityisviesti:

”Haluasikohan Kapsin ylläpito osallistua kybersotaharjotuksen harjotukseen =)”

Näin alkoi eräs hyvin mielenkiintoinen keskustelu, joka johti omaltani sekä yhdistyksen kannalta vieläkin mielenkiintoisempaan tapahtumaketjuun. Meille tarjottiin tilaisuus osallistua kansainväliseen CDX12-kybersotaharjoitukseen pienessä sivuroolissa. Olimme Viron Cyber Defence Leaguen ohella toinen ”koekaniiniryhmä”, jonka tarkoitus oli testata harjoituksen skenaariota sekä infraa noin kuukausi ennen varsinaista harjoitusta.

Helmikuun alku. Harjoituksen testiajo lähestyi. Ylläpidosta kasattiin kymmenen hengen ”Blue Team” osallistumaan harjoitukseen. Erilaisia valmistelevia pohdintoja alettiin pitää mahdollisista tekniikoista, joilla erilaisiin infraa vastaan kohdistuviin verkkohyökkäyksiin voitaisiin parhaalla mahdollisella tavalla vastata. Strategian pohjaksi valittiin tietysti Kapsin oma tietoturvamalli ja samat tekniikat, jotka on käytössä myös yhdistyksen järjestelmien suojaamisessa. Pohdittiin uusia tapoja havainnoida hyökkäyksiä ja löytää järjestelmästä poikkeavuuksia. Koodia syntyi, speksi kehittyi.

All hands on deck!

Ylläpitäjäjoukko saa hälytyksen. Kansallisesti merkittävän Internet-operaattorin järjestelmiin kohdistuu parhaillaan kyberhyökkäys! Operaattorin pääasiallinen ylläpitotiimi on poissa ja tavoittamattomissa. Kasataan porukka, joka ei tunne infraa juuri entuudestaan. Dokumentaatio ei ole ajan tasalla. Verkkokuvista ja järjestelmäkuvauksista on jotain apua tilanteen hahmottamisessa. Omituisia asioita tapahtuu eri puolilla verkkoja.

Kapsin urhoollinen task force kokoontuu saman katon alle, tälläkertaa yhdistyksen pieneksi käyvään toimitilaan, selvittämään tilannetta ja turvaamaan infraa. Osa järjestelmistä on todella vanhoja, päivittämättä ja pahasti haavoittuvia. Tuntemattomassa tilanteessa infra täytyy saada nopeasti haltuun. Mahdollisimman moni julkisesti saatavilla oleva järjestelmä päivitetään ja Linux-kernelit vaihdetaan Kapsin omiin käännöksiin. Varustelu on alkanut.

Kaikkien järjestelmien logit ajetaan keskitettyyn paikkaan ja filtteröidään isolle screenille kaikkien nähtäville. Jos jotain merkittävää tapahtuu, se näkyy kaikille heti. Muut havainnointi ja vastatoimet alkavat olla paikoillaan.

Verkkotiimi alkaa päästä ennalta tuntemattoman palomuuriratkaisun jäljille. Verkko on ensimmäinen elementti, jossa hyökkääjä voidaan havaita. Samalla myös viimeinen työkalu, jolla mahdollinen tunkeutuja saadaan irti järjestelmistä. Ennakkovalmisteluja ei juuri verkon osalta keretty tekemään. Nyt mennään vaistojen ja pitkän kokemuksen turvin. Verkkotiimissä on kaksi henkilöä, mukana on Kapsin ylläpitotiimin tuolloin tuorein vahvistus, pitkän linjan kokenut verkkosäätäjä.

Hyökkäyksiä aletaan havaita. Jollain koneella on backdoor. Onneksi tilanne näkyy heti ja hälytykset sekä vastatoimet toimivat. Hyökkääjä on järjestelmistä ulkona jo ennen kuin tilanteeseen keretään reagoida. Kolmen ylläpitäjän vahvuiselle response-teamille jäi tälläerää vain takaoven siivoilu järjestelmästä.

Tästä eteenpäin hyökkäyksiä tulee useita yhtäaikaisesti ja kädet täyttyvät töistä. Operaattorin asiakkaiden WWW-sivuja onnistutaan töhrimään PHP-reiän kautta. Myös web-palvelimelle yritetään rootiksi, mutta jälleen kerran tuloksetta. Response-team hoitaa Linux-järjestelmiä jatkuvasti parempaan suuntaan ja paikkailee löydettyjä haavoittuvuuksia ja konfiguraatiovirheitä.

Windows-rintamalla yritetään asennella päivityksiä ja tarkastaa turvallisuusasetukset kohdalleen. Osa Windows-työasemista simuloi yrityksen hallinnon käyttöä. Käyttäjät availevat sähköpostilla tulleita linkkejä ja tiedostoja. Yksi PDF-tiedosto jäi verkkotiimin pystyttämään web-proxyyn. Haitanteko estyi jo ennalta.

Sähköpostipalvelimet eivät toimi. Harjoitusinfrassa on selkeitä ongelmia virtuaalikoneiden levyjen kanssa. Järjestelmät ovat hitaita ja osa koneista täysin käyttökelvottomia. Harjoituksen tekninen tiimi tutkii tilannetta. Ongelmiin ei saatu ratkaisua testiajon aikana. On syytä käydä asiat läpi ennen varsinaista harjoitusta. Testitiimejä oli kaksi, varsinaisessa harjoituksessa on yhdeksän. Tilanne ei näytä erityisen hyvältä.

Tutustun hieman tarkemmin harjoituksen taustalla olevaan tekniseen ympäristöön. Käy ilmi, että SAN-valmistajan ilmoittama levyjärjestelmän vauhti ei aivan vastaa reaalimailman toteumaa. Täytyy keksiä jokin vaihtoehtoinen ratkaisu. Aikaa on alle kolme viikkoa.

Kapsin uusi Siika-levyjärjestelmä otettiin ajoon reilut kaksi kuukautta aiemmin. Sitä ennen testausta tehtiin lähes vuosi. Pohdinta siirtyi Siika-järjestelmän hyödyntämään Solaris-pohjaiseen OpenIndiana-käyttöjärjestelmään ja sen ZFS-tiedostojärejstelmään. Saataisiinko tehokkaalla cachella riittävän paljon suorituskykyä olemassaolevalla raudalla, jotta testiajon ongelmat eivät toistuisi? Asiaa täytyy kokeilla käytännössä.

Kaksi Kapsin ylläpidon edustajaa pystyttää yhdelle blade-palvelimelle OpenIndianan. Levyt tulevat SAN-järjestelmästä 10 Gbps -verkon ylitse. Alustavat suorituskykyarvot vaikuttavat erittäin lupaavilta. Testauksen jälkeen päädytään siihen yhdessä teknisen tiimin kanssa, että tämä on paras ratkaisu mikä tällä aikataululla on järjestettävissä. Muita virtualisointijärjestelmän osa-alueita hienosäädetään. Harjoitus lähestyy.

To be continued, mikäli lukijoita kiinnostaa… 😉

Aihe: Yhdistystoiminta, Ylläpito | 10 kommenttia »

Siika-levypalvelimen häiriöt

torstaina 15. joulukuuta 2011

Siika – Huuto

Tällä kertaa vähän teknisempää juttua niille joita kiinnostaa. Lyhyt yhteenveto: levypalvelimella on ollut pientä ajoittaista tökkimistä. Ongelmat ovat tiedossa, tarkkaa syytä selvitetään ja korjaus tehdään heti kun mahdollista. Kertokaa jos tällaisia halutaan jatkossa.

Siika-levypalvelin on toiminut pääasiassa erittäin hyvin. Sen suorituskyky on normaalitilassa havaittavasti parempi kuin aiemman levypalvelimen. Valitettavasti uusi levyjärjestelmä ei ole ollut aivan ongelmaton. Tässä artikkelissa joitain havaintoja ja teorioita. Osa asioista on vielä selvittämättä, mutta ajattelin että jäseniä saattaa kiinnostaa mitä ongelmien taustalla on ja mitä asioille on jo tehty.

Siian levyjärjestelmät:

tank: kotihakemistot, sähköpostit ja virtuaalikoneet
siilo: /siilo-tallennustila

Ongelmat alkoivat ilmenemään useiden viikkojen raskaan käytön jälkeen. Ensimmäisten oireiden ilmetessä tank-levyjärjestelmällä oli käynnissä rutiinitarkastus. Tarkastus oli oireiden ilmennessä kestänyt vajaan viikon ja oli edennyt 90 % asti. Yhtäkkiä kirjoitukset verkkolevylle kestivät kohtuuttoman kauan ja tästä aiheutui hidastelua www-palveluihin, lakan shelliin, irkkeihin ja muihin verkkolevyä käyttäviin palveluihin. Ylläpito keskeytti tarkastuksen kun sen epäiltiin mahdollisesti olevan häiriön aiheuttaja. Oireet lakkasivat lopetukseen.

Hetken tutkiskelun jälkeen muutama levyistä näytti SMART-tietojen perusteella olevan vaihdon tarpeessa. Virheellisiä sektoreita ei vielä ollut, mutta aiempien havaintojen mukaan jo ”pian virheelliset” sektorit enteilevät levyn rikkoutumista ja voivat aiheuttaa hidastelua. Kaksi oireilevaa levyä päätettiin vaihtaa varalevyihin (hot spare). Operaatiota kutsutaan zfs:ssä resilveriksi ja se vastaa jokseenkin RAIDin uudelleenrakennusta, mutta tapahtuu tiedostojärjestelmätasolla, ei raa’alle levypinnalle. Resilver-toiminnon aikana oireilu jatkui ja oli pahimmillaan perjantaina illalla. Asialle ei keksitty mitään helpotuksia ja oireet menivätkin ohi melko pian. Resilver kestää noin 24h. Pakassa olevissa levyissä havaittiin vielä lisää virheitä enteileviä SMART-lukuja ja kaksi levyä lisää on sittemmin vaihdettu.

Levyt

Siian levyt ovat Western Digitalin 7200 RPM Black -levyjä. Niitä on 56 kappaletta Supermicron 4 räkkiyksikön levykehikoissa, joita on Siiassa kaksi. Molemmat ovat 4x 3 Gbit/s SAS-kaapelilla kiinni levyohjaimessa.

Valitettavasti levyjen kanssa on ilmeisesti ongelmia RAID-käytössä. Levyjen firmwaren ongelmista yksi on, että jos lukemisessa sattuu virhe, niin levy yrittää lukea uudestaan useita kertoja ennen epäonnistumista. Tämä on huono ominaisuus palvelinkäytössä, sillä Siian zfs-tiedostojärjestelmä osaisi kyllä tunnistaa ja korjata vaikka virheellisen levyltä tulevan datan. Olennaisesti levyn pitäisi antaa lukuvirhe heti tai hyvin nopeasti, jotta tieto haettaisiin seuraavalta levyltä.

Vaikka ongelma on tiedostettu ja levyjä aiotaan vaihtaa Hitachin valmistamiin (olematon saatavuus hidastaa vaihtoa), esiintyneet häiriöt eivät välttämättä johdu näistä levyistä. On vielä tässä vaiheessa mahdotonta sanoa onko tällä ongelmalla mitään tekemistä esiintyvien häiriöiden kanssa.

ZFS Intent Log

Siikassa on 4 kpl HP:n 60 GB SSD-levyjä, joita käytetään muun muassa ZFS Intent Login tallentamiseen. Tällä järjestelyllä Siika toimii erittäin suorituskykyisesti. Eräs tuoreemmista havainnoista on, että jos ZIL:n ulkoinen loki poistetaan käytöstä, jolloin ZIL kirjoitetaan itse pakan levyille, niin NFS:n pätkiminen loppui.

Jos ZIL:n loki on SSD-levyillä, levyjärjestelmä toimii erittäin suorituskykyisesti, paitsi että ajoittain ainakin resilverin ja scrubin aikana on ilmennyt hidasteluja ja tökkimisiä. Jos SSD:t on poistettu käytöstä, tökkimisiä ei ole havaittu. Toisaalta suorituskyky on paljon heikompi. Ylläpito kokeili myös yhden varakovalevyn käyttämistä ZIL-lokina, mutta oireet tulivat takaisin eli vika ei välttämättä ole itse SSD-levyissä.

Ilmeisesti ZIL liittyy jollain tavalla oireiluun, mutta se miten, on vielä epäselvää. Ylläpito testailee Muikku-varmuuskopiopalvelimella, sillä siinä on vastaava levyjärjestelmä ja OpenIndiana-käyttöjärjestelmä, mutta mahdollinen tökkiminen ei näy jäsenpalveluissa.

Valitettavasti kunnes ongelmat selviävät, levyjärjestelmä toimii hieman hitaammin. Testit pyritään tekemään ilman häiriöitä jäsenpalveluille, mutta täysin niiltä ei voitane välttyä. Pahoittelut ja toivotaan että muuten hyvin toiminut Siika-levyjärjestelmä saadaan toimimaan yhtäaikaa luotettavasti ja nopeasti.

Aihe: Ylläpito | 10 kommenttia »

Kapsi BLOG