Kirjoittajan arkisto

Kapsin web-palvelinuudistus

keskiviikkona 20. heinäkuuta 2016

Kapsin web-palvelinten historia

Kapsilla oli aikaisemmin muutaman palvelingeneraation ajan dedikoidut web-palvelimet Kirsikka ja Karviainen. Vuosien 2012 ja 2013 aikana tehtiin päätös systemaattisesti ruveta siirtämään Kapsin infrastruktuuria fyysisestä ympäristöstä vahvasti virtualisoituun ympäristöön. Ensimmäisessä vaiheessa vanhat web-palvelimet migratoitiin sellaisenaan ja palvelimiin lyötiin lähinnä lisää muistia, joka ratkaisi sen hetkiset tarpeet. Tämä ratkaisu noudatti lähinnä perinteistä ”rautaa rajalle” -ratkaisua.

Virtualisoidun infrastruktuurin hyödyntäminen 

Vuoden 2014 aikana aloitettiin kehittämään  web-palvelimen arkkitehtuuria vastaamaan tulevaisuuden tarpeita ja hyödyntämään virtualisoidun infrastruktuurin arkkitehtuuria täysimääräisesti. Nopeasti tultiin havaintoon, että edusta- ja taustapalvelimet halutaan eriyttää toisistaan ja nämä halutaan rakentaa arkkitehtuurillisesti siten, että ovat skaalattavissa tarpeen mukaan.

Seuraavat asiat on tehty 

Kaikkien nettisivujen nimipalvelut, jotka on osoitettu Kapsin nimipalvelimille, on siirretty osoittamaan uusia frontend-web-palvelimia. Nämä ohjaavat toistaiseksi vanhoille taustapalvelimille Kirsikalle ja Karviaiselle. Sivustot (”sites”) on kopioitu uudelle levyjärjestelmälle ja sivustohakemisto on korvattu symbolisella linkillä uuteen levyalueeseen. Vanhat ”sites”-hakemistot on siirretty nimelle sites.old ja nämä tullaan poistamaan ylläpidon toimesta lähiaikoina. Halutessasi voit poistaa ”sites.old”-hakemiston myös itse. Ylläpito luo kaikki uudet vhostit oletuksena uusille taustapalvelimille.

Käyttäjille näkyvät muutokset 

Sivustot on omassa tiedostojärjestelmässään ja käytetyn ratkaisun vuoksi quota-komento ei toimi oikein. Itse quota on siitä huolimatta voimassa, kuten aikaisemminkin. Edusta- ja taustapalvelut on eriytetty omille virtuaalikoneilleen, joka mahdollistaa jatkossa koneiden ohjelmistopäivitykset helpommin.

Koti.kapsi.fi/~käyttäjätunnus-osoitteet tulevat jatkossa häviämään kokonaan ja ne korvataan käyttäjätunnus.kapsi.fi-osoitteilla. Mikäli haluat käyttäjätunnus.kapsi.fi-osoitteen, ole yhteydessä ylläpitoon.

Uusien taustojen käyttöönoton yhteydessä ”secure-www”-hakemisto poistuu käytöstä kokonaan. Sekä salattu, että salaamaton sivusto palvellaan ”www”-hakemistosta. Mikäli haluat uudelleenohjauksen HTTP → HTTPS, niin sen voi toteuttaa .htaccess-tiedostolla näin:

RewriteEngine On
RewriteCond %{ENV:HTTPS} !on
RewriteRule (.*) https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]

Uusilta taustapalvelimilta ei ole oletusarvoisesti mahdollista käyttää Siilon levytilaa. Tämä on estetty, jotta mahdolliset tietoturvapoikkeukset käyttäjän web-hakemistoissa eivät paljastaisi varmuuskopioita hyökkääjälle. Siilon käyttöön webin yli on tehty oma taustapalvelimensa (websiilo1), jonka voi pyytää käyttöön halutuille sivustoille ylläpidolta.

Tällä hetkellä jäsenet pääsevät kirjautumaan omilla tunnuksillaan web-koneilla Kirsikka ja Karviainen. Uusille web-palvelimille ei ole pääsyä jäsenillä, mutta sovelluspalvelimia ja muita shell-pääsyn vaativaa käyttöä varten on tehty webapp1-kone, joka löytyy osoitteesta webapp1.kapsi.fi.

Oman sivuston siirtäminen uusille taustoille

Ennen siirtämistä sivustosi pitää osoittaa uusille edustapalvelimille. Mikäli nimipalvelusi ovat Kapsilla, on tämä jo tehty. Mikäli ei, niin suosittelemme tekemään nimipalvelussa seuraavan nimipalvelutietueen:

oma.sivusto.tld IN CNAME sites.kapsi.fi.

(tai ssl-sites.kapsi.fi, mikäli sivustosi toimii salattuna). Voit toki vaihtoehtoisesti tehdä A- ja AAAA-tietueet suoraan kohti uusia edustapalvelimia:

oma.sivusto.tld IN A 91.232.156.81
oma.sivusto.tld IN A 91.232.156.82
oma.sivusto.tld IN AAAA 2001:67c:1be8::80:1
oma.sivusto.tld IN AAAA 2001:67c:1be8::80:2

Seuraavana pitää suorittaa migraatio järjestelmässä. Lakalta löytyy komento web2migrate.py, joka siirtää www-sivusi palveltavaksi uusilta taustapalvelimilta. web2migrate.py list -komennolla voit listata omien vhostiesi migraation tilan. web2migrate.py migrate omavhost.domain.tld -komennolla voit migratoida omat vhostisi uudelle taustapalvelimelle. Yhden vhostin migratointiin kuluu aikaa 5–15 minuuttia. Huomioithan, että sivusi saattaa olla toimimatta migraation aikana.

Huomioitavia asioita:

  • Uusilla backend-palvelimilla on asennettu PHP 5.6 sekä Apache 2.4.
  • Apache-sovelluspalvelimessa on tällä hetkellä käytössä Apache 2.2 -yhteensopivuustila.
  • Konfiguraatiot olisi hyvä saattaa 2.4-konfiguraatioiden mukaiseksi, koska jossain vaiheessa yhteensopivuustilasta pitää luopua.

Aikataulu

Uudet taustat ovat tällä hetkellä mahdollista ottaa käyttöön kaikille sivustoille. Ylläpito migratoi kaikki loput sivustot 17.2.2017.

Mikäli haluat varmistaa sivustosi toiminnan, on migraatio syytä tehdä web2migrate.py-skriptillä haluttuna ajankohtana. Näin voit itse korjata mahdolliset migraation tuomat ongelmat heti.

Päivitys 16.1.2017: Korjattu faktoja aikataulujen sekä webapp1- ja websiilo1-palvelinten osalta.

Ylläpidon säätöeventti 1/2016

torstaina 16. kesäkuuta 2016

Vuoden ensimmäinen ylläpidon säätöeventti järjestettiin 21.-24.1.2016 Kirkkonummella. Etukäteen agendalla oli mm. ylläpidon tikettijonon tyhjennystä, tulevan jäsenresurssijärjestelmän kehittämistä ja logien analysointijärjestelmän kehittämistä. Lisäksi paikalla oli ylläpidon jäseniä, jotka vaikuttavat yhdistyksen hallituksessa. Tarkoituksena oli näin edistää viimevuonna vaiheeseen jäänyttä yhdistyksien sääntöjen uudistamisprojektia.

Renki

Jäsenille suunnatun itsepalveluportaalin kehitystä on jatkettu intensiivisesti viime vuoden aikana. Tämä kunnianhimoinen sekä varsin haastava kokonaisuus alkaa pikkuhiljaa lähestyä pistettä, jossa ensimmäiset moduulit alkavat valmistua. Tavoitteenamme on julkaista ensimmäinen rajattu versio jäsenistön käyttöön tämän vuoden aikana.

Kartat.kapsi.fi

Kartat.kapsi.fi tarjoaa Maanmittauslaitoksen kartta-aineistoja yleiseen käyttöön. Päivitimme kartat.kapsi.fi -palvelun aineistoja 2 vuoden takaisesta aineistoista MML:n äskettäin julkaistuun aineistoon. Samalla karttoihin saatiin uusia välitasoja. Näiden lisäksi tutustuttiin MML:n laserkeilausaineistoihin ja niiden käyttömahdollisuuksiin.

Sääntömuutosprojekti

Sääntömuutos oli tarkoitus tehdä jo vuoden 2015 aikana. Erinäisten kiireiden ja mm. uuden levyjärjestelmän hankinnan vietyä todella suuren osan Kapsin toimihenkilöiden ajasta, projekti päätettiin viime keväänä siirtää vuodella eteenpäin. Tällä hetkellä olemme luonnostelleet ensimmäistä versiota sääntömuutoksesta. Sääntömuutosehdotus on tarkoitus tuoda ensimmäisen kerran käsittelyyn yhdistyksen vuosikokoukseen keväällä. Sääntömuutoksessa on tarkoitus tehdä pieniä viilauksia mm. hallituksen kokoonpanoon sekä suurimpana muutoksena yhdistyksen kokousten etäosallistumisen mahdollistaminen.

Pienempiä suoritteita 

Näiden isompien kokonaisuuksien lisäksi agendalla oli monia pienempiä asioita. Siilon levytila on paria viimeistä käyttäjää lukuunottamatta siirretty uudelle levyjärjestelmälle. Virtuaalikone missä pyörii kapsin toissijaiset nimipalvelut päivitettiin. Lisäksi uusittiin kapsin ylläpitäjien VPN-yhteyksiä vastaanottanut vanha Juniperin SSG -laite uuteen Juniperin SRX -laitteeseen. Lisäksi murskattiin runsaasti tikettejä sekä tehtiin suunnitelmia alkaneen vuoden varalle.

 

Ylläpidon säätöeventit 2015

torstaina 16. kesäkuuta 2016

Kapsin ylläpito kokoontui viime vuonna useamman kerran viimevuosina perinteiksi tulleisiin säätöviikonloppuihin. Säätöviikonloppuja on aiemmin pidetty mm. Kirkkonummella, Saariselällä sekä Oulussa. Lisäksi on pidetty uudenlaisella konseptilla tämän vuoden vuosikokous ja vaalikokousviikonloput, joista omassa blogipostauksessa lisää.

Tunkkausviikonloppu 1/2015 13-15.3.2015

Vuoden ensimmäinen tunkkausviikonloppu järjestettiin maaliskuussa kirkkonummen porkkalanniemellä. Viikonlopun aikana järjestettiin muunmuassa ylläpidon kesken vertaiskoulutusta DNS-järjestelmien suhteen sekä palaverattiin mahdollisen storage järjestelmän toimittajan kanssa kapsin storage-järjestelmän tarpeista ja mahdollisuuksista heidän puoleltaan järjestelmän toimittamiseksi.

Varsinaisten asioiden edistämispuolella keskiössä olivat tällä kerralla kartat.kapsi.fi:n ulkoasun parantaminen ja yleinen kehityspuuha sekä status.kapsi.fi:n jatkokehitys. Status.kapsi.fi:stä voit seurata kapsin palveluiden statuksia yksinkertaisesti. Perinteiseen tapaa kämpissä kehitettiin myös kapsin ikuisuusprojektirenkiä, joka mahdollistaa tulevaisuudessa toivottavasti jo vuoden 2016 aikana omien resurssien hallinnan käyttöliittymästä.

Tunkkausviikonloppu 2/2015 24-27.9.2015

Syksyn tunkkausviikonloppu pidettiin syyskuussa saariselän maisemissa.

Ensimmäisen tunkkausviikonlopun jälkeen päädyttiin hankkimaan kapsille uusi storage, joksi valikoitui lopulta Dellin Compellent järjestelmä. Tunkkausviikonlopun merkittävimpänä asiana olikin kesän aikana asennetun storagejärjestelmän ihmettely sekä migraatiosuunnitelman tekeminen seuraaville kuukausille siitä miten saadaan storagejärjestelmä migratoitua siten, että jäsenistölle aiheuttaa mahdollisimman vähän haittaa asiasta.

Kämpin aikana edistettiin myös tulevan WEB2.0:n ohjeistusta, uuden tikettijärjestelmän käyttöönottoa sekä tehtiin pieniä parannuksia kartat.kapsi.fi järjestelmään.

 

Vuoden kolmas puhtaasti ylläpidon tunkkausviikonloppu siirtyi pidettäväksi vuoden 2016 puolella.

 

Vuosikokous sekä vaalikokous 2015

maanantaina 9. toukokuuta 2016

Kapsi Internet-käyttäjät ry:n viimevuoden yhdistyksen vuosikokouksen järjestämisen yhteydessä keväällä ja vaalikokouksen yhteydessä syksyllä järjestettiin yhdistyksen toimihenkilöiden toimintaviikonloput missä vietiin yhdistyksen asioita monella saralla eteenpäin.

Vuosikokousviikonloppu 14-17.5.2015

Kevään tapahtuman aikana merkittävimpinä asioina agendassa olivat mm. tuleva tikettijärjestelmän uudistaminen OTRS:stä -> JIRAn Service Deskiin, Service Deskin vahvuudet ovat portaalissa, josta tikettejä pystyy tekemään joustavasti, sekä järjestelmän automatisaatiomahdollisuudet tikettien käsittelyssä. Tapahtumassa edistettiin Kapsin jäsenhallintajärjestelmä Sikteeriä sekä päivitettiin Sikteerin järjestelmäalusta uudempaan Djangoon. Lisäksi protoiltiin Zimbra sekä Sogo alustoja, joilla voitaisiin tarjota jäsenille fiksuja kalentereita tulevaisuudessa.

Vuosikokouksen asialistalla oli perinteisesti viime vuoden asioiden läpikäyntiä vuosikertomuksen sekä tilinpäätöksen osalta. Tämän lisäksi hallituksen kokoonpanossa tapahtui yksi muutos, kun pitkään yhdistyksen toiminnassa mukana ollut Tuomas Salomäki jättäytyi hallituksen kokoonpanosta pois ja hänen loppukaudelleen vuoden loppuun asti valittiin Veli-Matti Leppänen.

Vaalikokousviikonloppu 29.10 – 1.11.2015

Syksyn vaalikokouksen yhteydessä isoimpina asioina oli uusien ylläpitäjien kouluttamista tikettien tekemiseen ja murskaamaan pelottavan pitkäksi venynyt tikettijono. Toisena merkittävänä asiana oli edistää toukokuun lopussa saapunutta Kapsin uutta tallennusratkaisua, Fugua.

Vaalikokouksessa merkittävimpänä asiana on vuosittain hallituksen puheenjohtaja sekä jäsenvalinnat. Tässä kokouksessa erovuorossa olivat: puheenjohtaja Jesse Hulkko sekä Tuomo Mattila, Veli-Matti Leppänen ja Pekka Kivilinna.

Yhdistyksen uudeksi puheenjohtajaksi valittiin aiemmin hallituksessa istunut sekä tänä vuonna hallituksen toimihenkilönä toiminut Riku Karvonen.

Uusille kaksivuotiskausille valittiin: Jarkko Vääräniemi, Mikko Rytilahti ja Veli-Matti Leppänen.