Datan integraatio oli projektin suurin haaste
Vaikka Finnparkin tietovarasto nimettiin Datalakeksi isolla D:llä jo projektin alkuvaiheessa, sen taustalla on itse asiassa Snowflake-tietokantaratkaisu. Finnparkilla ei ollut entuudestaan yhtenäistä tietovarastoratkaisua, joten teknisen arkkitehtuurin miettiminen jäi Knowitin tehtäväksi. Järjestelmä oli Finnparkille iso investointi, mutta se pyrittiin kuitenkin tekemään mahdollisimman kustannustehokkaasti. Tietokannan skaalautuvuus oli tärkeä vaatimus. Visuaalisen analytiikan ratkaisuna on Tableau.
Suurimpana haasteena oli odotetusti eri paikoista koottavien lähdedatojen integrointi. Taustalla on monia erilaisia, eri ikäisiä järjestelmiä, joissa data on hyvin erilaisin tavoin saatavilla. Lisäksi data on ollut paikallisissa konesaleissa eri puolella. Tietovaraston toimimiseksi data pitää saada lähdejärjestelmistä jatkuvasti. Ratkaisussa on käytetty Amazon Web Service (AWS) palveluita, kuten S3, Lambda ja SNS, sekä monitorointiin ja hälytyksiin CloudWatchia. Nämä palvelut, kuten tietovarastona toimiva Snowflake, toimivat serverless-mallissa, jossa pilvipalvelutarjoaja AWS huolehtii palvelujen saatavuudesta ja riittävästä kapasiteetista. Näistä palveluista maksetaan pelkästään käytön mukaan, mikä on myös varsin kustannustehokasta.
"Mukana oli muun muassa hyvinkin haastava, saksankielinen kantarakenne. Data oli hyvin eri muotoista, eri tietokannoissa sekä useamman erilaisen API-rajapinnan takana", Knowit Solutions Oy:n Lead Analytics Engineer Markus Ylikojola kuvailee.
Finnparkin Data and Systems Manager Janne Mäenpää luotti, että Knowit selviää teknisistä haasteista.
"Enemmän jännitin, kuinka käytettävä Datalakesta tulee loppukäyttäjälle. Näkymiä ja sisältöä on kehuttu, myös ratkaisua paljon käyttävien omien työntekijöiden toimesta", Janne Mäenpää kertoo.
Tietovarasto ja sen lähdejärjestelmät sekä käyttöönotto ja integroinnit muille parkkioperaattoreille ovat Knowitin tekemiä. Järjestelmää alettiin rakentamaan syksyllä 2019 ja se on ollut käytössä keväästä 2020 asti. Laajentaminen ja kehitystyö jatkuu.
Knowit on sitoutunut YK:n kestävän kehityksen tavoitteisiin. Tämänkin tietovaraston kehityksessä on huomioitu ympäristönäkökulmat. Konesalikapasiteettia käytetään vain juuri sen verran kuin tarvitaan, mikä säästää datan prosessoinnin kustannuksia eli sekä rahaa että luonnonvaroja. Pilvipalveluiden avulla kapasiteettia voidaan käyttää juuri sen verran kuin tarvitaan, ja voidaan hyödyntää resursseja, jotka ovat toisena kellonaikana käytössä muualla.