Open Data Kitchen Korjaamolla 4.2.

Tänän viikonloppuna eri puolilla kaupunkia on mitä erilaisimpia Helsinkin designpääkaupunkivuoteen liittyviä tapahtumia. Mekin kannamme oman kortemme kekoon. Olemme huomenna, lauantaina 4.2. pyörittämässä yhdessä We Love Open Data -porukan kanssa avoimen datan Open Data Kitchen -workshoppia Korjaamolla klo 14–20 osana Invisible City -tapahtumaa.

Tarkoitus olisi pyöritellä Helsingin kaupungin tilastojulkaisujen dataa sekä äänestystulosdataa ja tehdä kaupunginosakohtaisia visualisointeja. Konseptia kokeiltiin viime syksynä menestyksekkäästi Amsterdamissa ja nyt sitä on hiottu vielä vähän lisää. Tule tsekkaamaan meininki ja tarkistamaan miltä oma kaupunginosasi näyttää tilastojen valossa! Vapaa pääsy, ei vaadi ennakkoilmoittautumista.

Tiedon visualisointia Helsingin katukuvassa

Tänään alkoi Helsingin designpääkaupunkivuoteen liittyvä tiedon visualisoitia tunnetuksi tekemään pyrkivä kampanja joka pyörii vaiheittain keskustan ulkomainospaikoilla kolme viikkoa. Me toteutimme kampanjaan 8 julistetta, joiden lisäksi sisältöä on tuottanut Wonderwater-porukka. Designpääkaupunkihankkeen ja meidän sisällöntuottajien lisäksi kamppikseen ovat olleet myötävaikuttamassa Idealist Group ja BOTH. Monta kokkia siis, mutta lopputuloksena ihan kelpo soppa.

Julkaisemme kampanjaa varten toteutetut visualisoinnit myös verkossa Creative Commons nimeä-tarttuva 1.0 suomi -lisenssillä, olkaapa hyvät.

HRI-visualisointiblogi

Helsinki Region Infoshare (HRI) julkaisi tänään visualisointibloginsa. Informaatiomuotoilu.fi-porukkakin on päässyt parrasvaloihin videot-osiossa, jossa on kolme Stadi.tv:n tuottamaa videota Open Data Kitchen -workshopistamme Amsterdamin PICNIC-festivaalilta syyskuulta. :) Jäämme suurella mielenkiinnolla odottamaan tulevia sisältöpäivityksiä! Jo nyt varsinkin osio visualisointityökaluista on erinomaisen hyödyllistä sisältöä.

Pientä napinan aihetta tulee taas kerran siitä, että tiedon visualisointia ei blogin sisällöissä kunnolla ole erotettu datataiteesta. Hieman hassusti nimetyssä Visualisointiesimerkkejä-osiossa olevat henkilöesittelyt sisältävät mm. Aaron Koblinin joka aivan selvästi on (erittäin kiinnostava) taitelija eikä visualisti, sekä Tatjana Plahovan, jonka tuotanto myös määrittyy enemmän visuaalisen näyttävyyden kuin tiedonvälityksellisten kysymysten kautta. (Jos datataiteen ja tiedon visualisoinnin ero askarruttaa, Robert Kosara määrittelee sen aika näppärästi.)

Tästä kauneusvirheestä huolimatta voi sanoa, että kokonaisuutena HRI-visualisointiblogi vaikuttaa hyvin kiinnostavalta avaukselta. Sisältö on verrattain hyvin toimitettua ja HRI:n laaja toimintakenttä ja kontaktiverkosto taannee sen, että blogiin saadaan kiinnostavaa sisältöä vastaisuudessakin.

HS Openin satoa

Maanantainen HS Open tuotti kiinnostavia tuloksia, mutta osoitti taas kerran miten hankalaa homma visualisointien tekeminen on kun sekä data on vaihtelevan laatuista että työkalut hakevat muotoaan.

Informaatiomuotoilu.fi:n porukasta minä ja Tommi olimme mukana ja kuuluimme sattumoisin molemmat ryhmiin jotka askartelivat saman kysymyksen parissa: miten asuntojen hintapyynnöt korreloivat toteutuneiden kauppahintojen kanssa. Toisen ryhmän tuloksien pohjalta saatiin aikaiseksi kiinnostava artikkeli netti-Hesariin, jossa näkökulmaa on haettu myös kiinteistövälittäjältä ja aiheeseen perehtyneiltä tutkijoilta. Jutussa Helsingin kaupungin tietokeskuksen tutkija Henrik Lönnqvist kiinnittää aivan aiheellisesti huomiota datan yhteismitallisuuden ongelmiin. Oikotie-palvelusta saatu aineisto hintapyynnöistä on kattavaa, mutta sen sijaan toteutuneista kaupoista saatu data ei ole. Omassa ryhmässäni mukana ollut toimittaja Tuomo Pietiläinen teki julkisuuslain mukaisen tietopyynnön tarkemman datan saamiseksi, mutta saa nähdä johtaako se mihinkään. Nyt jouduimme tyytymään ympäristöministeriön ja ARAn ylläpitämästä Asuntojen hintatiedot -palvelusta raavittuun aineistoon, joka on ladattavissa HS Next -blogista. Se kertoo kaupat vain kadun tarkkuudella vuoden ajalta yksilöimättä kaupankäyntiajankohtaa, minkä johdosta on melko mahdoton tehtävä yrittää katsoa millä hinnalla joku tietty asunto on mennyt kaupaksi.

Kaikkien hintapyyntöjen vertaamisessa kaikkiin toteutuneisiin kauppoihin on ilmeisiä ongelmia, jo siksi että toteutuneita kauppoja on aineistossa paljon vähemmän kuin hintapyyntöjä, joten hintapyynnöissä lienee mukana spekulatiivista kauppaa (myyntiin ei ole akuuttia tarvetta, mutta kokeillaan saisiko hyvän hinnan jos myisi) mikä on omiaan nostamaan hintapyyntöjen keskiarvoa. Tähän kuitenkin oli tyydyttävä. Omassa ryhmässäni aikomus oli tehdä jaotteluja asuntojen koon mukaan, mutta sitä ei tiukassa aikataulussa ehditty tehdä. Näin ollen esimerkiksi jos alueella on myynnissä monen kokoisia asuntoja, mutta kauppa on käynyt vain tietyn kokoisista asunnoista, keskimääräinen neliöhinta on voitu laskea hintapyynnöissä ja toteutuneissa kaupoissa ihan eri kokoisista kämpistä joka on jälleen omiaan vääristämään lopputulosta.

Itse kuuluin siis kolmihenkiseen ryhmään, jossa minun ja Pietiläisen lisäksi mukana oli vielä Seravon Otto Kekäläinen. Me taistelimme samojen aineisto-ongelmien kanssa kuin toinenkin ryhmä, mutta valitsemamme visualisointitapa, koropleettikartta, tuotti vielä lisää harmaita hiuksia. Datasta helposti saatava aluejako kun olisi postinumeroalueet, mutta niitä taas ei vaikuta löytyvän vektorina avoimella lisenssillä mistään. Karttakeskus kyllä myisi aineistoa ystävällisesti 922,50 euron hintaan. Helsinki Region Infosharen kautta saatavilla olisi pien-, suur- ja tilastoalueet vektorina, mutta jostain syystä postinumeroalueita ei tunnu löytyvän mistään. Loppujen lopuksi päädyimme hätäratkaisuna piirtämään käsipelillä alueet käsiinsaamamme jo hieman vanhentuneen kartan pohjalta, josta puuttui mm. Östersundomin alue. (Tulevaisuuden tarpeita ajatellen We Love Open Datan Martti Leppänen teki ansiokasta työtä laatimalla taulukon, jonka avulla postinumeroalueet voi sovittaa peruspiireihin. Ihan kaikkia ongelmia tämäkään ei toki ratkaise, mutta auttaa paljon.)

Kaikken tämän säädön vuoksi kävi sitten niin, että oma ryhmäni ei saanut oikein mitään valmista maanantaina. Viikon mittaan luppohetkinä on kuitenkin viimeistelty se työ joka maanantaina aloitettiin. Lopputulos, Nodeboxilla ja Illustratorilla työstetty koropleettikartta näyttää tältä:

Punainen väri ilmaisee, että toteutuneiden kauppojen keskimääräinen neliöhinta on hintapyyntöjä pienempi, vihreä taas että suurempi. Värin intensiteetti tai värikylläisyys kertoo kuinka paljon suurempi tai pienempi ja sen tummuus taas pyrkii ilmaisemaan tehtyjen kauppojen määrää, siten että tummemmilla alueilla kauppoja on tehty enemmän ja vaaleammilla vähemmän, ajatuksena siis että erotuksen merkitys on pienempi kuin kauppoja on tehty vain vähän, eli otos on pieni. Käytännössä tuli kuitenkin huomattua, että värin intensiteetti ja tummuus on aika hankala erottaa toisistaan ja asetuksia hieman peukaloimalla syntyy kovin erilaisia lopputuloksia kuten yllä olevasta kolmesta eri variaatiosta huomaa. Ongelmakohdaksi muodostui mm. 00160-postinumeroalue (Katajanokka), jossa kauppoja oli tehty hyvin vähän (18 kpl), mutta ero hinnoissa oli valtava (yli tuhat euroa neliöltä), tai toisaalta 00980-alue (Vuosaari), jossa kauppoja oli paljon (110 kpl), mutta hintaero verrattain pieni (n. 120 € neliöltä). Näistä kolmesta vaihtoehdosta ylin tuntuu ilmaisevan visuaalisesti parhaiten sen minkä numerodata kertoo, mutta sekään ei ole täysin tyydyttävä. Esimerkiksi Jollaksen 00850-postinumeroalue katoaa kartalta melkein kokonaan, koska siellä on tehty vain kolme järjestelmään tallentunutta asuntokauppaa. Tästä opin ainakin, että väriskaalan suunnitteluun kannattaa varata aikaa ja miettiä myös sen teknistä toteutusta. Nyt ratkaisuna oli muuttujien arvojen pyöräyttäminen suoraan HSB-värimallin arvoiksi pienin painotuksin, mutta paremmalta näin jälkikäteen ajatellen tuntuisi tehdä kaksiulotteinen ”liukuvärikartta” josta osa-alueiden värit sitten poimittaisiin.

Kysyn vielä Otolta, saako karttaan menneen raakadatan julkaista (se ei ole aivan täsmälleen sama kuin HS Next -blogissa julkaistu, koska se on raavittu hieman eri aikaan ja palvelua on ilmeisesti välissä päivitetty) ja jos saan myöntävän vastauksen, lisään sen tähän loppuun jos jollakulla on kiinnostusta katsoa millaisesta datasta kartta on muodostunut.

Datajournalismin päivä 29.9. Tampereella

Datajournalismin verkosto järjestää ensimmäisen Datajournalismin päivän Tampereella tämän viikon torstaina eli 29.9.2011. Päivän teemana on ”Kaupunkidata ja paikallisjournalismi – kuntavaalit 2012”. Olen mukana tapahtumassa tuuraamassa IBM:n Peter Bakia joka aikataulusyistä ei pääse paikalle. Pidän siis esityksen tiedon visualisoinnista, minkä lisäksi osallistun ”juttuakvaarioon” jossa yritämme saada päivän aikana tehtyä uutisia ja visualisointeja Tampereen ja Jyväskylän kaupunkien päätöksentekoaineistoista, eli kunnan eri toimielinten pöytäkirjoista yms.

Maksuttomaan tapahtumaan taitaa mahtua vielä muutama mattimyöhäinen osallistuja paikan päälläkin jos ilmoittautuu pikimmiten, mutta tapahtuma lähetetään myös suorana verkkolähtyksenä Bambuser-palvelun kautta.

Lisäys 11.10.2011: Esitys löytyy nyt myös videoituna verkosta.

We are at PICNIC Amsterdam this week

I’m writing in English this time around. This week we are at PICNIC Amsterdam festival hosting the “Open Data Kitchen” visualization workshop with Forum Virium Helsinki, We Love Open Data and stadi.TV. We will also be giving a thematic introduction to what visualization is and why it matters at the “Open Data Breakfast” session Friday morning at Hangar B. We’ll be posting some of the visualizations and other stuff we make during the week to the blog later on. edit 28.9.2011: See the Open Data Kitchen blog for more.

The Open Data Kitchen is located at the seafront next to the PICNIC Club and the VIP/Press area. Come say hi if you’re around, and maybe ask some questions we can try to find to answers to!

HS Open 10.10.

Kolmas HS Open järjestetään 10.10. Olimme ensimmäisessä HS Openissa Jonatanin kanssa mukana (toiseen ei ehditty aikataulusyistä) ja sen kokemuksen perusteella tapahtumaa voi lämpimästi suositella. Ilmoittautumislomakkeesta:

Toivomme saavamme osallistujiksi 15 koodaajaa, 15 graafikkoa ja 15 toimittajaa. Tavoitteena on jakaa ihmiset kolmen hengen koodaaja-graafikko-toimittaja -ryhmiin, jotka työskentelevät päivän aikana.

Ainakin ensimmäinen tapahtuma oli vahvasti koodaajapainotteinen (meitä graafikoita taisi olla 70 osallistujasta kolme), joten hyvä jos osallistujaryhmää saadaan nyt monipuolisemmaksi. Lähtödatana on ainakin Omakaupunki.fi:n meno- ja palvelutietoja, myytävien asuntojen hintapyyntöjä ja vuokra-asuntojen vuokria Oikotieltä sekä presidentinvaalikoneen vastausdataa.

Findikaattori

Suomalaiset viranomaiset tiedottavat tekemisistään välillä turhan vaatimattomasti. Lueskellessani tänään edellisen blogipostauksemme aiheeseen liittyvää Hesarin artikkelia törmäsin mainintaan Findikaattori-palvelusta. Mikä ihmeen Findikaattori?

Kyseessä on valtioneuvoston kanslian ja Tilastokeskuksen yhteinen palvelu, johon on koottu parinkymmenen eri julkisen tahon keräämää tilastotietoa mitä erilaisimmista aiheista, huolella toimitettuna ja visualisoituna. Sivusto avattiin jo syksyllä 2009 jolloin asiasta uutisoitiinkin melko laajasti. Muistelen silloin itsekin käyneeni ihmettelemässä palvelua, mutta koko juttu unohtui nopeasti ja pysyin Tilastokeskuksen Statfin-palvelun uskollisena käyttäjänä.

Kaikessa hiljaisuudessa Findikaattoria on kehitetty ja sisältöä lisätty. Dataa on valtavasti ja käytettävyydeltään paketti on ihan eri tasolla kuin Statfinin oma aataminaikainen insinöörikäyttöliittymä. Aineisto on jäsennelty teemoittain sekä yleisellä tasolla että hallitusohjelman tavoitteiden mukaisesti. Visuaaliset esitykset luodaan automaattisesti tietokannassa olevasta datasta, eli kuviot päivittyvät sitä mukaa kun Tilastokeskus saa uutta aineistoa kerättyä. Jokaisen tilaston saatteena on lyhyt asiantuntijan laatima sanallinen selvitys joka auttaa ymmärtämään aineistoa paremmin. Graafisen esityksen lisäksi sama aineisto on tarjolla myös numeroina, ja sokerina pohjalla tilastot saa myös helposti ladattua omalle koneelle avoimen datan periaatteella. (Avoimen datan periaatteen edistämisestä onkin tuore valtioneuvoston periaatepäätös jonka edistämiseen Findikaattori on erinomainen työkalu.)

OECD:n palkinnonkin saanut Findikaattori on juuri sellainen palvelu josta valtionhallinnon kannattaisi pitää isompaa meteliä. Julkiset tietotekniikkahankkeet kun yleensä ovat otsikoissa vähemmän mairittelevissa yhteyksissä.