OKFestivalin koko ohjelma julkistettu

Helsingissä 17.–22.9. järjestettävä maailman suurin avoimen datan tapahtuma OKFestival on viimein julkistanut koko ohjelmistonsa. Kiinnostavaa on vaikka kuinka paljon, mutta jos nyt muutama erityinen tärppi nostetaan tiedon visualisoinnista kiinnostuneille, niitä ovat tietenkin Informaatiomuotoilu.fi:n järjestämä Tieto Näkyväksi -seminaari maanantaina 17.9., Datajournalism/Datavisualization topic streamin ohjelmisto (pääosin tiistaina 18.9.), Hans Roslingin keynote-puheenvuoro torstaina 20.9. ja Helsingin Sanomien HSOpen-työpaja perjantaina 21.9.

Kannattaa tsekata koko ohjelmisto ja hankkia lippu pikimmiten, toistaiseksi niitä on vielä jäljellä, mutta ei loputtomiin. :) Lippuja voi ostaa päiväkohtaisesti tai koko viikoksi ja tarjontaan nähden ne ovat hyvinkin kohtuuhintaisia. Osa sessioista vaatii erillisen ennakkoilmoittautumisen (esim. HSOpenin ilmoittautumislomake on täällä) eivätkä kaikki halukkaat välttämättä mahdu mukaan vaikka festivaalilippu olisikin plakkarissa. Tämä kannattaa tarkistaa sessiokohtaisesti tapahtuman nettisivuilta. Tieto Näkyväksi -seminaariinhan pitää hankkia kokonaan erillinen lippu, joskin pieni erä seminaarilippuja tulee jossain välissä nopeat syövät hitaat -periaatteella jakoon myös viikon festaripassin hankkineille.

Nähdään Arabianrannassa!

PS. Tulkaa ihmeessä nykäisemään hihasta tapahtuman aikana, olen ainakin maanantaina ja tiistaina paikalla koko päivän ja vaihdan mielelläni ajatuksia blogin lukijoiden kanssa. Lisäksi teen myös vähän dj-hommia useampanakin päivänä tapahtuman yhteydessä… ;)

Helsingin Sanomat perustaa datajournalismin ryhmän

Helsingin Sanomat uutisoi tänään perustavansa ensimmäisenä suomalaisena mediana datajournalismin ryhmän, jota ryhtyy vetämään talossa jo pitempään datajournalismihankkeita luotsannut ja mm. vuoden journalistisesta innovaatiosta äskettäin palkittu Esa Mäkinen. Onnittelut Esalle ja myös Hesarille, joka jälleen kerran osoittaa olevansa journalististen trendien etulinjassa. Uusi datajournalismiryhmä ei alkuun ole kovin suuri, mutta enpä ihmettelisi jos siitä kehittyisi vähitellen esimerkiksi The Guardianin datatoimituksen veroinen tekijä Hesarin sisällä ja suomalaisen journalismin kentässä laajemminkin. Yle ja muut kilpailijat, ottakaa oppia!

HS Openin satoa

Maanantainen HS Open tuotti kiinnostavia tuloksia, mutta osoitti taas kerran miten hankalaa homma visualisointien tekeminen on kun sekä data on vaihtelevan laatuista että työkalut hakevat muotoaan.

Informaatiomuotoilu.fi:n porukasta minä ja Tommi olimme mukana ja kuuluimme sattumoisin molemmat ryhmiin jotka askartelivat saman kysymyksen parissa: miten asuntojen hintapyynnöt korreloivat toteutuneiden kauppahintojen kanssa. Toisen ryhmän tuloksien pohjalta saatiin aikaiseksi kiinnostava artikkeli netti-Hesariin, jossa näkökulmaa on haettu myös kiinteistövälittäjältä ja aiheeseen perehtyneiltä tutkijoilta. Jutussa Helsingin kaupungin tietokeskuksen tutkija Henrik Lönnqvist kiinnittää aivan aiheellisesti huomiota datan yhteismitallisuuden ongelmiin. Oikotie-palvelusta saatu aineisto hintapyynnöistä on kattavaa, mutta sen sijaan toteutuneista kaupoista saatu data ei ole. Omassa ryhmässäni mukana ollut toimittaja Tuomo Pietiläinen teki julkisuuslain mukaisen tietopyynnön tarkemman datan saamiseksi, mutta saa nähdä johtaako se mihinkään. Nyt jouduimme tyytymään ympäristöministeriön ja ARAn ylläpitämästä Asuntojen hintatiedot -palvelusta raavittuun aineistoon, joka on ladattavissa HS Next -blogista. Se kertoo kaupat vain kadun tarkkuudella vuoden ajalta yksilöimättä kaupankäyntiajankohtaa, minkä johdosta on melko mahdoton tehtävä yrittää katsoa millä hinnalla joku tietty asunto on mennyt kaupaksi.

Kaikkien hintapyyntöjen vertaamisessa kaikkiin toteutuneisiin kauppoihin on ilmeisiä ongelmia, jo siksi että toteutuneita kauppoja on aineistossa paljon vähemmän kuin hintapyyntöjä, joten hintapyynnöissä lienee mukana spekulatiivista kauppaa (myyntiin ei ole akuuttia tarvetta, mutta kokeillaan saisiko hyvän hinnan jos myisi) mikä on omiaan nostamaan hintapyyntöjen keskiarvoa. Tähän kuitenkin oli tyydyttävä. Omassa ryhmässäni aikomus oli tehdä jaotteluja asuntojen koon mukaan, mutta sitä ei tiukassa aikataulussa ehditty tehdä. Näin ollen esimerkiksi jos alueella on myynnissä monen kokoisia asuntoja, mutta kauppa on käynyt vain tietyn kokoisista asunnoista, keskimääräinen neliöhinta on voitu laskea hintapyynnöissä ja toteutuneissa kaupoissa ihan eri kokoisista kämpistä joka on jälleen omiaan vääristämään lopputulosta.

Itse kuuluin siis kolmihenkiseen ryhmään, jossa minun ja Pietiläisen lisäksi mukana oli vielä Seravon Otto Kekäläinen. Me taistelimme samojen aineisto-ongelmien kanssa kuin toinenkin ryhmä, mutta valitsemamme visualisointitapa, koropleettikartta, tuotti vielä lisää harmaita hiuksia. Datasta helposti saatava aluejako kun olisi postinumeroalueet, mutta niitä taas ei vaikuta löytyvän vektorina avoimella lisenssillä mistään. Karttakeskus kyllä myisi aineistoa ystävällisesti 922,50 euron hintaan. Helsinki Region Infosharen kautta saatavilla olisi pien-, suur- ja tilastoalueet vektorina, mutta jostain syystä postinumeroalueita ei tunnu löytyvän mistään. Loppujen lopuksi päädyimme hätäratkaisuna piirtämään käsipelillä alueet käsiinsaamamme jo hieman vanhentuneen kartan pohjalta, josta puuttui mm. Östersundomin alue. (Tulevaisuuden tarpeita ajatellen We Love Open Datan Martti Leppänen teki ansiokasta työtä laatimalla taulukon, jonka avulla postinumeroalueet voi sovittaa peruspiireihin. Ihan kaikkia ongelmia tämäkään ei toki ratkaise, mutta auttaa paljon.)

Kaikken tämän säädön vuoksi kävi sitten niin, että oma ryhmäni ei saanut oikein mitään valmista maanantaina. Viikon mittaan luppohetkinä on kuitenkin viimeistelty se työ joka maanantaina aloitettiin. Lopputulos, Nodeboxilla ja Illustratorilla työstetty koropleettikartta näyttää tältä:

Punainen väri ilmaisee, että toteutuneiden kauppojen keskimääräinen neliöhinta on hintapyyntöjä pienempi, vihreä taas että suurempi. Värin intensiteetti tai värikylläisyys kertoo kuinka paljon suurempi tai pienempi ja sen tummuus taas pyrkii ilmaisemaan tehtyjen kauppojen määrää, siten että tummemmilla alueilla kauppoja on tehty enemmän ja vaaleammilla vähemmän, ajatuksena siis että erotuksen merkitys on pienempi kuin kauppoja on tehty vain vähän, eli otos on pieni. Käytännössä tuli kuitenkin huomattua, että värin intensiteetti ja tummuus on aika hankala erottaa toisistaan ja asetuksia hieman peukaloimalla syntyy kovin erilaisia lopputuloksia kuten yllä olevasta kolmesta eri variaatiosta huomaa. Ongelmakohdaksi muodostui mm. 00160-postinumeroalue (Katajanokka), jossa kauppoja oli tehty hyvin vähän (18 kpl), mutta ero hinnoissa oli valtava (yli tuhat euroa neliöltä), tai toisaalta 00980-alue (Vuosaari), jossa kauppoja oli paljon (110 kpl), mutta hintaero verrattain pieni (n. 120 € neliöltä). Näistä kolmesta vaihtoehdosta ylin tuntuu ilmaisevan visuaalisesti parhaiten sen minkä numerodata kertoo, mutta sekään ei ole täysin tyydyttävä. Esimerkiksi Jollaksen 00850-postinumeroalue katoaa kartalta melkein kokonaan, koska siellä on tehty vain kolme järjestelmään tallentunutta asuntokauppaa. Tästä opin ainakin, että väriskaalan suunnitteluun kannattaa varata aikaa ja miettiä myös sen teknistä toteutusta. Nyt ratkaisuna oli muuttujien arvojen pyöräyttäminen suoraan HSB-värimallin arvoiksi pienin painotuksin, mutta paremmalta näin jälkikäteen ajatellen tuntuisi tehdä kaksiulotteinen ”liukuvärikartta” josta osa-alueiden värit sitten poimittaisiin.

Kysyn vielä Otolta, saako karttaan menneen raakadatan julkaista (se ei ole aivan täsmälleen sama kuin HS Next -blogissa julkaistu, koska se on raavittu hieman eri aikaan ja palvelua on ilmeisesti välissä päivitetty) ja jos saan myöntävän vastauksen, lisään sen tähän loppuun jos jollakulla on kiinnostusta katsoa millaisesta datasta kartta on muodostunut.

HS Open 10.10.

Kolmas HS Open järjestetään 10.10. Olimme ensimmäisessä HS Openissa Jonatanin kanssa mukana (toiseen ei ehditty aikataulusyistä) ja sen kokemuksen perusteella tapahtumaa voi lämpimästi suositella. Ilmoittautumislomakkeesta:

Toivomme saavamme osallistujiksi 15 koodaajaa, 15 graafikkoa ja 15 toimittajaa. Tavoitteena on jakaa ihmiset kolmen hengen koodaaja-graafikko-toimittaja -ryhmiin, jotka työskentelevät päivän aikana.

Ainakin ensimmäinen tapahtuma oli vahvasti koodaajapainotteinen (meitä graafikoita taisi olla 70 osallistujasta kolme), joten hyvä jos osallistujaryhmää saadaan nyt monipuolisemmaksi. Lähtödatana on ainakin Omakaupunki.fi:n meno- ja palvelutietoja, myytävien asuntojen hintapyyntöjä ja vuokra-asuntojen vuokria Oikotieltä sekä presidentinvaalikoneen vastausdataa.