HS Openin satoa

Maanantainen HS Open tuotti kiinnostavia tuloksia, mutta osoitti taas kerran miten hankalaa homma visualisointien tekeminen on kun sekä data on vaihtelevan laatuista että työkalut hakevat muotoaan.

Informaatiomuotoilu.fi:n porukasta minä ja Tommi olimme mukana ja kuuluimme sattumoisin molemmat ryhmiin jotka askartelivat saman kysymyksen parissa: miten asuntojen hintapyynnöt korreloivat toteutuneiden kauppahintojen kanssa. Toisen ryhmän tuloksien pohjalta saatiin aikaiseksi kiinnostava artikkeli netti-Hesariin, jossa näkökulmaa on haettu myös kiinteistövälittäjältä ja aiheeseen perehtyneiltä tutkijoilta. Jutussa Helsingin kaupungin tietokeskuksen tutkija Henrik Lönnqvist kiinnittää aivan aiheellisesti huomiota datan yhteismitallisuuden ongelmiin. Oikotie-palvelusta saatu aineisto hintapyynnöistä on kattavaa, mutta sen sijaan toteutuneista kaupoista saatu data ei ole. Omassa ryhmässäni mukana ollut toimittaja Tuomo Pietiläinen teki julkisuuslain mukaisen tietopyynnön tarkemman datan saamiseksi, mutta saa nähdä johtaako se mihinkään. Nyt jouduimme tyytymään ympäristöministeriön ja ARAn ylläpitämästä Asuntojen hintatiedot -palvelusta raavittuun aineistoon, joka on ladattavissa HS Next -blogista. Se kertoo kaupat vain kadun tarkkuudella vuoden ajalta yksilöimättä kaupankäyntiajankohtaa, minkä johdosta on melko mahdoton tehtävä yrittää katsoa millä hinnalla joku tietty asunto on mennyt kaupaksi.

Kaikkien hintapyyntöjen vertaamisessa kaikkiin toteutuneisiin kauppoihin on ilmeisiä ongelmia, jo siksi että toteutuneita kauppoja on aineistossa paljon vähemmän kuin hintapyyntöjä, joten hintapyynnöissä lienee mukana spekulatiivista kauppaa (myyntiin ei ole akuuttia tarvetta, mutta kokeillaan saisiko hyvän hinnan jos myisi) mikä on omiaan nostamaan hintapyyntöjen keskiarvoa. Tähän kuitenkin oli tyydyttävä. Omassa ryhmässäni aikomus oli tehdä jaotteluja asuntojen koon mukaan, mutta sitä ei tiukassa aikataulussa ehditty tehdä. Näin ollen esimerkiksi jos alueella on myynnissä monen kokoisia asuntoja, mutta kauppa on käynyt vain tietyn kokoisista asunnoista, keskimääräinen neliöhinta on voitu laskea hintapyynnöissä ja toteutuneissa kaupoissa ihan eri kokoisista kämpistä joka on jälleen omiaan vääristämään lopputulosta.

Itse kuuluin siis kolmihenkiseen ryhmään, jossa minun ja Pietiläisen lisäksi mukana oli vielä Seravon Otto Kekäläinen. Me taistelimme samojen aineisto-ongelmien kanssa kuin toinenkin ryhmä, mutta valitsemamme visualisointitapa, koropleettikartta, tuotti vielä lisää harmaita hiuksia. Datasta helposti saatava aluejako kun olisi postinumeroalueet, mutta niitä taas ei vaikuta löytyvän vektorina avoimella lisenssillä mistään. Karttakeskus kyllä myisi aineistoa ystävällisesti 922,50 euron hintaan. Helsinki Region Infosharen kautta saatavilla olisi pien-, suur- ja tilastoalueet vektorina, mutta jostain syystä postinumeroalueita ei tunnu löytyvän mistään. Loppujen lopuksi päädyimme hätäratkaisuna piirtämään käsipelillä alueet käsiinsaamamme jo hieman vanhentuneen kartan pohjalta, josta puuttui mm. Östersundomin alue. (Tulevaisuuden tarpeita ajatellen We Love Open Datan Martti Leppänen teki ansiokasta työtä laatimalla taulukon, jonka avulla postinumeroalueet voi sovittaa peruspiireihin. Ihan kaikkia ongelmia tämäkään ei toki ratkaise, mutta auttaa paljon.)

Kaikken tämän säädön vuoksi kävi sitten niin, että oma ryhmäni ei saanut oikein mitään valmista maanantaina. Viikon mittaan luppohetkinä on kuitenkin viimeistelty se työ joka maanantaina aloitettiin. Lopputulos, Nodeboxilla ja Illustratorilla työstetty koropleettikartta näyttää tältä:

Punainen väri ilmaisee, että toteutuneiden kauppojen keskimääräinen neliöhinta on hintapyyntöjä pienempi, vihreä taas että suurempi. Värin intensiteetti tai värikylläisyys kertoo kuinka paljon suurempi tai pienempi ja sen tummuus taas pyrkii ilmaisemaan tehtyjen kauppojen määrää, siten että tummemmilla alueilla kauppoja on tehty enemmän ja vaaleammilla vähemmän, ajatuksena siis että erotuksen merkitys on pienempi kuin kauppoja on tehty vain vähän, eli otos on pieni. Käytännössä tuli kuitenkin huomattua, että värin intensiteetti ja tummuus on aika hankala erottaa toisistaan ja asetuksia hieman peukaloimalla syntyy kovin erilaisia lopputuloksia kuten yllä olevasta kolmesta eri variaatiosta huomaa. Ongelmakohdaksi muodostui mm. 00160-postinumeroalue (Katajanokka), jossa kauppoja oli tehty hyvin vähän (18 kpl), mutta ero hinnoissa oli valtava (yli tuhat euroa neliöltä), tai toisaalta 00980-alue (Vuosaari), jossa kauppoja oli paljon (110 kpl), mutta hintaero verrattain pieni (n. 120 € neliöltä). Näistä kolmesta vaihtoehdosta ylin tuntuu ilmaisevan visuaalisesti parhaiten sen minkä numerodata kertoo, mutta sekään ei ole täysin tyydyttävä. Esimerkiksi Jollaksen 00850-postinumeroalue katoaa kartalta melkein kokonaan, koska siellä on tehty vain kolme järjestelmään tallentunutta asuntokauppaa. Tästä opin ainakin, että väriskaalan suunnitteluun kannattaa varata aikaa ja miettiä myös sen teknistä toteutusta. Nyt ratkaisuna oli muuttujien arvojen pyöräyttäminen suoraan HSB-värimallin arvoiksi pienin painotuksin, mutta paremmalta näin jälkikäteen ajatellen tuntuisi tehdä kaksiulotteinen ”liukuvärikartta” josta osa-alueiden värit sitten poimittaisiin.

Kysyn vielä Otolta, saako karttaan menneen raakadatan julkaista (se ei ole aivan täsmälleen sama kuin HS Next -blogissa julkaistu, koska se on raavittu hieman eri aikaan ja palvelua on ilmeisesti välissä päivitetty) ja jos saan myöntävän vastauksen, lisään sen tähän loppuun jos jollakulla on kiinnostusta katsoa millaisesta datasta kartta on muodostunut.

Datajournalismin päivä 29.9. Tampereella

Datajournalismin verkosto järjestää ensimmäisen Datajournalismin päivän Tampereella tämän viikon torstaina eli 29.9.2011. Päivän teemana on ”Kaupunkidata ja paikallisjournalismi – kuntavaalit 2012”. Olen mukana tapahtumassa tuuraamassa IBM:n Peter Bakia joka aikataulusyistä ei pääse paikalle. Pidän siis esityksen tiedon visualisoinnista, minkä lisäksi osallistun ”juttuakvaarioon” jossa yritämme saada päivän aikana tehtyä uutisia ja visualisointeja Tampereen ja Jyväskylän kaupunkien päätöksentekoaineistoista, eli kunnan eri toimielinten pöytäkirjoista yms.

Maksuttomaan tapahtumaan taitaa mahtua vielä muutama mattimyöhäinen osallistuja paikan päälläkin jos ilmoittautuu pikimmiten, mutta tapahtuma lähetetään myös suorana verkkolähtyksenä Bambuser-palvelun kautta.

Lisäys 11.10.2011: Esitys löytyy nyt myös videoituna verkosta.

Presentation: What is visualization?

In Finnish: Suomennamme tämän artikkelin myöhemmin blogia varten, tässä se on englanninkielisenä siinä muodossa kuin se esitettiin aiemmin tänään PICNIC-festivaalilla. 

We were asked to do a short (20 min.) presentation about what visualization is and why it matters for Open Data Breakfast at PICNIC Amsterdam. You can download this presentation as a pdf here, annotated with the text of the presentation as comments, or if you prefer, read the full text below.

edit (September 27th 2011): The same presentation was given at the IBM Smarter Cities Challenge workshop at Aalto Design Factory yesterday, where it was recorded and is now viewable online:

Jatka lukemista ”Presentation: What is visualization?”

We are at PICNIC Amsterdam this week

I’m writing in English this time around. This week we are at PICNIC Amsterdam festival hosting the “Open Data Kitchen” visualization workshop with Forum Virium Helsinki, We Love Open Data and stadi.TV. We will also be giving a thematic introduction to what visualization is and why it matters at the “Open Data Breakfast” session Friday morning at Hangar B. We’ll be posting some of the visualizations and other stuff we make during the week to the blog later on. edit 28.9.2011: See the Open Data Kitchen blog for more.

The Open Data Kitchen is located at the seafront next to the PICNIC Club and the VIP/Press area. Come say hi if you’re around, and maybe ask some questions we can try to find to answers to!

HS Open 10.10.

Kolmas HS Open järjestetään 10.10. Olimme ensimmäisessä HS Openissa Jonatanin kanssa mukana (toiseen ei ehditty aikataulusyistä) ja sen kokemuksen perusteella tapahtumaa voi lämpimästi suositella. Ilmoittautumislomakkeesta:

Toivomme saavamme osallistujiksi 15 koodaajaa, 15 graafikkoa ja 15 toimittajaa. Tavoitteena on jakaa ihmiset kolmen hengen koodaaja-graafikko-toimittaja -ryhmiin, jotka työskentelevät päivän aikana.

Ainakin ensimmäinen tapahtuma oli vahvasti koodaajapainotteinen (meitä graafikoita taisi olla 70 osallistujasta kolme), joten hyvä jos osallistujaryhmää saadaan nyt monipuolisemmaksi. Lähtödatana on ainakin Omakaupunki.fi:n meno- ja palvelutietoja, myytävien asuntojen hintapyyntöjä ja vuokra-asuntojen vuokria Oikotieltä sekä presidentinvaalikoneen vastausdataa.

Hymynaamoista ja pelkistämisestä

Jo vastasyntynyt lapsi osaa tunnistaa kasvoja. Ihmiskasvojen lisäksi pieni lapsi erottaa eläinten kasvonpiirteitä paremmin kuin aikuiset ja tunnistaa jopa hyvin abstraktin ”hymynaaman” kasvoja esittäväksi kuvaksi. Tämä kaikki on toki sinänsä kiehtovaa ja kertoo siitä, miten voimakas ihmisen luontainen kyky tunnistaa kuvioita on, mutta samaan aikaan se myös herättää kysymyksiä. Tarkoittaako se, että lapsi näkee kasvot kuviossa joka koostuu kaaresta ja kahdesta pisteestä, että nämä olisivat jollain tavalla “ihanteelliset” kasvot?

Kysymys liittyy ilmaisu- ja tyylivalintojen merkitykseen tiedon visualisoimisessa. Pelkistetyn, geometrisen ilmaisun perinne informaatiomuotoilun hallitsevana visuaalisena tyylinä on pitkä. Tällaista tyyliä on perinteisesti pidetty objektiivisena ja selkeänä, mikä näkyy edelleen varsinkin varoitus- ja liikennemerkeissä. Tästä hyvä esimerkki on Yhdysvaltain graafisten suunnittelijoiden järjestön Aigan 1970-luvulla kehittämä kansainvälinen opastesymbolijärjestelmä. Usein ajatellaan, että tämä minimalistinen tyyli edustaa suoraa jatkumoa Isotype-perinteelle. Tarkemmassa vertailussa havaitsee kuitenkin, että Gerd Arntzin piirtämät Isotype-hahmot, vaikkakin pelkistettyjä, ovat kuitenkin selvästi ilmeikkäämpiä ja yksityiskohtaisempia. Minimalistisen tyylin juuret ovat pikemminkin sodanjälkeisen kansainvälisen modernismin pyrkimyksessä geometriseen yksinkertaisuuteen.

Onko siis syynä siihen, että lapsille tehdään yksinkertaisia hymynaamoja se, että heidän kykynsä reagoida niihin on kiehtonut havaintopsykologeja ja suunnittelijoita ja myös sattunut hyvin istumaan vallitseviin esteettisiin trendeihin, pikemminkin kuin se, että lapset itse pitäisivät sellaisia erityisen houkuttelevina?

Jatka lukemista ”Hymynaamoista ja pelkistämisestä”

Oppikirjojen kuvituksesta

Informaatiomuotoilu-blogi on alkujaan perustettu kirjaprojektin kylkiäiseksi. Työstämme paraikaa aineistoa toivon mukaan ensi keväänä julkaistavaa ensimmäistä suomenkielistä informaatiomuotoilun perusteosta varten. Osana tätä prosessia minun tehtäväkseni on langennut käydä läpi kaikki aihetta sivuava kotimainen tieteellinen tutkimus. Tämä artikkeli käsittelee erästä äskettäin lukemaani ja aikanaan paljonkin polemiikkia herättänyttä suomalaista pioneeritutkimusta oppikirjojen kuvituksesta.

* * *

Silmänliike- eli katseenseurantatutkimus on antanut empiiristä pohjaa aiemmin lähinnä teoreettisiin hypoteeseihin pohjautuneille käsityksille ihmisten lukutavoista. Suomessa on tehty maailmanlaajuisestikin uraauurtava silmänliikekameroita hyödyntävä tutkimus oppikirjojen kuvituksen vaikutuksista oppimistuloksiin Turun yliopiston psykologian laitoksella 1996 väiteleen filosofian tohtorin, nykyisin turkulaisen Ilpoisten koulun rehtorina toimivan Matti Hannuksen väitöstutkimuksessa Oppikirjan kuvitus – koriste vai ymmärtämisen apu? Tutkimuksessa suoritettiin kevätlukukaudella 1993 Turussa luokkatason oppimiskoe kuvitettuja ja kuvittamattomia versioita samoista biologian oppiaineistoista käyttäen 108:lle neljännen luokan oppilaalle, sekä silmänliiketutkimus johon valikoitiin edellisen ryhmän 12 lahjakkainta ja 12 ei-lahjakkainta oppilasta Ravenin testin avulla.

Hannuksen tutkimus osoitti, että koehenkilöt käyttivät vain 6 % oppikirjojen parissa käytetystä ajasta kuvien katseluun ja peräti 94 % tekstin lukemiseen, eikä kuvitusten käyttö juuri parantanut oppimistuloksia kuvittamattomiin versioihin samoista aukeamista verrattuna. Oppilaat eivät juurikaan käyttäneet kuvia hyödykseen tekstiä lukiessaan vaan suurimmalla osalla (92 %) oli selvä tekstisuuntautunut malli oppikirjan aukeamien prosessoimiseen, joskin taiton avulla pystyttiin jonkin verran ohjaamaan prosessointitapoja haluttuun suuntaan. (Mielenkiintoinen havainto on, että kuvateksteihin käytettiin enemmän aikaa kuin kuviin ja kuvaa, jossa oli kuvateksti katsottiin myös pitempään kuin sellaista, jossa ei ollut.) Hannus menee niin pitkälle, että toteaa: ”Voidaan puhua kuvituksen karsivasta funktiosta eli kuva-ala määrittää ne aukeaman kohdat, joita ei tarvitse prosessoida perusteellisesti.” Hän ehdottaa, että oppikirjoista voitaisiin karsia 60–70 % kuvituksesta ja lisätä vastaavasti tilaa pitemmille teksteille.

Jatka lukemista ”Oppikirjojen kuvituksesta”

Findikaattori

Suomalaiset viranomaiset tiedottavat tekemisistään välillä turhan vaatimattomasti. Lueskellessani tänään edellisen blogipostauksemme aiheeseen liittyvää Hesarin artikkelia törmäsin mainintaan Findikaattori-palvelusta. Mikä ihmeen Findikaattori?

Kyseessä on valtioneuvoston kanslian ja Tilastokeskuksen yhteinen palvelu, johon on koottu parinkymmenen eri julkisen tahon keräämää tilastotietoa mitä erilaisimmista aiheista, huolella toimitettuna ja visualisoituna. Sivusto avattiin jo syksyllä 2009 jolloin asiasta uutisoitiinkin melko laajasti. Muistelen silloin itsekin käyneeni ihmettelemässä palvelua, mutta koko juttu unohtui nopeasti ja pysyin Tilastokeskuksen Statfin-palvelun uskollisena käyttäjänä.

Kaikessa hiljaisuudessa Findikaattoria on kehitetty ja sisältöä lisätty. Dataa on valtavasti ja käytettävyydeltään paketti on ihan eri tasolla kuin Statfinin oma aataminaikainen insinöörikäyttöliittymä. Aineisto on jäsennelty teemoittain sekä yleisellä tasolla että hallitusohjelman tavoitteiden mukaisesti. Visuaaliset esitykset luodaan automaattisesti tietokannassa olevasta datasta, eli kuviot päivittyvät sitä mukaa kun Tilastokeskus saa uutta aineistoa kerättyä. Jokaisen tilaston saatteena on lyhyt asiantuntijan laatima sanallinen selvitys joka auttaa ymmärtämään aineistoa paremmin. Graafisen esityksen lisäksi sama aineisto on tarjolla myös numeroina, ja sokerina pohjalla tilastot saa myös helposti ladattua omalle koneelle avoimen datan periaatteella. (Avoimen datan periaatteen edistämisestä onkin tuore valtioneuvoston periaatepäätös jonka edistämiseen Findikaattori on erinomainen työkalu.)

OECD:n palkinnonkin saanut Findikaattori on juuri sellainen palvelu josta valtionhallinnon kannattaisi pitää isompaa meteliä. Julkiset tietotekniikkahankkeet kun yleensä ovat otsikoissa vähemmän mairittelevissa yhteyksissä.

OECD:n Better Life -indeksi

The Ulkopolitist-blogi kirjoittaa uusista talous- ja hyvinvointi-indikaattoreista joista toivotaan korviketta jälkiteollisen yhteiskunnan kehityksen mittaamiseen turhan suppealle BKT:lle. Aihe on yleisesti ottaenkin kiinnostava, mutta informaatiomuotoilun näkökulmasta pitää erikseen nostaa esiin artikkeliin linkattu OECD:n Better Life -indeksi. Indeksin 11 komponentin painotuksia pääsee OECD:n ylläpitämällä sivustolla vapaasti muuttamaan ja valitsemaan tästä näkökulmasta itselleen parhaan OECD-maan.

Käyttöliittymä korostaa näyttävyyttä aavistuksen verran liikaa sisällön kustannuksella. ”Kukkasen terälehtien” sijaan maakohtaisia arvoja voisi ilmaista jollain selkeämmällä tavalla ja maiden näyttäminen oletuksena aakkosjärjestyksessä (jonka saa vaihdettua sijoitusjärjestykseen) on huono idea, mutta itse konsepti on kohdallaan. Kun vuorovaikutteisten esitysten tekeminen on helppoa, miksi tyytyä ”yhden koon” ratkaisuun? Tämäntyyppisiä tunnuslukuja ei tuoteta niiden itsensä vuoksi, vaan päätöksenteon tueksi. Eri ihmisillä on erilaiset arvostukset ja näkemykset ja siten erilaiset tiedolliset tarpeet. Tähän mahdollisuus itse painottaa indeksin eri osa-alueita sopii mainiosti.

Henkilökohtaisilla painotuksillani indeksi tarjoaa minulle parhaaksi asuinpaikaksi Australiaa (joka on myös painottamattoman indeksin ykkönen). Valitettavasti kanssaihmisten pukeutumiselle ja ruokavaliolle ei ollut omaa säädintä.

David McCandlessin TED-esitys

TED lienee useimmille lukijoille entuudestaan tuttu. Kyseessähän on alkujaan Kaliforniassa, nyttemmin eri puolilla maailmaa järjestettyjen konferenssien sarja jossa eri alojen huippuasiantuntijat pitävät äärimmäisen hyvin valmisteltuja 18 minuutin esityksiä mitä erilaisimmista aiheista. Informaatiomuotoilun pioneerin Richard Saul Wurmanin 1984 käynnistämä TED on viime vuosina saanut huimasti lisänäkyvyyttä aloitettuaan esitysten videotaltiointien levittämisen verkossa. Olen itsekin usein käyttänyt niitä opetuksen tukena informaatiomuotoilun kursseilla, esimerkiksi Hans Roslingin TED-luento vuodelta 2006 on vakuuttava todistus informaatiomuotoilun kyvystä muuttaa vahvojakin ennakkokäsityksiä. (Myös Roslingin muut esitykset ovat katsomisen arvoisia.)

Viime kesänä Oxfordissa järjestetyn TED Global -konferenssin yhtenä puhujana oli Information is Beautiful -blogin ylläpitäjä David McCandless, jonka kirja Tieto on kaunista on käännetty myös suomeksi. En ole kaikilta osin hänen mielestäni hieman liikaa estetiikkaa sisällön sijaan korostavan tyylinsä ystävä, mutta McCandlessin esitys on erinomainen johdanto siihen, miksi informaatiomuotoilua tehdään, miksi se on juuri nyt tärkeämpää kuin koskaan ja kuinka se on vähitellen muuttumassa asiantuntemusta vaativasta erityisalasta osaksi kaikkien jokapäiväistä työtä.

McCandless käyttää esityksen visuaalisena materiaalina blogissaan jo aiemmin esiteltyjä töitä. Olen koonnut tähän linkit niihin tarkempaa syventymistä varten:

Erityisesti Snake Oil? olisi melkeinpä oman kirjoituksensa aihe. McCandless ja Andy Perkins ovat tehneet valtavan työn koostaessaan noin tuhannen vertaisarvioidun tutkimuksen tulokset yhdeksi vuorovaikutteiseksi esitykseksi, jonka avulla voi tarkastella tieteellistä näyttöä erilaisten ravintolisien väitetyistä terveyshyödyistä. On mielenkiintoista huomata, että esimerkiksi paljon mainostetuista goji-marjojen suotuisista terveysvaikutuksista ei juuri ole näyttöä.

* * *

Useimmissa TED-videoissa on myös suomenkieliset tekstit, joten luentojen seuraaminen onnistuu vähän heikommallakin englannintaidolla.