Kun mittarista tulee tavoite, se menettää merkityksensä – vai menettääkö sittenkään?

Professori Petri Lehenkari otti 13. elokuuta julkaistussa blogitekstissään kantaa projektiperustaisen rahoitusmallin tuloksellisuuteen. Samalla hän kysyi, miksi monessa eurooppalaisessa rahoitusarvioinnissa harkitaan hakijoiden bibliometrisistä arvioinneista luopumista. Lehenkari esitti, että ”bibliometrinen analyysi on tehokas, helppo ja halpa tapa arvioida yksilön, tutkimusryhmän ja yliopiston sekä maan tieteellistä suorituskykyä” projektitaloudessa, joka palkitsee suurista lupauksista todellisten tulosten sijaan. Kannanotto projektitalouteen on ajankohtainen ja tärkeä. On kuitenkin kysyttävä, voiko bibliometrinen arviointi ratkaista projektitalouden vinoumia ja mitä haasteita itse bibliometrisissä järjestelmissä piilee.

Tiivistän alla viime keväänä julkaistun artikkelimme tuloksia Tieteellisten seurain valtuuskunnan (TSV) Julkaisufoorumin (JUFO) vaikutuksista yksittäisten tutkijoiden julkaisupäätöksiin. Tutkimuksemme valossa väitän, ettei bibliometrinen analyysi ainakaan JUFO-luokitusten muodossa tuottaisi relevanttia tietoa tutkimuksen tasosta. Suoriutumisperusteiset järjestelmät pakottavat tutkijoita mukautumaan makrotason käytänteisiin. Tämän vuoksi JUFO-tilastoja tarkkailemalla voimme korkeintaan havaita mittarin muuttumista tavoitteeksi tutkimuksen tieteellisen laadun kattavan katsauksen sijaan.

Suomessa yliopistojen rahoitus on muuttunut tulospainotteiseksi, ja akateeminen kulttuuri korostaa objektiivista arviointia mm. tutkimuksen arvioinnissa ja rekrytoinneissa. Tässä kontekstissa JUFOn kaltaiselle järjestelmälle on kysyntää, ja se muuttuu ns. elastiseksi numeroksi – numeroksi, jolle löytyy rinnakkaisia käyttötarkoituksia jopa sen alkuperäisen tarkoituksen ja reunaehtojen vastaisesti. JUFOn seuraaminen tai JUFO-tasoista välittäminen ei ole tutkijalle valinta vaan välttämättömyys.

Artikkelimme esittää, että JUFOn roolia tutkijoiden omassa ja Suomessa tapahtuvassa tiedejulkaisemisessa voidaan eritellä viiden kategorian kautta: 1. JUFO yksilön julkaisemista ohjailevana järjestelmänä, 2. JUFO laadun määrittäjänä, 3. JUFO tietopankkina, 4. JUFO välttämättömyytenä sekä 5. JUFO turhana ja/tai tieteenteolle haitallisena järjestelmänä.

Ensimmäisessä ja toisessa kategoriassa nousi esiin, että tutkijat saattavat yhtäältä valita korkean tason julkaisuja tietoisina rahallisesta kannustimesta tai tason tuomasta arvostuksesta ja toisaalta välttää juuri korkean tason julkaisuja arastellen pitkiä arviointiprosesseja ja hyväksymispäätöksen epävarmuutta. Vaikka tutkijat luottivat JUFOn mahdollisuuksiin erottaa saalistajalehdet laatulehdistä, JUFOa kyseenalaistettiin tapauksissa, jolloin sen omat tasot eivät vastanneet muiden julkaisujen tai julkaisukanavien pisteytyksiä (JIF tai viiteryhmän arvostus). Samoin neljäs ja viides kategoria olivat selvästi negatiivisia. Neljännessä kategoriassa tutkijat kertoivat JUFO -”pakosta” mm. rahallisen kannustimen, rahoitusmallia koskevien budjettiseurausten tai väitöskirjan arvioinnin vuoksi. Viidennessä kategoriassa tutkijat taas näkivät JUFOn joko tiedetoimintaa vääristävänä tai hyödyttömänä.

Vain kolmas kategoria oli selvästi myönteinen, sillä JUFOn käyttö tietopankkina auttoi erityisesti nuoria tutkijoita tutustumaan alansa lehtitietoihin yhteen paikkaan koottuna. Samalla tämä herätti kysymyksen siitä, kuinka nopeasti nuoret tutkijat sosiaalistuvat alansa lehtien lisäksi myös JUFO-pohjaisiin mielikuviin näiden lehtien tasosta. Tämän kysymyksen vahvisti kvantitatiivisen aineiston havainto siitä, että JUFO-tasoilla oli suurempi merkitys niille tutkijoille, jotka ovat suorittaneet korkeimman tutkintonsa Suomessa.

Professorit toimivat keskeisissä tehtävissä päättämässä JUFOn luokituksista. Samalla he osallistuvat tiedepoliittiseen keskusteluun, tutkijoiden ja tutkimushankkeiden arviointiin ja ovat saattamassa seuraavan sukupolven tutkijoita tutkimuksen ja julkaisemisen maailmaan. Ei ole yhdentekevä, mitä juuri professorit ajattelevat JUFOn tapaisten järjestelmien jännitteisistä vaikutuksista ja miten he toimintansa kautta lieventävät tai vahvistavat niitä.

Ehdotan, että yllä olevaa jaottelua voisi hyödyntää JUFOa koskevissa keskusteluissa eri tiedeyhteisöissä tuomalla esiin sen myönteisiä käyttömahdollisuuksia mm. tietopankkina ja varoittamalla käyttämästä JUFOa esim. lehtien tai yksittäisten artikkelien tason mittarina. Lisäksi tarvitsemme laajempaa keskustelua siitä, mitä nämä mittarit tekevät tieteelliselle työlle ja sen tasolle. Kuten Goodhartin laki toteaa, ”kun mittarista tulee tavoite, se menettää merkityksensä”. Meidän olisikin syytä kysyä, onko JUFOlle jo käynyt juuri näin.

Blogissa viitattu artikkeli: Aarnikoivu, M., Mathies, C., & Piattoeva, Nelli. JUFOn vaikutus yliopistoissa työskentelevien tutkijoiden julkaisukanavia koskeviin päätöksiin. Tiedepolitiikka, 49(2), 9-39.

Nelli Piattoeva

Kasvatussosiologian professori, Tampereen yliopisto (valokuva: Jonne Renvall)

Lue lisää kirjoittajalta