Professoriblogissa otetaan kantaa yliopistojen ja tutkimuslaitosten ajankohtaisiin asioihin.

16.3.2015

Nyt jufo-pisteitä keräämään!

Viime viikolla YLE uutisoi ”uudesta tutkimuksesta, jonka mukaan uusia tutkimuksia on liikaa”. Sanaleikin takaa löytyy tutkimus, jossa on seurattu joidenkin luonnontieteellisten alojen artikkeleiden elinkaarta eli sitä, missä määrin niihin viitataan muissa artikkeleissa. Tieteellisten julkaisujen määrä kasvaa huimaa vauhtia, ja yksittäiset artikkelit vaipuvat parissa vuodessa unholaan.

Ihmekös tuo, että julkaisumäärät kasvavat. Maailman kaikkien maiden kaikkien yliopistojen kaikki tutkijat petraavat julkaisutahtiaan. Me kaikki tiedämme, että niin täytyy tehdä. Kun kuuntelee yliopistoissa käytävää julkaisukeskustelua kokouksissa ja kehittämispäivissä, on pakko tulla siihen johtopäätökseen, että julkaiseminen on nykyään opetus- ja tutkimushenkilökunnan tärkeimpiä tehtäviä.

Enää ei kuitenkaan riitä, että tutkija kirjoittaa ja saa kirjoituksiaan julkaistuiksi. Sekään ei riitä, että artikkeli olisi referee-arvioitu eli tieteellisessä anonyymissa vertaisarvioinnissa laadukkaaksi todettu. Nyt laatua mitataan Julkaisufoorumissa, jossa maailman julkaisukanavia on vuodesta 2011 asti luokiteltu tasoluokkiin: tieteellisiksi (taso 1), johtaviksi tieteellisiksi (taso 2) tai korkeatasoisimmiksi johtaviksi tieteellisiksi (taso 3). Lisäksi on nollaluokka. Julkaisun laatu arvioidaan siis sen mukaan, mikä kustantaja tai mikä aikakauslehti sen julkaisee. Meillä on uusi käsite artikkelin laadun mittaamiseen, jufo-piste. Itse artikkelin sisällöstä viis – julkaisuympäristö ratkaisee.

Julkaisujen määrä, laatu (jufo-pisteet) ja vaikuttavuus liittyvät yhteen. Vaikuttavuutta on tullut tavaksi tutkia sitaatiomäärien mukaan eli laskemalla, miten paljon toisten tutkijoiden viittauksia julkaisut keräävät. Opetus- ja kulttuuriministeriön helmikuussa tuottama raportti Suomalaisen yliopistotutkimuksen tuottavuus ja vaikuttavuus vertailee tieteenalojen julkaisutuottavuutta ja vaikuttavuutta. OKM:n ”profiilityöryhmän” raportin tarkoituksena on tarjota yliopistoille aineistoa rakenteelliseen kehittämiseen ja profiloitumiseen.

Tieteenalan julkaisutuottavuuden  tärkein mittari raportissa on jufo-pisteet/tekijät. Raportti pitää tätä mittaria hyvänä, koska se ”yhdistää samaan käsitteeseen julkaisujen määrän ja laadun”. Jyväskylän yliopiston tuottavimpia aloja näyttäisi raportin mukaan (s. 41) olevan teologia. Tämä herättää ihmetystä, koska Jyväskylän yliopistossa ei ole teologiaa. No, painovirheitä sattuu. Sen voi kuitenkin ottaa esimerkiksi, koska taatusti ei kukaan loukkaannu. Jyväskylän teologia on saavuttanut jufo-pisteitä enemmän kuin 1,1 per artikkeleiden kirjoittajien määrä. Koska tieteenalan kansallinen taso = 1, ovat Jyväskylän teologit tuottavampia kuin maamme muut teologit. Julkaisujen määrä ja laatu ovat yli maan keskitason. Suomen keskitasoa vaikuttavampia keskisuomalaiset teologit eivät ole, koska heidän julkaisuihinsa tehtyjen viittausten määrä ei ole riittävä.

Kun Julkaisufoorumi perustettiin, korostettiin sitä, että luokitus soveltuu tutkimuksen arviointiin vain suurten julkaisumäärien tasolla. Foorumin etusivulla varoitus kerrotaan näin: ”Luokitus ei sovellu tieteenalojen välisten vertailujen tekemiseen, eikä se voi korvata julkaisujen sisältöön perustuvaa vertaisarviointia yksittäisten tutkijoiden tai tutkimusryhmien arvioinnissa.”

Professoriliitto selvitti viime syksynä yliopistojen käyttämiä tulos-, bonus-, kannustin- tai insentiivipalkkioiden järjestelmiä. Paljastui, että jufo-pisteiden ansaintakisa on jo meneillään useassa yliopistossa: julkaisuista saatavat tulospalkkiot seuraavat tarkalleen jufo-luokitusta. Jufo-luokituksen mukaisesta julkaisemisesta puhutaan myös kehityskeskusteluissa. Onpa luokitus löytänyt tiensä myös hakijoiden pätevyysarviointiin professuurien ja muiden tutkimustehtävien täytön yhteydessä.

Julkaisufoorumin ohjausryhmä on pysynyt pontevasti alkuperäisessä ajatuksessaan. Se on viime kokouksessaan toistanut, että tutkijan ”julkaisujen laadunarvioinnin tulee perustua ensisijaisesti tieteenalan asiantuntijoiden suorittamaan sisällölliseen tarkasteluun”. Erilaisten julkaisukanavaluokitusten soveltaminen yksittäisten tutkijoiden julkaisujen arviointiin tarkoittaisi ohjausryhmän mielestä kohtuuttoman suurta virhemarginaalia. Ohjausryhmä viittaa myös vuonna 2013 laadittuun DORAan (San Francisco Declaration on Research Assessment). Sen allekirjoittaneet tahot toteavat, että julkaisukanavien arviointiluokituksia ei pitäisi käyttää yksittäisen tutkijan palkkauksen, rahoituksen tai uralla etenemisen kriteereinä.

Julkaisufoorumi näyttää edelleen haluavan edistää sitä, että jufo-luokitusta käytettäisiin vain alkuperäiseen tarkoitukseensa. (Julkaisufoorumi ansaitsee muuten kiitoksen siitä, että sen kokouspöytäkirjat ja -muistiot ovat kaikkien luettavissa ja toiminta läpinäkyvää.)

Mutta älkäämme olko sinisilmäisiä. Mikä olisi sellainen työpaikka, jonka työntekijät saisivat tehdä eri asioita kuin niitä, joiden perusteella työnantaja menestyy? Tietysti yliopisto haluaa meidän tekevän juuri niitä julkaisuja, joista se saa rahaa.

Yliopistojen rahoitusmallissa julkaisujen kokonaisosuus on 13 %. Jufo-tasoluokkien 3 ja 2 painokerroin on 3, tasoluokan 1 kerroin on 1,5 ja tasoluokan 0 kerroin on 1. Muiden julkaisujen – vertaisarvioimattomien tieteellisten kirjoitusten, toimitettujen kirjojen ja julkaisujen, oppikirjojen, ammattiyhteisölle tai suurelle yleisölle suunnattujen julkaisujen – kerroin on vaivaiset 0,1.

Opetus- ja kulttuuriministeriö on jo laatimassa ehdotusta yliopistojen rahoitusmallin tarkistamiseksi vuodesta 2017 alkaen. Työryhmältä odotetaan tulosta marraskuun 2015 loppuun mennessä. Nyt olisi aika vaikuttaa siihen, millaisia jufo-painokertoimia rahoitusmallissa käytetään. On tarpeen kysyä, ovatko jufo-luokkien 3 ja 2 julkaisukanavat juuri niitä, joiden avulla me tutkijat parhaiten levitämme uutta tietoa, palvelemme yhteiskuntaa ja parannamme maailmaa?

Tutkimustyö on paljon muutakin kuin artikkelin julkaisemista. Se on lukemista, yhteistyötä, suunnittelua, aineistonhankintaa, analyysia, pohdintaa, tuloksista keskustelemista seminaareissa, konferensseissa ja julkisuudessa. Tutkimustyön tuloksia ei saa redusoida artikkeleiden määräksi ja jufo-luokituksiksi.

 

Miika Nurminen 04.05.2015
Tarkennuksena, että vertaisarvioimattomien kirjojen ja toimitettujen teosten (C2, E2-E3, D5-D6) Jufo-kerroin taitaa sentään olla 0.4.

Jufo-pisteiden käyttämisessä henkilötason mittauksessa on huomionarvoista myös OKM:n oma (ilmeisesti vielä valmisteilla oleva) tutkijan julkaisuaktiivisuushanke. Ohjausryhmässä (https://confluence.csc.fi/display/tietor/2014_12_01+Korkeakoulujen+valtakunnallisen+tietovarannon+ja+OKM%3An+tiedonkeruiden+ohjausryhma) esitettyjen kalvojen perusteella tulossa olisi henkilöstö- ja julkaisutiedonkeruun tietojen yhdistämisen myötä mm. tutkijoiden tuottavuusarviointia "julkaisut/jufo-pisteet/viittaukset vs. tutkijoiden henkilötyövuodet", mikä tuntuu Jufon tarkoitusta ajatellen hieman erikoiselta (kalvot: http://slideplayer.fi/slide/2981792/). Olkoonkin, että kokouksen päätöslistan mukaan tietojen yhdistämisellä ei tavoiteltaisi henkilötasolle porautumista.

Maarit Valo 04.05.2015
Mainitsemiesi vertaisarvioimattomien kirjojen ja toimitettujen teosten Jufo-kerroin on 0,4 vain tuossa OKM:n profiilityöryhmän raportissa. Raportti: http://www.minedu.fi/export/sites/default/OPM/Julkaisut/2015/liitteet/okm05.pdf?lang=fi

Sen sijaan OKM:n rahoitusmallissa, jonka mukaan yliopistot saavat rahansa, noidenkin kerroin on 0,1. Ne kuuluvat siis ”muihin (= turhiin) julkaisuihin”. Yliopistojen rahoitusmalli: http://www.minedu.fi/export/sites/default/OPM/Koulutus/yliopistokoulutus/hallinto_ohjaus_ja_rahoitus/liitteet/yo_rahoitusmalli_2015.pdf

Paljon kiitoksia llisätiedoista! ”Tutkijoiden tuottavuusarviointi” kuulostaa varsin mielenkiintoiselta hankkeelta...

Janne Pölönen 20.05.2015
Täsmällisin tieto vuodesta 2015 rahoitusmallissa käytetyistä eri julkaisutyyppien kertoimista löytyy asetuksesta: http://www.finlex.fi/fi/laki/alkup/2014/20140526

Asetukseen liitteeseen (kohta 2) on kirjattu Miika Nurmisen mainitsemille julkaisutyypeille seuraavat kertoimet:

4) Julkaisutiedonkeruun luokka C2 painotetaan kertoimella 0,4.

6) Julkaisutiedonkeruun luokka D5 painotetaan kertoimella 0,4.

8) Julkaisutiedonkeruun luokka E2 painotetaan kertoimella 0,4.

OKM on asettanut työryhmän laatimaan esityksen vuodesta 2017 käytettävästä mallista.

Maarit Valo 20.05.2015
Kiitos selvittelystä. Olisihan hyvä, jos OKM:n verkkosivuilla olisi oikeaa tietoa. Yhtä kaikki, pieniä ovat noiden julkaisujen kertoimet.