A tudományos teljesítmény mérése

A munkáltatók (a közszolgálatban szolgálatadók) igénye, hogy alkalmazottaik munkájának eredményéről legalább valamilyen hozzávetőleges információval bírjanak. A munkavállalók közül is sokan szeretnék, ha eredményeik számszerűsíthetők és összevethetők volnának, hiszen ekkor jobb eredményekkel magasabb pozíciókra és jobb fizetésre számíthatnak. A tudománnyal foglalkozók teljesítményének mérése sok vitát vált ki és gyakran ellentmondásos eljárásokat eredményez. A tudományos alkotómunka egyik megnyilvánulása az új eredmények publikálása. A legismertebb tudománymetriai mérési eljárások a publikációk mennyiségét, minőségét és visszhangját próbálják meg számszerűsíteni.

Mérőszámok

Darabszám

Természetes, hogy a teljesítmény becsülhető a publikációk darabszámával. Mivel a különböző jellegű művek munkaigénye és szerepe más és más, ezért ezt gyakran kategóriákba csoportosítva szokás megadni. Ilyen kategóriák például könyvek, könyvfejezetek, lektorált cikkek idegen nyelvű szakfolyóiratokban, lektorált cikkek magyar nyelvű szakfolyóiratokban, nem lektorált cikkek, térképek, digitális adathordozón megjelent művek, ismeretterjesztő cikkek, internetes cikkek, stb.

Idézettség

Egy publikáció jelentőségét azzal is becsülhetjük, ha megszámoljuk a forrásmunkaként rá hivatkozó más publikációkat. Hasonlóképpen, egy kutató munkájának jelentőségét kifejezheti az, hogy műveire összesen hány, mások által írott hivatkozást (citációt) kap. Az önhivatkozásnak (vagyis mikor a szerző egyik művében saját másik művére utal) e szempontból általában nem tulajdonítanak jelentőséget. Ha egy cikk szerzői XY és ZZs, akkor XY szerző szempontjából függő hivatkozásnak szokás nevezni azt a hivatkozást, amikor közösen írott cikküket ZZs társszerző egy másik, XY-tól függetlenül publikált cikkben idézi (ugyanez ZZs szempontjából önhivatkozás). A legtöbb helyen csak a független idézetek számát elemzik, ez esetben a hivatkozott mű szerzői és a hivatkozó mű szerzői között egyetlen azonos személy sincs.

A hivatkozások száma csak a formálisan is publikált hivatkozó művek esetében értelmezhető. A nem publikált művekben, például kéziratokban, szakdolgozatokban fellelt hivatkozások száma e szempontból lényegtelen.

A világ rangosabb nemzetközi szakfolyóiratainak hivatkozási listáit feldolgozza például az ISI Web of Science, vagy a Scopus adatbank.

Nyílt elérésű, és emiatt egyre népszerűbb, de a teljesség szempontjából megkérdőjelezhető rendszert indított Google Scholar néven az ismert informatikai óriásvállalat. Ezeket használva a különböző kutatók idézettsége az adott indexelő szolgáltatás körén belül vizsgálható. Az újabban előfeltétellé váló idézettségi adatok nyilvántartása érdekében sok kutató saját listát is vezet, ami általában a fentiektől eltérő eredményt ad.

Impaktfaktor (hatástényező)

A folyóiratok idézetelemzésen alapuló minősítője valamely szakfolyóirat idézettségét jelző mutató. Az impaktfaktor a folyóirat 2 egymást követő évfolyamában közölt cikkeinek – a cikkek számával arányosított – átlagos idézettsége a rákövetkező 3. tárgyévben. Az érték kiszámítása a Clarivate Analytics (eredeti nevén: Institute for Scientific Information, ISI) adatbázisai alapján történik.

A szerzők általában törekszenek cikkeiket a lehető legmagasabb impaktú lapban publikálni, hiszen ott egyrészt több hivatkozást remélhetnek, másrészt szakmai szempontból ezek a folyóiratok általában nagyobb presztízsűek. Ezen alapszik, hogy a szerzők egyes cikkeire, illetve teljes munkásságára is szokás összesített (kumulatív) impaktfaktor értékeket számolni, noha ez ellenkezik a mérőszám bevezetésének eredeti céljával. A folyóiratok impaktfaktora évről évre változik. Konkrét esetben a cikk megjelenésének évére vonatkozó értékről – az egyszerűség kedvéért, ennek hiányában – a legutóbbi értékről beszélünk.

Hirsch-féle h-index

Definíció szerint "Egy kutató indexe h, ha legalább h darab olyan cikke van, ami legalább h idézetet kapott (vagyis a többi cikkei ennél kevesebbet kaptak)." A magas h-indexű kutató tehát sok, erősen idézett cikket publikált. A kutatói gyakorlatban 6-7-es értéket viszonylag könnyű elérni, de az index további növelése innen már nehéz. A 20-as h-index már nemzetközileg is figyelemre méltó teljesítmény.

A társszerzőség

A legtöbb művet ma már nem egy ember írja, hanem szerzők kisebb-nagyobb csoportja. A szerzőség sorrendje gyakran kifejezi az egyéni hozzájárulás mértékét, de sokszor alkalmatlan erre. Az első szerző helyzete rangosabb, mint a mondjuk a lista közepe. Az utolsó szerzőség gyakran "senior" helyzetre utal, ő a szakterület idősebb tekintélye, aki elindította és támogatta a fiatalabbakat a munka megvalósításában.

Nincs általános szabály arra, hogy a publikációk rangját, értékét kifejezni hivatott mérőszámokat csökkentik-e (pl. elosztják-e) a társszerzők számának növekedésével. Gyakran minden társszerző teljesítményében a közös mű teljes értéke szerepel. Komikus helyzetek adódhatnak, ha például egy tanszék minden dolgozója a közösen publikált munka 100%-át elszámolja önmagának, majd a tanszéki közös teljesítmény kiszámításához a dolgozók egyéni teljesítményét összegezve az adott publikáció már megsokszorozott értékkel jelenik meg.

Ellenérvek

A mérőszámok jó esetben is csak a munka nemzetközi értékét becsülik. De a tudományos munka egy jelentős hányada regionális jelentőségű ún. „hungarikum”, például a magyar táj védelme, a magyar nyelv ápolása ilyen mérési próbálkozásokban méltánytalanul alulértékelt.

A különböző tudományterületeken az elérhető eredmények számszerű értéke igen különböző, a teljesítmények ezért nem hasonlíthatók össze. Például az orvostudományban, és általában a természettudományban letisztultabbak a szabályok, egy jelentős eredményt könnyebben lehet citációkkal jellemezni. Míg a társadalomtudományokban – például tipikusan ilyen a jogtudomány – egy-egy eredmény csak abban az adott országban vált ki érdeklődést, ahol született. (Az orvostudományban tipikus az öt-hat társszerzős néhány oldalas cikk, a jogtudományban szinte mindig egyszerzős, általában 15 folyóiratoldalt kitevő tanulmány a jellemző, amelyet elmélyült, hosszas kutatás s bibliografizálás előz meg).

Vannak szakmaspecifikus teljesítmények, például egy növénynemesítő esetében az általa létrehozott, elfogadott és termesztésbe vont növényfajták száma. Vannak továbbá üzleti, államigazgatási vagy katonai okok miatt titkos, bizalmas, belső szakértői munkák, melyek jellegüknél fogva nem publikálhatók. Ezért ezek a teljesítmények nem hasonlíthatók a más területeken elért teljesítményekhez.

Az eredmények publikálási kudarca olykor nem a kutatás silányságát, hanem a szerkesztők és opponensek munkájának hibáit tükrözik. Így például mikor Edward Jenner felfedezte az emberiség egyik legpusztítóbb betegsége, a fekete himlő elleni védekezést – a vakcinázást –, és szerette volna tanulmányát korának legrangosabb fórumán publikálni, a Londoni Királyi Társaságtól kapott elutasító levélben ez állt: „A Társaság Tagjának óvatosnak kellene lennie, és nem volna szabad kockára tennie megbecsültségét azáltal, hogy olyasmit nyújt be a tanult testület elé, ami ennyire eltér az elfogadott ismeretektől, ráadásul ennyire hihetetlen.”

Azt, hogy a tudomány mérésének kérdései mennyire időszerűek, jól mutatja Academia Europaea 2012­-es állásfoglalása is: „Az AE minden érintettnek javasolja, hogy tegye újra vizsgálat tárgyává a kutatás értékelését a humán és társadalomtudományok területén, megvi­tatva a bibliometria, az impakt faktorok és a peer­ review kritériumok használatát és a velük kapcsolatos visszaéléseket…”

A tudományos teljesítmény értékelése, a tudományos kutatók minősítése során napjainkban egyre kevésbé veszik figyelembe az önálló tudományos szakkönyvek, monográfiák és tudományos igényű egyetemi tankönyvek szerzőségét. A minősítés inkább az impakt faktor alapján „rangos­nak” tekintett folyóiratokban publikált cikkek és az ott megjelent hivatkozások száma alap­ján történik (azok pontos műfajától és tudo­mányos tartalmától jobbára elvonatkoztatva). A tudományos eredmény társadalmi, illetve oktatási hatása, széles értelemben vett hatása ezzel a megközelítéssel figyelmen kívül marad. Ennek az az eredménye, hogy nem ösztönöz átfogó és részletes elem­zésre épülő, annak eredményeit összegző monográfiák írására.

A tudományos munka mennyiségalapú mérése továbbá azért is kritizálható, mert ez a kutatót a publikációs listáján szereplő tételek számának növelése felé orientálja, manapság pedig számos "parazita" vagy "ragadozó" folyóirat létezik, amelyek egy meghatározott összegért bármilyen szöveget leközölnek a nélkül, hogy azt előzetesen független szakértői bírálatnak vetették volna alá. A folyóirat így anyagi haszonra, a szerző pedig szimbolikus haszonra tesz szert, amit aztán később ösztöndíjak és állások formájában maga is elismertségre és pénzre válthat. Ez a gyakorlat, a mellett, hogy általában is káros a tudományra, a tudományos tudás termelését is spekuláció tárgyává teszi. Ennek elkerülésére – és különösen a kutatók pusztán mennyiségalapú értékelése ellen – lépett fel a DORA (San Francisco Declaration on Research Assessment) kezdeményezés, melyet sok kutató és intézmény írt alá.

Támogató érvek

„Csak az az igazi tudomány, amely világra szól; s ezért ha igazi tudósok és – amint kell – jó magyarok akarunk lenni, úgy a tudomány zászlóját olyan magasra kell emelnünk, hogy azt határainkon túl is meglássák és megadhassák neki az illő tiszteletet.” (Eötvös Loránd)

A mérés általában nélkülözhetetlen a tu­dományos kutatásokban, a teljesítmények mérése és összehasonlítása pedig ma már ugyancsak nélkülözhetetlen nemcsak a gazdaságban, hanem a tudomány területén is – mind gyakorlati célból, mind pedig az elis­merés és presztízs szempontjából.

E mérőszámok által a kutatók megmutathatják munkáltatójuknak, hogy munkájuk hazai és nemzetközi összehasonlításban versenyképes. Az intézmények vezetői megmutathatják a politikai döntéshozóknak, hogy intézményük jól működik, és versenyképes terméket állít elő. A politikai döntéshozók végül meggyőzhetik a választókat arról, hogy a tudományra költött adó nem elpocsékolt pénz.

Bár egyetlen mérőszám használata félrevezető és kijátszható volna, de számos különböző mérőszám párhuzamos figyelembevétele már a valós teljesítményről ad egy hozzávetőleges becslést.

A regionális jellegű kutatások rendszerint gyakorlati jellegűek, a tudománymetria pártolói szerint ezeket a gazdasági élet szereplőinek kellene megfizetniük. Ezután művelőiket már nem fogja sérteni az, hogy a tudománymetriai mérőszámok főként az alapkutatást értékelik.

A tudománymetria melletti további érv szerint a legtöbb mai kutató nem olyan gyökeresen új felfedezésen dolgozik, mint egykor Edward Jenner. Nem tisztázott, hogy ha a tudományban járatlan döntéshozók nem a fenti elvek alapján osztják szét köztük a rendelkezésre álló pénzt, álláshelyeket, és más erőforrásokat, akkor milyen más elvek alapján kellene ezt megtenniük.

Mérőszámok és a szerzők hosszútávú hatása

Félreértés volna azt hinni, hogy a tudományos teljesítmény mérőszámai valamiféle intellektuális értéket vagy a társadalmi hasznosságot mérnek. Nem ez a céljuk. Egy-egy publikációról (részben szakterülettől is függően) az aktuális szakmai "divatok", illetve felkapott témák csendesedésével, általában nagyjából 10-15 év múlva derül ki, hogy az adott tudományterületre milyen mértékben hatott. Egy konkrét szerző jelentőségét pedig legtöbbször a tudományos életművének egésze, ritkábban egy-két kiemelkedő, új gondolatokat tartalmazó publikációja alapján lehet megítélni.

Hivatkozások

További információk

• Elektronikus Információszolgáltatás, tudománymetriai adatbányászat (www.eisz.hu)
• Scientometrics Archiválva 2006. február 12-i dátummal a Wayback Machine-ben. 1978-tól megjelenő folyóirat az Akadémiai Kiadó és társkiadó közös kiadásában. – ISSN 1588-2861. – Tartalomjegyzék
• Magyar Tudományos Művek Tára

Ajánlott irodalom

• Csaba László - Szentes Tamás - Zalai Ernő (2014): Tudományos-e a tudománymérés?
• Bencze Gy, 2006. H-index: egy új javaslat az egyéni tudományos teljesítmény értékelésére. Magyar Tudomány, 166, 88-91.
• Dévényi T, 1975. Dr. Ezésez Géza karrierje, avagy tudósok és rágcsálók Archiválva 2007. május 2-i dátummal a Wayback Machine-ben. Gondolat, Budapest. (a tudománymetria előtti világ természetrajza, összehasonlításképpen)
• Dudás A, 2008. Tudományos önismeret: az egyetemi bibliográfiák szükségességéről és egy bölcsészettudományi oktatói publikációs adatbázisról. Tudományos és Műszaki Tájékoztatás, 55. évf. 3. sz., 107–125.
• Hirsch JE, 2005. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America (PNAS), 102 (46), 16569–16572. További változatok az arXiv gyűjteményben
• Marton J, Varró A, Varró V, 2004. Impaktfaktor és tudományos teljesítmény. Magyar Tudomány, 12, 1395-1403.
• Marton J, Pap K, Hulesch H, 2006. Impakt faktor és kutatási teljesítmény – az értékelés gyakorlata. Magyar Tudomány, 166, 92-98.
• Papp Z, 2004. A tudományos teljesítmény mérésének problémáiról. Magyar Tudomány, 49, 232-40.
• Papp Z, 2006. Mire és hogyan nem lenne szabad használni az impakt faktort? Magyar Tudomány, 166, 99-103.
• Rózsa L, Papp L, 2009. A csoportmunka eredménye mint egyéni érdem – és egyéb megjegyzések a Köztestületi Publikációs Adattár használatáról. Magyar Tudomány, 2009/01, 95–102.
• de Solla Price D, 1979. Kis tudomány – nagy tudomány. Akadémiai Kiadó, Budapest.
• Száva-Kováts E, 2007-8. A "Kirakatba Állítás Szerzői Effektusa": Szakirodalom-ismereti tanulmány. Tudományos és Műszaki Tájékoztatás.
  • I. Az effektus jelensége, okai és nyomai a szakirodalomban, felismerése és megismerése, fogalmának meghatározása. 2007. 54. évf. 11–12. sz., 493–506.
  • II. Az effektus megnyilvánulása egyidejű fizikatudományi konferenciák közleményeinek dokumentáltságában. Archiválva 2015. június 10-i dátummal a Wayback Machine-ben 2008. 55. évf. 1. sz., 3–30. (Leírás a nyomtatott folyóirat alapján)
• Tóth J. 2014. Akadémiai függőség és hamisítványok: az impaktfaktor-fetisizmus egy kísérőjelenségéről. BUKSZ, 26 (3). 203-205.
• Holl András: A Magyar Tudományos Művek Tára – alapvető információk és működési alapelvek. Magyar Tudomány, 2021/01.