A tudományos eredményesség, illetve teljesítmény (egységnyi időszakra vonatkozó eredményesség) „mérésének” jelentős idegen nyelvű irodalma (Price, 1970, Quandt, 1976, Stigler–Friedland, 1979, Merton, 1968, Garfield, 1979, Yablonski, 1985) mellett rendelkezésre áll magyar nyelvű szakirodalom is (Price, 1979, Nalimov–Mulcsenko, 1980, Braun–Bujdosó, 1984, Zolnay–Gácsi, 1998, Verő, 1998, Csermely et al., 1999, Mezei, 2001, Zolnay, 2001, Papp, 2004, Vinkler, 2004). Saját ismereteim az említett írásokból és gyakorlati tapasztalataimból állnak össze. Szeretnék rámutatni olyan körülményekre, amelyek bizonytalanná tehetik egyének, csoportok vagy intézmények tudományos eredményességének, teljesítményének a ma használt mutatók (közlemények száma, hivatkozások száma, impakt faktor) alapján való megítélését.

Papp Zoltán (2004) publikációjában a tudományos tevékenységek teljesítményének mérését a következőkben összegezte:

1. a tudományos teljesítmény (továbbiakban: teljesítmény) eléggé nehezen megfogható fogalom, ami nagyjából a tudományos kutatómunka mennyiségét, minőségét, értékét, jelentőségét foglalja magában (időegységre vonatkoztatva),
2. a teljesítmény mérésére, vagy legalábbis hozzávetőleges értékelésére minden szinten szükség van,
3. mivel az értékelés komoly egzisztenciális, illetve anyagi érdekeket érint, azt lehetőleg objektív adatok alapján, a szubjektív elemek kizárásával kell végezni,
4. a rendelkezésre álló egyszerű objektív adatok között nincs egy sem, amelyre alapozva az értékelés könnyen, gyorsan, egyszerűen és ezzel együtt megbízhatóan elvégezhető lenne, ezért az értékelésnek több adatra ki kell terjednie, és ezeket az adatokat komplex, beleérző módon, az eseti specialitásokra is figyelemmel kell értékelni.

Már a szerző is felhívja a figyelmet, hogy a két utóbbi követelmény egymásnak ellentmond. Ugyanis ha az értékelést nem lehet kevés egyszerű adat alapján, kvázi automatikusan végrehajtani, akkor a szubjektivitás szerepe felerősödhet, az objektivitás sérülhet. Ráadásul a sok adatra kiterjedő, komplex értékelés technikailag is nehéz, munka- és időigényes. Ezért érthető a vágy, hogy az értékelést mégiscsak egy vagy néhány egyszerű adatra alapozzuk. Tény, hogy a gyakorlatban nem nagyon tudunk elszakadni attól, hogy a teljesítményt a legerősebbnek ítélt mutatók, a közlemények száma, a hivatkozások száma és az impakt faktor alapján próbáljuk megítélni. E mutatókkal azonban sok gond van. Most ezeket veszem sorra, és ezt követően néhány javaslatot fogok tenni az értékelés egyszerűbbé tételére.


KÖZLEMÉNYEK SZÁMA

A közlemények számát sokan említik a nevük után. Ez nem lehet egyértelmű mércéje a tudományos teljesítménynek. Nyilvánvaló, hogy egy rövidebb cikk megszövegezése kevesebb időt igényel, mint egy hosszabbé, ennél is fontosabb azonban, hogy a cikket megalapozó kutatás idő- és munkaigénye nagyon különbözhet aszerint, hogy milyen módszereket alkalmaztak (számolást nem igénylő tiszta elméleti, számolásigényes elméleti, statisztikai, kísérleti, irodalmazás stb.), és hogy mi a munka tényleges tartalma. Az ilyen különbségek nemcsak tudományágak között, hanem egy tudományágon belüli szakterületek között (például elméleti–kísérleti), sőt egyes szűk kutatási témák között is megjelenhetnek.
A közlemények számának szaporítására néhány bevált módszer létezik, viszonylag kevés többletmunka és idő ráfordításával. Egyszerű és morálisan sem kifogásolható módszer az, hogy egy nagyobb kutatás eredményeit nem egyetlen hosszú cikkben, hanem elaprózva, részletenként, több rövid, egymáshoz kapcsolódó cikk formájában közli valaki. Másik módszer a másod-, sőt harmadközlés. Egy szakfolyóiratban megjelent cikket megjelentethetnek egy változatos tartalmú folyóiratban is.
A közleményszám szaporításának legeredményesebb módja azonban kétségkívül az együttműködő partnerek gyűjtése, a csoportmunka és az eredményes „publikációs társulásokhoz” való csatlakozás. Ha tízen publikálnak évente tíz cikket, az 1 fő/1 cikk/1 év lenne, de nem annyi! Mind a tízen fejenként tíz közleményt könyvelhetnek el! Ezzel szemben az egyedül dolgozó csak egy közleményt számol el évente ugyanannyi fejenkénti fajlagos munkával.
A sok partnerrel való együttműködés a fentiek szerint lehetővé teszi a közleményszám (és persze ehhez kapcsolódóan a hivatkozásszám) megsokszorozását, ami eléggé elterjedt tévképzet szerint a tudományos teljesítmény megsokszorozását is jelenti. E tévképzet azon alapul, hogy jelenleg a közleményeket minden társszerzőnek teljes egészként szokás elszámolni, függetlenül attól, hogy azok kivitelezésében hány más szerző vett részt. Ez azonban ahhoz vezet, hogy a közleményszám köszönő viszonyban sincs a valóságos tudományos teljesítménnyel.
Vinkler Péter (2004) már felvetette a gondolatot, hogy etikusabb lenne, ha a publikációk szerzői nevük mellett zárójelben feltüntetnék – közös megegyezés alapján – a közleményhez való kutatói hozzájárulásuk mértékét, például: Nagy T. (40%), Erős K. (30%), Kiss F. (20%), Szürke B. (10%). Megjegyzem, hogy a szabadalmakban a feltalálók nevei mellett szerepelnek a szellemi tulajdon létrehozásának mértékére vonatkozó hányadok.
Térjünk vissza még a „publikációs társulások” problémájához. Szerintem ez úgy funkcionál, hogy akár mindenki külön-külön dolgozik, de szerzőként már a többieket is feltünteti. Ez olyan lehet, hogy én beveszlek társszerzőnek, ha te is beveszel engem. Ez a jelenség nem ma kezdődött. Price (1979) már 1979-ben a természettudományos publikációk adataira támaszkodva említi a „publikációs társulásokat”. „... a háromszerzős cikkek száma gyorsabban nő, mint a kétszerzősöké, a négyszerzős dolgozatoké gyorsabban, mint a háromszerzős cikkeké, és így tovább. Jelenleg minden 4 dolgozat közül csak egynek van három vagy több szerzője, de ha az irányzat tartósnak bizonyul, 1980- ra a dolgozatok több mint fele ebbe a kategóriába esik ...” (Price, 1979) 109. oldal.


IMPAKT FAKTOR

Az impakt faktor a folyóiratok jellemzője, azt mutatja meg, hogy az adott folyóiratban megjelenő cikkek várhatóan (átlagosan) hány hivatkozásra számíthatnak a tudományos szaksajtóban (Zolnay–Gácsi, 1998).
A folyóiratok impakt faktora (továbbiakban IF) 0 és kb. 50 közötti értékek, évről évre is változnak. Az 1999-es listában 5550 folyóirat szerepelt. 10-nél nagyobb IF-érték mindössze hatvan esetben (1,08%) fordult elő. A folyóiratok többségének (60,4%) IF-értéke 1-nél kisebb volt. Vajon milyen kapcsolat lehet az IF és a teljesítmény között? Mivel az IF a hivatkozások számára vezethető vissza, a válasz attól függ, hogy a hivatkozások száma és a teljesítmény között milyen a kapcsolat. Ezzel később részletesen foglalkozom. Egyelőre azon gondolkozzunk el, hogy vajon miért különböznek a folyóiratok IF-jei, milyen tényezők határozzák meg őket? A nagyobb IF-fel jelzett folyóiratok nagyobb teljesítményeket takaró cikkeket közölnek? Nem, az IF-ek eltérésének nem ez lehet a fő oka, hiszen ha a folyóiratok IF-jeit egymáshoz viszonyítjuk, a tízszeres, százszoros eltérések sem ritkák. A teljesítmények között ilyen arányokat nehéz elképzelni, vagyis más okokat kell keresni.
Tudvalevő, hogy a folyóiratok elsősorban nem a közlendő cikkek minősége, hanem azok tartalma szerint szerveződtek. Túlnyomó többségük egyértelműen egyes tudományágakhoz, azokon belül pedig egyes szűkebb szakterületekhez kapcsolódik. A több tudományágat vagy szakterületet átfogó folyóiratok részaránya kicsi. A különböző tudományágak művelői a közlés és hivatkozás szempontjából egymástól elkülönülnek, hiszen például csillagászok és agykutatók nemigen közölnek egy helyen, és szinte biztosan nem hivatkoznak egymás cikkeire. Ha a folyóiratokat tudományáganként, illetve azon belül is szakterületenként csoportosítjuk, akkor azt vehetjük észre, hogy a szakterületek „vezető” (legnagyobb IF-ű) folyóiratainak IF-jei szakterületenként nagymértékben különböznek. Van olyan szakterület, ahol a vezető folyóirat IFje is 1 alatt van, és van olyan, ahol ugyanez 10 fölött található. Az egyik területen dolgozó kutató hiába erőlködik, nem tud 1-nél nagyobb IF-ekhez jutni, míg a másik területen működő kollégája 10-nél nagyobbakat is szerezhet (Papp, 2004).
Mi az oka a szakterületek közötti ilyen nagy eltéréseknek? Bizonyára nem csak egy ok van. Ismert például, hogy a cikkek „hivatkozásszükséglet”-e – tartalmukból adódóan – egyes területeken (például matematika) kicsi, más területeken (pl. élettudományok) nagy lehet (Csermely et al., 1999). Bizonyára fontos szerepe van annak is, hogy a különböző szakterületeken dolgozó kutatók száma nagymértékben különbözik. Egy kis létszámú szakterületnek esetleg csak egyetlen saját folyóirata van, amelyben jórészt csak az ugyanitt megjelent cikkekre lehet hivatkozni. Ezzel szemben egy nagyobb létszámú szakterület több folyóiratot is el tud tartani. A vezető folyóiratban megjelent cikkekre a többi folyóiratban is gyakran hivatkoznak, és ezáltal jelentősen nő a vezető folyóirat IF-je. Annál nagyobbra nőhet, minél több a folyóirat (és a kutató) az adott szakterületen.
A vezető folyóirat eléggé természetes módon nemcsak a jó minőségű cikkeket igyekszik közölni, hanem azokat is, amelyek várhatóan sokakat érdekelnek. Ez a gyakorlat ahhoz vezet, hogy az adott szakterületen belül is előnybe kerülnek másokkal szemben azok a kutatási témák, melyekkel nagyobb létszámú kutatógárda foglalkozik. Az ő cikkeiket szívesebben közlik a vezető folyóiratok, és ezek a cikkek több hivatkozást is kapnak (sokszor egymástól), mint mások. Tetten érhető a nemzeti elfogultság is: például szívesebben közlik angolszász szerzők (nyelvileg is színvonalasabb) cikkeit. A több szakterületet vagy több tudományágat átfogó folyóiratok szerkesztői is azokat a területeket, illetve témákat részesítik előnyben, amelyeket (elsősorban angolszász országokban) sokan művelnek. Például a Nature vagy a Science esetében, melyek már az IF növelésében is versenyeznek egymással, mára a kéziratok elbírálásánál gyaníthatóan jelentős szemponttá vált, hogy azok megjelenése esetén hány hivatkozásra számíthatnak. Egyes kis létszámú, a többség számára kevéssé érdekes szakterületeknek, illetve kutatási témáknak szinte semmi esélyük nincs bekerülni ezekbe a lapokba, akármilyen jelentős kutatási teljesítmény található a kéziratok mögött.
A fentiek szerint az IF a különböző tudományágakban vagy tudományterületeken kifejtett teljesítmények összehasonlítására alkalmatlan (Verő, 1998).


HIVATKOZÁSOK SZÁMA

A hivatkozásnak – a közleményhez hasonlóan – több különféle, különböző értéket képviselő formája van. Ha csak annyit mondunk, hogy hivatkozás, abba belefér egy egyetemi hallgató hivatkozása szakdolgozatában témavezetője személyes szóbeli közlésére. Érdekes megfigyelni, hogy amikor különböző fórumokon kutatók tudományos tevékenységét méltatják, hogyan váltakoznak a „hivatkozás”, „független hivatkozás”, „független hivatkozás SCI-folyóiratokban” kifejezések. (SCI = Science Citation Index.) A hivatkozásokkal probléma az is, hogy nehezebb ellenőrizni ezek tényleges meglétét, mint a közleményekét.
A hivatkozások számának gyarapítására „jól bevált” módszer a kölcsönös érdekeken alapuló hivatkozási kapcsolatok kialakulása. Magyarul: hivatkozom rád, ha te is hivatkozol rám.
Fontos dolog, hogy általában több hivatkozásra számíthatnak, akik „népesebb” kutatási területen vagy kutatási témában dolgoznak. A hivatkozás alapja legtöbbször nem a hivatkozott közlemény kiválósága, hanem annak a hivatkozó közleménnyel való tematikai rokonsága. Csillagászok és agykutatók nem hivatkoznak egymásra, akármilyen kiváló cikkekről van is szó. Másfelől minél több az adott témán dolgozó kutató, annál nagyobb számban találhatnak egymás közleményei között hivatkozásra alkalmasat.
Ma sokan a hivatkozások számát tekintik a „legerősebb”, a tudományos teljesítmény jellemzésére legalkalmasabb mutatónak. Olyannyira, hogy a tudományos fokozat vagy habilitáció odaítélésében illetékes testületek állítólag egyszerűen bizonyos hivatkozásszám eléréséhez kötik az eljárás sikerét. Az említettek fényében azonban nem világos, hogy min alapul e mutató tekintélye. Hiszen nem lehet komoly döntéseket alapozni olyan mutatóra, amely ennyire nem objektív.
Az említett példa: csillagász versus agykutató nem hivatkoznak egymásra, hiába kiváló mindegyikük közleménye. Ezt az állítást igazolja Quandt (1976) tapasztalata is, mely szerint általános az a tendencia, hogy egy adott folyóiratban többet idézik ugyanazon folyóirat korábban megjelent cikkeit.
Az is igaz, hogy nem szokás nagyon régi közleményekre hivatkozni. A tudománymetriai irodalom két mutatószámot is szokott használni annak vizsgálatára, hogy egy adott tudományterületen milyen gyors a publikációk elévülése, az egyik a Priceindex, a másik a felezési idő. „Felezési időnek nevezzük azt az időtartamot, amely alatt az idézett irodalom felét publikálták.” (Nalimov–Mulcsenko, 1980, 163. o.) Tehát az érdeklődés hanyatlik, a hivatkozások száma csökken, Price (1970) vizsgálta, hogy milyen gyors a publikációk elévülési ideje, és elemezte az összes hivatkozáson belül az ötévesnél nem régebbi hivatkozások arányát. Ez a Price-index. Yablonsky (1985) a hivatkozások eloszlását vizsgálta logaritmikus koordináta-rendszerben. Az eredmény egy görbe, ami rohamos csökkenést mutat.
A hivatkozások számánál figyelembe kell venni, hogy vannak olyan tudományágak, területek, ahol szinte minimális a hivatkozásigény, sőt van, amikor nincs hivatkozásigény, pl. matematika. De ahol van hivatkozásigény, ott sem mindenhol egyforma. Például: Garfield (1979) a természettudományos publikációkat vizsgálta, és megállapította, hogy egy átlagos természettudományos cikkben 15 hivatkozás van. Stigler–Friedland (1979) az amerikai közgazdasági folyóiratokat vizsgálták 1964 és 1969 között, és cikkenként 10,8 hivatkozást találtak.
A hivatkozások számának szaporítására már említettem egy erkölcsileg kifogásolható módszert, a kölcsönös érdekeken alapuló hivatkozási kapcsolatokat. Etikusnak tekinthető a másod- vagy harmadközlés is, hasonlóan a közleményszám gyarapításához. De van olyan eset is, egy olyan körülmény, ami csökkenti az idézettséget. Csökkenti a mindenki által jól ismert szerzők idézettségét egy jelenség, az „alapvető elvek integrálódása”. Egy-egy jelentős mű, az abban leírt összefüggésekkel, idővel annyira beépül a szakmai és laikus köztudatba, hogy a rájuk való hivatkozás fölöslegessé válik. Kinek jutna eszébe, hogy például az „egyensúlyi kamat”- nál Hayek, vagy a „határhaszon”-nál Wieser megfelelő művét idézze (Braun–Bujdosó, 1984).
Néhány szót kell még ejtenem az erkölcsről. „Erkölcsi szempontból a hivatkozások és idézetek arra valók, hogy intellektuális tartozásunkat visszafizessük az egyetlen lehetséges módon: nyilvános elismeréssel” (Merton, R. K., 1968).


JAVASLATOK

Jelenlegi értékelési szokásaink meg nem érdemelt előnybe hoznak egyeseket másokkal szemben, jelentős teret adva az ügyeskedésnek, sőt akár a csalásnak is. Többször olvastam például kutatók méltatásaiban igen nagy közlemény- és hivatkozásszámokról, amelyek nyilván sok társszerzős együttműködés eredményei, de nem sokat mondanak az illetők saját tevékenységének értékéről. Erre tett javaslatot Vinkler Péter (2004). (Ezt fentebb már említettem.)
A sokszerzős „együttdolgozás” téves eredményekre vezet. Csoportok, intézetek, sőt az ország teljesítményének reális megítéléséhez az odatartozók egyéni részesedéseit kell összegezni. Lehet, hogy ennek következtében kiderülne, illúzió az a széles körben elterjedt vélekedés, hogy hazánk a kutatás eredményessége tekintetében a világ élvonalában van. E vélekedés ugyanis azon alapszik, hogy a statisztikákban ma- gyarnak tekintünk minden olyan közleményt, amelynek van magyar társszerzője. Ez azonban jogtalan (Zolnai, 2001)!
A közleményszám, az impakt faktor és a hivatkozásszám jelenlegi számítása nem ad valós képet az illető vagy intézmény valós teljesítményéről. Véleményem szerint mindegyik mutató esetében saját részesedést kellene számolni és összesíteni a társszerzőségi arány alapján.
Felmerülhet, hogy egy komplex értékelés részeként olyan dolgokat is vizsgálni lehetne, mint a pályázati eredményesség, tudományos díjak, bizottsági és testületi tagságok, konferenciameghívások stb. (Mezei, 2001).

MÉNES ANDRÁS

Braun Tibor–Bujdosó Ernő (szerk.) (1984): A tudományos kutatás minősége, MTA könyvtára
Csermely Péter–Gergely P.–Koltay T.–Tóth J. (1999): Kutatás és közlés a természettudományokban. Osiris, Budapest
Garfield, E. (1979): Ciation Indexing – Its Theory and Application in Science, Technology, and Humanities. Wiley & Sons, New York–Toronto.
Merton, R. K. (1968): The Matthew Effect in Science. Science 159. kötet 56–63. old.
Mezei Károly (2001): Mi mennyi? Élet és Tudomány. 2001/31, 968–970. old.
Nalimov, V. V.–Mulcsenko, Z. M. (1980): Tudománymetria, Akadémiai Kiadó
Papp Zoltán (2004): A tudományos teljesítmény mérésének problémáiról. Magyar Tudomány, IL. évfolyam, 2004/2, 232–240. o.
Price, D. de S. (1970): Citation Measures of Hard Science, Soft Science Technology and Nonscience. Heath Lexington Books, Lexington, Mass., 3–22. old.
Price, D. de S. (1979): Kis tudomány – nagy tudomány. Akadémiai Kiadó
Qandt, R. E. (1976): Some quantitive aspects of the economics journal literature. Journal of political Economy, 84. köt. 4. sz. 741–755. old.
Stigler, G. J.–Friedland, C. (1979): The pattern of citation practises in economics. History of Political Economy, 11. köt. 1. sz. 1–20. old.
Verő József (1998): Összehasonlíthatók-e egyes tudományterületek? Idézettség és tudományos teljesítményt mérő értékek. Magyar Tudomány, XLIII. évfolyam, 1998/8, 994–1001. old.
Vinkler Péter (2004): Adalékok a tudománymetria néhány kérdésének megértéséhez. Magyar Tudomány, IL. évfolyam, 2004/6, 789–793. old.
Yablonsky, A. J. (1985): Stable non-gaussian distributons in scientometrics. Scientometrics, 7. köt. 3–6. sz. 459–470. old.
Zolnai László (2001): Mennyire magyar a magyar? Magyar Tudomány, XLVI. évfolyam, 2001/12, 1497–1498. old.
Zolnai László–Gácsi Zoltán (1998): Mérünk, de mit? Egy formula margójára. Magyar Tudomány, XLIII. évfolyam, 1998/8, 988–993. old.