Ewaluacja czasopism na nowych zasadach

Ewaluacja czasopism na nowych zasadach

22 lutego br. pojawił się projekt rozporządzenia MNiSW w sprawie ewaluacji jakości działalności naukowej. Nie jest to wersja ostateczna, jednak jej lektura daje pogląd na temat kierunku w którym będzie zmierzała ewaluacja czasopism i naszego dorobku naukowego. Widać, że punktacja będzie opierała się o wartość wskaźników bibliometrycznych czasopisma w danej grupie dyscyplinie naukowej. Ważne będzie w którym percentylu wykazu znajduje się czasopismo.

 

Jak będzie oceniany dorobek naukowy?

Wygląda na to, że nowy system oceny będzie bardzo zbliżony do obecnego – będzie oparty na algorytmicznym wyliczaniu punktów w oparciu o liczbę publikacji i ich współczynniki bibliograficzne. Jest jednak kilka istotnych różnic. Pierwsza jest taka, że rośnie różnica w punktowaniu czasopism indeksowanych i nie indeskowanych przez dwie najważniejsze bazy (WoS, SCOPUS). Publikacja w czasopiśmie nieindeksowanym przez WoS/SCOPUS będzie podlegała ryczałtowej ocenie i otrzyma 5 punktów. W przypadku czasopism indeksowanych punktacja będzie zależała od jego pozycji w grupie czasopism z danej dyscypliny:

 

  • 20 pkt. – czasopismo z najniższego kwartyla wykazu,
  • 40 pkt. – czasopismo z górnych 75% wykazu,
  • 70 pkt. – czasopismo z górnych 50% wykazu,
  • 100 pkt. – czasopismo z najwyższego kwartyla wykazu,
  • 140 pkt.  – czasopismo z najwyższego decyla wykazu,
  • 200 pkt. – czasopismo z najwyższego centyla wykazu.

 

Uprzedzając pytania statystyków odnośnie poprawności użycia stwierdzeń “z górnego/dolnego kwartyla” odpowiadamy, że powyższe punkty zostały wprost przepisane z treści rozporządzenia. Intencja wydaje się jednak jasna.

Obszary tematyczne będą ustalane w oparciu o klasyfikację All Science Journal Classification autorstwa SCOPUS’a.

Punktacja będzie co do zasady obniżana obecnością współautorów. Wyjątkiem będą publikacje z górnych 10% wykazu, a więc za 140 i 200 punktów.

 

Czemu kwartyle?

Próbując zrozumieć wspomniane intencje ustawodawcy odwołamy się do artykułu Differences in Impact Factor Across Fields and Over Time autorstwa Benjamina M. Althouse’a i innych współautorów. Autorzy zebrali tam średnie wartości współczynnika Impact Factor dla czasopism pogrupowanych dziedzinowo. W tabeli poniżej przedstawione jest podsumowanie tej analizy uwzględniające liczbę czasopism przypisanych do dziedziny oraz ich średni IF (tłumaczenie własne).

 

Nazwa dziedziny Ilość czasopism średni IF
Biologia Molekularna i Cytologia 511 4.763
Astronomia i Astrofizyka 25 4.295
Gastroenterologia 40 3.475
Reumatologia 20 3.348
Neurobiologia 224 3.252
Medycyna 766 2.896
Chemia 145 2.61
Farmakologia 28 2.331
Psychiatria 178 2.294
Urologia 23 2.132
Obrazowanie w Medycynie 84 2.043
Patologia 28 1.991
Fizyka 503 1.912
Okulistyka 36 1.905
Zdrowie Publiczne 73 1.871
Chemia Analityczna 129 1.789
Nauka o Ziemi 224 1.768
Prawo 71 1.657
Ekologia i Ewolucja 349 1.555
Parazytologia 38 1.527
Chemia środowiska i Mikrobiologia 181 1.505
Grafika Komputerowa 31 1.446
Dermatologia 38 1.427
Psychologia 210 1.387
Inżynieria Chemiczna 75 1.29
Stomatologia 43 1.284
Ortopedia 72 1.226
Telekomunikacja 37 1.192
Akustyka 36 1.171
Agronomia 61 1.04
Marketing i Zarządzanie 101 1.035
Geografia 56 0.986
Informatologia 23 0.918
Rolnictwo 56 0.882
Antropologia 62 0.872
Inżynieria Materiałowa 107 0.826
Ekonomia 159 0.823
Mechanika Płynów 107 0.804
Statystyka 57 0.796
Weterynaria 77 0.767
Socjologia 96 0.715
Media i Komunikacja 24 0.69
Teoria Sterowania 64 0.681
Nauki polityczne 99 0.68
Informatyka 124 0.631
Edukacja 86 0.59
Matematyka 149 0.556
Badania operacyjne 62 0.542
Filozofia i Historia Nauki 32 0.456
Historia 23 0.416

 

Powyższe zestawienie bardzo dobrze oddaje różnice między sposobem publikowania w różnych dyscyplinach naukowych. Dla historyka czasopismo o IF równym 1 jest ponadprzeciętnym, podczas gdy cytolog uznałby je za bardzo słabe. Porównywanie czasopism wewnątrz danej dyscypliny wydaje się być próbą rozwiązania tego problemu.

 

Możliwe wątpliwości

Pytaniem otwartym przy takim algorytmie pozostanie kwestia przyporządkowania badań do dyscyplin. Wiele czasopism jest przypisanych do wielu kategorii ASJC, a w każdej z nich może uzyskać inną liczbę punktów. Dla przykładu przytoczmy sytuację artykułu z biofizyki opublikowanego w czasopiśmie z IF=3. Dla uproszczenia posłużymy się tabelą powyżej. Zakwalifikowanie artykułu do dziedziny “Fizyka” oznaczałoby, że jest to publikacja ponadprzeciętna i zasługuje na minimum 70 punktów. W dziedzinie “Biologia Molekularna” byłaby to publikacja poniżej średniej o “wartości” 20-40 punktów.

Przyporządkowanie artykułów, naukowców, oraz instytucji do dyscyplin naukowych będzie coraz trudniejsze. Coraz więcej badań jest określanych mianem “interdyscyplinarnych”, co świetnie obrazuje wykres przedstawiony przez Hendre Sum’a na konferencji IEEE (opublikowany za zgodą autora).

 

Wnioski dla nas

Nowy sposób ewaluacji najprawdopodobniej wprowadzi podział na dyscypliny. Jest to sposób na rozwiązanie problemu różnej intensywności i rodzaju publikacji wydawanych przez autorów w różnych specjalizacjach. Tworzy to jednak potrzebę przyporządkowywania artykułów do dyscyplin co może być wykorzystane do nadużyć lub być po prostu kłopotliwe.

 

Żaden sposób ewaluacji czasopism nie spełni wymogu pełnego obiektywizmu. Dlatego nasza rada jest bardzo podstawowa i przez to uniwersalna. Staramy się ją przedstawiać wszystkim autorom w trakcie szkoleń. Uważamy, że nie należy koncentrować się na sposobie ewaluacji tylko na międzynarodowych standardach publikowania. Pierwsze zmieniają się bardzo często, a drugie pozostają niezmienne.

Zdjęcie: depositphotos