Rok 2025 zamyka kolejny okres ewaluacji jakości działalności naukowej (2022-2025). To czas podsumowań, uzupełniania brakujących kawałków układanki, dopinania dokumentacji na ostatni guzik.
Oczywiście, nie mogło obyć się bez głosów wzywających do zaniechania ewaluacji lub zmiany jej formy na dobrowolną (na zasadzie „sprawdzianu na szóstkę, dla chętnych”).
Jestem daleka od bezwarunkowego entuzjazmu wobec obecnych przepisów ewaluacji, jednak nietrudno zauważyć że:
- Kształt ewaluacji został wypracowany w toku partycypacyjnego i bardzo czasochłonnego procesu jako część Ustawy 2.0. Kasowanie całej ewaluacji po jednej rundzie to wylewanie dziecka z kąpielą (pisałam o tym dla Times Higher Education – uwaga, paywall).
- Trochę późno na takie postulaty. Jakby moi studenci na przedostatnich zajęciach poprosili o odwołanie egzaminu lub zmianę jego charakteru na dobrowolny, przypomniałabym im zasady określone od początku semestru w syllabusie. Zdaje się, że tak samo działa prawo (w tym wypadku Ustawa o Szkolnictwie Wyższym i Nauce i Rozporządzenie Dz.U. 2019 poz. 392). Gdybym mimo wszystko się zgodziła na postulat grupy studentów, mogłabym się spodziewać problemów ze strony Dziekanatu i reszty studentów, którzy przez cały semestr rzetelnie przygotowywali się do egzaminu zgodnie z pierwotnie określonymi zasadami.
Paper mills – problem marginalny
Jednym z argumentów na rzecz zaniechania ewaluacji jest działalność paper mills. Dzięki nim, niektórzy naukowcy potrafili wygenerować dziesiątki lub nawet setki nieźle punktowanych publikacji poza prawidłową naukową ścieżką. Choć naganna, ta działalność ma jednak ostatecznie ograniczony wpływ na wyniki ewaluacji. Każdy naukowiec ma przypisane maksymalnie cztery „sloty”, więc nawet jeśli naprodukuje kilkaset artykułów, ostatecznie w danym okresie może wysłać do ewaluacji raptem cztery. Zakładając, że papierowych młynarzy jest mimo wszystko w gronie akademików mniejszość, te „szemrane” publikacje raczej nie przeważą szali ewaluacji. Za to inne dokumenty mogą uczynić to stosunkowo łatwo.
Wpływ społeczny, głupcze!
Nieodmiennie dziwi mnie, że wszystkie dyskusje dotyczące krytyki systemu ewaluacji skupiają się wyłącznie na publikacjach. A przecież kryterium „poziom naukowy lub artystyczny” (za który odpowiadają publikacje) to raptem jedno z trzech kryteriów oceny. Jego waga waha się od 50% dla dyscyplin inżynieryjnych, technicznych, rolniczych do 80% dla artystycznych. Niemało. A jednak każda zgłoszona w ramach ewaluacji publikacja odpowiada maksymalnie za 1% końcowej oceny danej dyscypliny. Tymczasem…
Każdy opis wpływu złożony w ramach trzeciego kryterium jest „wart” od 7 do nawet 67 razy tyle co pojedyncza publikacja! Pamiętajmy przy tym, że opisy wpływu to krótkie dokumenty (ok. 4 stron). A więc strona opisu wpływu „waży” w ewaluacji znacznie więcej (nawet 300 razy!) niż strona publikacji.
Wklejam obliczenia poniżej (zrzut z Excela).
Jaki z tego wniosek? Nie powinniśmy drzeć szat (jedynie) nad pierwszym kryterium. Zamiast tego warto porozmawiać serio o tym, jak ewaluowane jest kryterium trzecie. A jednak na ten moment (12.02.2025):
- Nie opublikowano poszczególnych ocen opisów wpływu z poprzedniej ewaluacji ani ich uzasadnień. Skąd mamy wiedzieć, jak wygląda dobry opis wpływu?
- Brak aktualnego „Podręcznika” zawierającego wskazówki dla ewaluowanych podmiotów (jeśli KEN planuje publikację analogiczną do tej z poprzedniej ewaluacji).
Są jeszcze inne problemy, o których pisałam w poprzednim wpisie i dodatkowe, które opiszę w kolejnym.
Inaczej niż wielu krytyków algorytmu oceny publikacji, nie uważam, że ewaluację należy „zaorać”. Wierzę w to, że trzecie kryterium ma szansę być elementem kształtującym pozytywne i przyszłościowe postawy w akademii. Jednak, żeby tak się stało, trzeba ewaluację wpływu społecznego w Polsce solidnie stuningować.
Instytucjom przygotowującym się do ewaluacji polecam zaś mój Poradnik.
Poniżej zrzuty z Excela obliczeń wagi pojedynczej publikacji i opisu wpływu (OW). Założenia: wszystkie publikacje jednoautorskie, długość standardowego opisu wpływu 4 strony, długość standardowej publikacji 20 stron. Dla dyscyplin artystycznych nie obliczam wagi poszczególnej strony publikacji, gdyż tu „sloty” można zapełnić również osiągnięciami artystycznymi.
