Jest nowy rząd, odżyła więc dyskusja o Ustawie o Szkolnictwie Wyższym. Na jej marginesie mówi się też o polskim modelu ewaluacji jakości działaności naukowej. Niektórzy wskazują na patologie systemu i wzywają do jego całkowitego “zaorania” [1, 2]. Nowy minister nauki zapowiada jednak, że nie będzie rewolucji [3]. To dobrze – bo pośród wielu palących potrzeb sektora nauki jest też potrzeba stabilizacji i przewidywalności systemu.
Nie ma dla mnie wątpliwości, że tzw. listy czasopism punktowanych bronić nie warto. Jej związek z realnymi akademickimi standardami, nawet bez kuriozalnych dopisków, był nader luźny. Nie specjalizuję się w bibliometrii, więc nie mam pomysłu, jak optymalnie mierzyć jakość publikacji. Jestem jednak przekonana, że nieunikniona dyskusja o modelu ewaluacji jakości działalności naukowej jest szansą, żeby naprawić element “wpływu społecznego”. Poniżej kilka kluczowych, moim zdaniem, punktów do rozważenia.
[Moje wprowadzenie do tematyki wpływu społecznego można znaleźć tu].
Czy “wpływ społeczny” powinien być utrzymany w nowym modelu ewaluacji?
Tak.
Uwzględnienie w ewaluacji jakości działalności naukowej wpływu społecznego jest trendem międzynarodowym, niewykluczone, że najważniejszym w ostatnich latach.
Odkąd ewaluację wpływu społecznego wprowadzili w REF 2014 Brytyjczycy, fala “impactowa” zatacza coraz szersze kręgi. “Wpływ” ewaluują w Europie Holendrzy, Włosi, Norwegowie, Irlandczycy. Ewaluację wzorowaną na brytyjskiej ma też Hongkong. Intensywnie możliwością wprowadzenia ewaluacji zajmują się RPA, Kanada, Australia.
Poniżej mapa stanu prac nad politykami w obszarze wpływu społecznego na rok 2023 (opracowanie MW w oparciu o [4]).
Fakt że Polska wprowadziła ewaluację wpływu już w 2018 r. (wraz z Ustawą 2.0) i że mamy za sobą już jedną rundę ewaluacji, wysuwa nasz system na pozycję awangardy, jeśli chodzi o doświadczenie w ewaluacji wpływu społecznego. Jeśli moje badania nad polskim systemem wzbudzają zainteresowanie w Wielkiej Brytanii, Irlandii i Chinach, jest to głownie za sprawą elementu wpływu społecznego – wszyscy chcą wiedzieć jak to robimy, i co z tego wynika.
Problem polega na tym, że robimy to nie najlepiej i na ten moment niewiele z naszego doświadczenia wynika…
Co należy zmienić?
Po pierwsze: dodać (oficjalną) definicję
W Rozporządzeniu [5] brakuje definicji wpływu społecznego analogicznej do tej funkcjonującej w brytyjskim kontekście. Poniżej wyimek z Rozporządzenia (wszystkie ilustracje poniżej są fragmentami cytowanego Rozporządzenia).
Wpływ społeczny nieco dokładniej opisano w Podręczniku dla ekspertów [6]…, ale wciąż nie jest to definicja jednoznaczna, rozwiewająca wszystkie wątpliwości. W dodatku sam Podręcznik firmowany przez KEN jest dokumentem funkcjonującym “bez żadnego trybu” – nie ma statusu rozporządzenia. Stąd w zasadzie trudno byłoby wymagać, żeby jednostki stosowały się do zapisów Podręcznika. Nie wiemy też, czy treść Podręcznika dotyczy ewaluacji, która miała miejsce w 2021/22 r., czy też będą obejmowały kolejną ewaluację.
Definiowanie pojęcia “impact” w Wielkiej Brytanii było długim, kolektywnym procesem (który de facto wciąż trwa). Musimy wiedzieć “co” i dlaczego właściwie ewaluujemy.
Po drugie: debata
Tak dochodzimy do kolejnego punktu: konieczności szerszej debaty i dyskusji wokół “wpływu” przed kolejną ewaluacją. Hektolitry atramentu wylano na temat nieszczęsnej listy czasopism, a o wpływie społecznym (który odpowiada wszak za 20% oceny ewaluowanej jednostki) mało kto się zająknął.
W efekcie wiele jednostek do samego końca poprzedniego okresu ewaluacyjnego (albo i jeden dzień dłużej) nie miało pojęcia czym ów “wpływ” jest. To marnowanie czasu ewaluatorów, którzy muszą czytać opisy wpływu dotyczące de facto samych badań, a w najlepszym wypadku ich popularyzacji…
Żeby “wpływ społeczny” zagościł w polskiej kulturze akademickiej jako istotny element oceny wartości pracy naukowców, musimy odbyć debatę o tym, jak na naszym gruncie zdefiniujemy to pojęcie.
Po trzecie: elastyczność
W toku prac nad nowym elementem oceny, pracownicy ministerstwa podkreślali otwartość na szeroką definicję “wpływu”. Tymczasem, zapisy rozporządzenia, a jeszcze bardziej Podręcznika, bezlitośnie dookreślają kryteria oceny w zakresie “zasięgu” i “znaczenia”. W mojej ocenie katastrofalne jest przypisanie tym pojęciom sensu geograficznego.
W efekcie maksymalną liczbę punktów za opis wpływu można uzyskać jedynie, jeśli przedstawi się “opis wpływu o międzynarodowym zasięgu i znaczeniu”. Dla porównania, w Wielkiej Brytanii kryteria “zasięgu” i “znaczenia” pozostają niedookreślone (zaś explicite zabrania się interpretowania ich geograficznie). W rezultacie brytyjski naukowiec może otrzymać maksymalną ocenę opisu wpływu, który dotyczy wartościowego działania lokalnego, zaś polski naukowiec musiałby uzyskać międzynarodowy zasięg. Wydaje mi się to megalomanią i hybris.
A zatem należy zrezygnować ze sztywnego przydzielania punktów w tych dwóch kategoriach na rzecz bardziej jakościowego podejścia, niezwiązanego z aspektem geograficznym.
Po czwarte: jawność ocen
Jednostki naukowe wprawdzie otrzymują ocenę opisową, ale ani ocena opisowa ani punktowa nie jest upubliczniana w bazie RAD-ON. Skąd mamy więc wiedzieć, które opisy zostały przez ewaluatorów ocenione wysoko, a które nisko?
Moje obserwacje na ten temat zawrę w nowej wersji “Poradnika: Jak napisać opis wpływu”.
Wydaje mi się jednak wskazane, żeby te informacje (choćby zbiorczo, dla całych jednostek) były upubliczniane, byśmy jako wspólnota akademicka mogli uczyć się na błędach (i sukcesach).
Na razie zaufanie do procesu oceny jest na niskim poziomie. Użytkownicy X pisali o “cudach nad urną”, i trudno się dziwić biorąc pod uwagę liczbę złożonych i pozytywnie rozpatrzonych odwołań – odwoływała się co druga ewaluowana jednostka [vide 7], a Minister obiecywał pozytywnie rozpatrzyć większość odwołań [8].
Po piąte: zrezygnować z “dodatkowych” opisów
Zgodnie z rozporządzeniem w określonych przypadkach ewaluowane jednostki mogą złożyć obok wymaganych opisów wpływu także dodatkowe.
Tylko po co? Ocena jednostki to średnia z wszystkich złożonych opisów. W praktyce “najmocniejsze” opisy wpływu wystarczy złożyć w ramach liczby wymaganej. Wydaje się więc, że składanie “dodatkowych” opisów to tylko dodatkowa praca dla autorów i ewaluatorów… A jednak w 2021 r. złożono ich sto (na 1000 obowiązkowych).
Po szóste: zrezygnować z “dodatkowych” punktów za interdyscyplinarność
Zgodnie z rozporządzeniem można ubiegać się o 20% “premii” w przypadku opisu wpływu dotyczącego interdyscyplinarnych badań naukowych lub prac rozwojowych o przełomowym znaczeniu dla rozwoju nauki.
Z mojej perspektywy “interdyscyplinarność” jako element oceny opisu wpływu to kwiatek do kożucha. Nie rozumiem dlaczego wpływ oparty na badaniach interdyscyplinarnych miałby być bardziej wartościowy od tego wynikającego z badań w obrębie dyscyplin (czy lek stworzony przez farmaceutów we współpracy z artystami będzie lepiej leczył niż ten, który przygotowali sami farmaceuci?).
No i dlaczego w kryterium “wpływu społecznego” mielibyśmy w ogóle oceniać jakość samych badań?
Po siódme: skrócić opinie opisowe
W brytyjskim systemie przyznaje się opisom wpływu jedynie punkty, w norweskim – ewaluatorzy przedstawiają tylko opis. W polskim systemie ewaluowana jednostka otrzymuje zarówno ocenę liczbową, jak i opis. To dobrze.
Problem polega na tym, że opinie są niezwykle długie.
Ewaluatorzy są więc zmuszeni do pisania elaboratów (które i tak zwykle dotyczą spełnienia aspektów formalnych).
A zatem…
Obserwacja systemu brytyjskiego wskazuje, że wprowadzenie elementu ewaluacji wpływu społecznego ma pozytywny efekt stymulujący.
Po początkowym szoku, naukowcy raportują pozytywne nastawienie do elementu “impact” – mówią o dowartościowaniu zaangażowanych, mających wpływ na świat badań, o dodatkowych środkach na ich wsparcie, o pewnym “przetasowaniu” w hierarchiach. Pozytywny efekt w postaci zmiany “kultury akademickiej” występuje jednak dopiero przy długotrwałej spójnej ewaluacji (nie wystarczy “wpływu” ocenić raz).
W Wielkiej Brytanii odbyły się już dwie tury ewaluacji uwzględniające element wpływu społecznego (w 2014 i 2021), pełną parą idą przygotowania do kolejnej. Waga tego elementu oceny wzrosła w tym czasie z 20 do 25%, podczas gdy waga publikacji spadła z 70 do 50%.
Podsumowując: nie potrzebujemy kolejnej rewolucji, a mądrej ewaluacji podejścia do wpływu.
Cytowane teksty:
[1] Aleksander Temkin https://www.onet.pl/informacje/onetwiadomosci/uczelnie-po-ministrze-czarnku-wymagaja-pilnych-zmian/mzy0d85,79cfc278
[2] Marcin Miłkowski https://miesiecznik.forumakademickie.pl/czasopisma/fa-11-2023/hodowla-szczurzych-ogonow%E2%80%A9/?fbclid=IwAR0Qo0FTjVVGODZVUNv7gnAoUiJFaJjcDHj8t3Ta7MF_MerHYWTtRG2Mz3U
[4] Reed, M. S., Ferré, M., Martin-Ortega, J., Blanche, R., Lawford-Rolfe, R., Dallimer, M., & Holden, J. (2021). Evaluating impact from research: A methodological framework. Research Policy, 50(4), 104147. https://doi.org/10.1016/j.respol.2020.104147
[5] Dziennik Ustaw Rzeczypospolitej Polskiej. (2019). Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 22 lutego 2019 w sprawie ewaluacji jakości działalności naukowej (Dz. U. 2019, poz. 392). https://isap.sejm.gov.pl/isap.nsf/DocDetails.xsp?id=WDU20190000392
[6] Komisja Ewaluacji Nauki. (2021). Podręcznik dla ekspertów oraz ewaluowanych podmiotów w zakresie opisu wpływu działalności naukowej na funkcjonowania społeczeństwa i gospodarki. https://polon.nauka.gov.pl/pomoc/knowledge-base/podrecznik-dla-ekspertow-oraz-ewaluowanych-podmiotow-w-zakresie-opisu-wplywu-dzialalnosci-naukowej-na-funkcjonowania-spoleczenstwa-i-gospodarki/