Pierwsza ewaluacja wpływu społecznego badań nie spełniła początkowych aspiracji twórców polityk. Nie ma dowodów by ewaluacja stymulowała innowacyjność, ani zapoczątkowała jakąkolwiek zmianę kulturową bądź wzrost świadomości badaczy w zakresie możliwego wpływu ich badań na otoczenie społeczne i gospodarcze. Trzecie kryterium wpisało się w logikę „punktozy”, stając się nielubianym i „podejrzanym” dodatkiem do ewaluacji. Fakt, że ewaluacja ma charakter cykliczny, a prace nad nowymi przepisami regulującymi ocenę są w toku, stwarza okazję do udoskonalenia polskiego podejścia do ewaluacji wpływu społecznego.
To fragment mojego najnowszego artykułu „One size fits all? A comparative review of policy-making in the area of research impact evaluation in the UK, Poland and Norway”, który ukaże się w 2025 r. w czasopiśmie Research Evaluation. Manuskrypt przesłałam na początku marca 2025 do Ministra Nauki i Szkolnictwa Wyższego, polecając jego uwadze rekomendacje dotyczące ewaluacji wpływu społecznego w Polsce. Moment na taką refleksję jest właśnie teraz – Ministerstwo zapowiedziało prace nad (kolejnymi) zmianami w systemie ewaluacji jakości działalności naukowej. W mediach już zaczęła się debata nad kierunkami zmian, ale jak zwykle gros uwagi przyciąga proces oceny publikacji. Tymczasem, przemilcza się tzw. trzecie kryterium, które w wielu przypadkach może przeważyć szalę (jeden opis wpływu waży wielokrotnie więcej niż pojedyncza publikacja).
W tym wpisie zbiorę rekomendacje dla Ministerstwa oraz zespołu, który będzie pracował nad nowymi wytycznymi dot. ewaluacji. Rekomendacje te wynikają z moich dziesięcioletnich badań nad ewaluacją wpływu społecznego. Część opiera się na zastrzeżeniach i obserwacjach zgłoszonych przez pracowników uczelni, z którymi współpracuję. W nawiasie podaję czy dana rekomendacja wiąże się z Ustawą, Rozporządzeniem czy dobrymi praktykami.
Poniżej lista rekomendacji z linkami do dłuższych opisów. Publikuję je w kolejności od ważniejszych do mniej ważnych.
Zachować dotychczasową punktację trzeciego kryterium
Włączyć kwestię wpływu społecznego do debaty
Zmodyfikować wymaganą liczbę opisów wpływu
Zlikwidować premię 20% za interdyscyplinarność
Dodać formułę niejawnego opisu wpływu
Zapraszam do dzielenia się Państwa sugestiami w komentarzach albo na kontakt@martawroblewska.pl
Zachować trzecie kryterium
Żeby było o czym rozmawiać w temacie ewaluacji wpływu społecznego, „wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki” musi pozostać kryterium ewaluacji. Docenianie (i ocenianie) wpływu nauki na społeczeństwo to międzynarodowa tendencja w ewaluacji (vide mapka poniżej).
Polska jest wsród pionierów jeśli chodzi o kryterium wpływu. Stad nasz model jest obiektem zainteresowania naukowców i twórców polityk za granica (vide np. mój artykuł w Research Professional News). Zaraz będziemy dysponować danymi z dwóch tur ewaluacji. Więcej danych o wpływie społecznym swoich naukowców maja tylko Brytyjczycy! Dlatego zdziwiło mnie, że w jednym z pierwszych udzielonych wywiadów wiceminister nauki wskazała na przykład Hiszpanii jako kraju adekwatnie doceniającego popularyzację. Według mojej wiedzy, hiszpańska ewaluacja uwzględniająca aspekt popularyzacji zaplanowana na 2018 została zbojkotowana, i obecnie trwają poszukiwania nowego rozwiązania. Co ważne, w istniejącym w Polsce systemie skupiamy się nie na popularyzacji, a właśnie na konkretnym wpływie z niej. O rozróżnieniu między tymi kwestiami piszę sporo w moim Poradniku. Mam wrażenie, że ta absolutnie kluczowe rozgraniczenie nie wybrzmiało do końca w polskiej akademii (stąd liczę na debatę o rozumieniu wpływu społecznego na polskim gruncie).
Uwzględnienie wpływu nauki w ewaluacji wpisuje się też w trend Responsible Research Assessment. Kładzie on nacisk na szerszy horyzont, w którym powstaje „doskonałość” naukowa. Wpisują się więc w niego kwestie związane z otwartym dostępem, kulturą pracy (czyli brytyjskie „people culture and environment”), inkluzywność, sustainability, reprodukcja siły intelektualnej (promowanie doktorantów)…
Ta rekomendacja dotyczy Ustawy o Szkolnictwie Wyższym i Nauce.
Zachować dotychczasową punktację trzeciego kryterium
Porozumienie Akademickich Centrów Transferu Technologii (PACTT), jedyne środowisko które w debacie upomina się o trzecie kryterium, postuluje zwiększenie jego procentowego udziału w ocenie dyscypliny. Obecny poziom (15-20% w zależności od dyscypliny) jest rzeczywiście niższy niż w brytyjskim REF (tam impact to obecnie już 25%). Wydaje się jednak, że w naszym kontekście ważniejsze niż zwiększenie wagi kryterium jest zwiększenie jego widoczności. Chodziłoby o debatę o definicji i kryteriach wpływu w środowisku, przeanalizowanie wyprodukowanych w procesie ewaluacji danych, wpisanie współpracę z otoczeniem w karierę naukowca, zwiększenie widoczności istniejących opisów wpływu.
Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej .
Ujawnić wyniki
Mimo, że złożone w poprzedniej turze oceny opisy wpływu są dostępne w bazie RADON, nie znamy ich ocen. Ani punktowych, ani opisowych. Ani dla indywidualnych opisów wpływu, ani zbiorczo (np. dla dyscypliny w ramach uczelni). Jeżeli nie mamy informacji zwrotnej (poza tą dotyczącą opisów ocenionych w poprzedniej ewaluacji w naszej jednostce, jeśli mamy do nich dostęp), skąd mamy wiedzieć jak wygląda mocny opis wpływu?
Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej oraz dobrych praktyk.
Przeprowadzić analizy
Punkt powiązany z poprzednim (ujawnić wyniki). „Siedzimy” na danych, których nikt nie używa. No bo tak: setki jednostek naukowych przez cztery lata gromadzą dane o tysiącach pracowników (publikacje, afiliacje, patenty, wyniki finansowe, opisy wpływu), przez ostatnie pół roku pracochłonnie wprowadzają je do systemu, a potem na podstawie wszystkich tych informacji otrzymujemy… literkę. Po jednej dla jednostki. I do widzenia.
Czy ta literka, reprezentująca przyznaną kategorię naukową, rzeczywiście do czegoś służy (poza jej kwestionowaniem w procesie odwołania)? Co nam mówi o jednostce: jakości prowadzonych prac, środowisku badawczym, potencjale badawczym, zasobach finansowych instytucji, kierunkach rozwoju, strategii, umiędzynarodowieniu, kluczowych partnerstwach? Nic.
A tymczasem dane w systemie pozwoliłyby przeprowadzić fascynujące badania na wszystkie te tematy! Byłoby to z korzyścią dla ewaluowanych jednostek, które otrzymałyby bogatsze informacje o swojej jednostce – jak wypadają w różnych kategoriach w porównaniu z „konkurencyjnymi” jednostkami? Ministerstwo i środowisko miałoby ogląd sytuacji bieżącej: które jednostki najlepiej publikują, jaka grupa „wiekowa” badaczy generuje najlepsze wyniki finansowe, jakie dyscypliny są dobre w generowaniu wpływu społecznego i w jakich obszarach ten wpływ występuje. Skorzystaliby też badacze : wiedzielibyśmy kto jest „mocny” w obszarze, w którym pracujemy, bądź chcemy pracować (np. zależy mi by być członkiem jednostki, która prowadzi socjologię z wyróżniającym się wpływem społecznym). Moglibyśmy się porównać ze „średnią” w zakresie publikacji. Pomimo całego sceptycyzmu wobec naszego „parametrycznego” podejścia do liczenia publikacji, byłabym ciekawa jak zebrane przeze mnie „punkty publikacyjne” wypadają na tle średniej dla mojej uczelni, dla mojej dyscypliny, mojego poziomu kariery.
Analizy i raporty: jak robią to w UK i Francji
Wzorem jest dla mnie UK, gdzie organizator ewaluacji (HEFCE a potem UKRI) zleca bardzo ciekawe badania na wszystkie powyższe tematy (i więcej). Dla przykładu poniżej często pokazywany diagram z raportu Kings College obrazujący związek dyscypliny (w 4 blokach po prawej) z obszarami wpływu społecznego (np. ekologia, prawo etc. po lewej).
Również w Francji w wyniku ewaluacji ukazują się rekomendacje obejmujące badania prowadzone w kraju w podziale na dyscypliny oraz wskazujące na pozycję naukową Francji na świecie . Zwracają na to uwagę w niedawnym tekście członkowie Komisji ds. Międzynarodowych Rady Głównej Nauki i Szkolnictwa Wyższego.
A zatem? Plan minimum: wszystkie możliwe dane (w tym oceny liczbowe i opisowe opisów wpływu) opublikować w dostępnej formie w RADON, tak by badacze mogli buszować w nich we własnym zakresie. Plan maksimum: po każdej ewaluacji zlecać przekrojowy raport o stanie nauki na podstawie zebranych danych ewaluacyjnych. Opracować rekomendacje i plan ich wdrożenia.
Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej i dobrych praktyk.
Włączyć kwestię wpływu społecznego do debaty
Niezależnie od tego jak ukształtują się kryteria w „nowej” ewaluacji, dobrze, żeby tym razem temat ewaluacji wpływu społecznego wybrzmiał na forum. Jak piszę w moim artykule z Research Evaluation (2025, forthcoming):
Twórcy polityk publicznych powinni zachować ostrożność przy wdrażaniu modeli opracowanych w innych systemach naukowych: mechaniczne „przeszczepianie” rozwiązań z innych kontekstów bez inwestycji w stymulowanie debaty lub budowę infrastruktury przyniesie powierzchowne efekty i nie doprowadzi do istotnych zmian w kulturze akademickiej.
Zmodyfikować wymaganą liczbę opisów wpływu
Rekomendacja podwójna: zmniejszyć wymaganą liczbę opisów wpływu dla małych dyscyplin i zrezygnować z „dodatkowych” opisów.
Obecnie dla dyscyplin liczących do 100 osób wymagane są 2 opisy wpływu. Każde kolejne 100 pracowników to jeden dodatkowy wymagany opis.
To oznacza, że przy liczbie 100 badaczy wymagany jest 1 opis na 50 osób, przy liczbie 200 jeden na 66 osób etc. Wydaje się, że nie jest to zawrotna liczba. Ale przy małych dyscyplinach ta liczba wzrasta. Przy 12 osobach – jeden opis na 6 osób. Proponowałabym wprowadzić dodatkowy próg – 1 opis wpływu w dyscyplinie liczącej do 50 pracowników.
Zgodnie z rozporządzeniem w określonych przypadkach ewaluowane jednostki mogą złożyć obok wymaganych opisów wpływu także dodatkowe.
Motywacja do pisania dodatkowych opisów jest jednak wątpliwa. Ocena jednostki to średnia z wszystkich złożonych opisów. W praktyce „najmocniejsze” opisy wpływu wystarczy złożyć w ramach liczby wymaganej. Wydaje się więc, że składanie „dodatkowych” opisów to tylko dodatkowa praca dla autorów i ewaluatorów… A jednak w 2021 r. złożono ich sto (na 1000 obowiązkowych).
Oczywiście, są sytuacje, kiedy składanie dodatkowych opisów może się opłacić, tu już wchodzimy na grunt „optymalizacji”…
Ponieważ dodatkowe opisy wpływu stanowią sztuczny dodatek, proponowałabym usunąć §23. 1 mówiący o dodatkowych opisach.
Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.
Zlikwidować premię 20% za interdyscyplinarność
Obecnie ocena każdego opisu wpływu zwiększana jest o 20% w przypadku gdy autorzy zamieszczą opis uzasadniający, że badania lezące u podstawy wpływu były interdyscyplinarne, a eksperci uznają tę argumentację. Jest to sztuczny dodatek niemający istotnego związku z tym, co jest przedmiotem ewaluacji. Czy wpływ (np. oszczędność w danym procesie produkcyjnym, skuteczność leku, atrakcyjność metody edukacyjnej) zwiększa się w zależności od tego czy wygenerowali go badacze z różnych dziedzin? Raczej nie. Równie dobrze moglibyśmy przyznać premię za inkluzywny zespół, umiędzynarodowienie czy inne cechy projektu leżącego u podłoża wpływu. Kryterium to generuje tylko szpalty pustosłowia (widziałam niewiele opisów, które NIE deklarowały interdyscyplinarności) i dodatkową pracę dla ekspertów.
Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.
Opublikować Podręcznik KEN (na czas)
Obok Ustawy i Rozporządzenia w ewaluacji, która odbyła się w 2022r. funkcjonował „Podręcznik dla ekspertów oraz ewaluowanych podmiotów w zakresie opisu wpływu…” wydany przez KEN. Regulował on (chociaż w niestandardowy „powielaczowy” sposób) szczegóły ewaluacji takie, jak oczekiwana treść poszczególnych pól dokumentu, charakter załączonych dowodów, proces oceny przez ekspertów. Te informacje istotnie wpływały na kształt przygotowywanych opisów wpływu. „Podręcznik” opublikowany 29.07.2021 r. jest już nieaktualny. Biorąc pod uwagę, że roztropne jednostki naukowe już (marzec 2025) pracują nad opisami wpływ, nowy Podręcznik powinien się ukazać… przedwczoraj.
W przyszłej ewaluacji wszystkie istotne zagadnienia związane z ewaluacją powinny być klarowane z dużym wyprzedzeniem, by umożliwić sensowne planowanie pracy.
Ta rekomendacja dotyczy dobrych praktyk.
Zmodyfikować opis dowodu
Rozporządzenie obecnie określa, że: „ocenę wpływu działalności naukowej… przeprowadza się na podstawie opisów związku między wynikami badań naukowych… a gospodarką sporządzonych na podstawie dowodów tego wpływu mających w szczególności formę raportów, publikacji naukowych i cytowań w innych dokumentach lub publikacjach.
Chociaż ten zapis nie wyklucza innych form dowodu, to jednak wymienione przykładowe typy dowodów należą w praktyce do rzadkich. Zakładają bowiem, że poza cyklem badania->publikacja->współpraca z otoczeniem->wpływ zaistniał dodatkowy cykl badania (na temat wpływu)->publikacja. To w moim doświadczeniu nietypowe. Zazwyczaj dowody na wpływ przyjmują formę dokumentów wystawionych przez instytucje współpracujące czy mediów (zwykle internetowych). Wysokiej jakości dowodem są też ankiety.
Obecny opis dowodu może zniechęcać naukowców do samodzielnego dokumentowania wpływu (a nawet do dążenia do wpływu w ogóle). Proponowałabym szeroką i otwartą definicję dowodu, a w praktyce uznawanie wszystkich wiarygodnych typów dowodu (również np. wywiadów z beneficjentami).
Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.
Dodać formułę niejawnego opisu wpływu
Zdarza się, że naukowcy rezygnują ze zgłoszenia określonych działań jako przypadku wpływu gdyż są związani umową typu NDA z beneficjentem albo innym typem tajemnicy handlowej bądź gospodarczej. Ten problem może dotyczyć też innych wrażliwych danych np. w badaniach medycznych czy tych z obszaru obronności. Formuła niejawnego opisu wpływu, który po ocenie nie trafia do bazy Radon (lub trafia częściowo) pozwoliłby uniknąć tego problemu.
Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.
Skrócić opinie opisowe
W brytyjskim systemie przyznaje się opisom wpływu jedynie punkty, w norweskim – ewaluatorzy przedstawiają tylko opis. W polskim systemie oceniana jednostka otrzymuje zarówno ocenę liczbową, jak i opis. To dobrze.
Problem polega na tym, że opinie są niezwykle długie (min. 800 znaków ze spacjami!).
Ewaluatorzy są więc zmuszeni do pisania elaboratów (które i tak zwykle dotyczą spełnienia aspektów formalnych). A dodatkowo nie są jawne (vide Ujawnić wyniki).
Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.
Będę uzupełniać wpis. Zapraszam do dzielenia się Państwa sugestiami koniecznych zmian w „polskiej szkole” ewaluacji wpływu społecznego w komentarzach albo na kontakt@martawroblewska.pl
