Polska wersja ewaluacji wpływu z wiernej kopii swojego brytyjskiego prototypu wyewoluowała w zupełnie innym kierunku.
Ewaluację wpływu społecznego przeprowadzono w Polsce po raz pierwszy w ramach Ewaluacji Jakości Działalności Naukowej 2021/22. Termin składania opisów wpływu minął 15 stycznia 2022. Obecnie naukowcy niecierpliwie wyglądają wyników ewaluacji. Wyglądają ich też rektorzy i dziekani wydziałów, gdyż wyniki ewaluacji mają bezpośrednie przełożenie na finansowanie jednostek oraz ich prawa.
Wpływ społeczny: import z UK
Pierwsza wzmianka o uwzględnieniu elementu “wpływu społecznego” w polskiej ewaluacji jednostek naukowych pojawiła się w Białej Księdze Innowacji opublikowanej w 2016 przez Ministerstwo Nauki i Szkolnictwa Wyższego. Dokument zapowiadał “wprowadzenie do oceny jednostek – na wzór Wielkiej Brytanii elementu „social impact” – wpływu, jaki uczelnia wywiera na gospodarkę i społeczeństwo”. Wpływ społeczny stał się jednym z trzech kryteriów oceny jednostek naukowych w nowym modelu wprowadzonym na mocy Ustawy 2.0 (i rozporządzenia do niej).
Czym jest owo “brytyjskie podejście do ewaluacji wpływu społecznego”? Jest to element systemu Research Excellence Framework (REF) wdrożony, przy wielkim poruszeniu świata naukowego, w 2014 r. Uwzględnienie wśród kryteriów oceny prac naukowych ich wpływu “poza akademią” zrewolucjonizowało brytyjską ewaluację badań naukowych. Krok ten miał też konsekwencje sięgające daleko poza granice Zjednoczonego Królestwa. Podobnie jak wiele innych nowinek z brytyjskiego systemu nauki, ewaluacja wpływu społecznego była pilnie obserwowana, i często również naśladowana, przez decydentów na całym świecie. Stało się tak między innymi w Norwegii i w Polsce.
Epizod norweski wpływu społecznego
W latach 2015-18 Norwegia eksperymentowała z podejściem do ewaluacji wpływu społecznego opartym o metodologię “opisów wpływu” wzorowaną na REF.
Norwegia wprowadziła ewaluację wpływu społecznego do swojego systemu naukowego “na miękko”. W przeciwieństwie do Wielkiej Brytanii, wynik ewaluacji nie był powiązany z późniejszym finansowaniem jednostek. Nie przyznawano też ocen w skali punktowej. W związku z tym niemożliwe było tworzenie “rankingów”. Zamiast tego, norwescy naukowcy otrzymywali opisową informację zwrotną.
Takie podejście, jak wykazały moje badania prowadzone w Norwegii, pozwoliły uniknąć oporu środowiska i nadmiernego obciążenia pracowników odpowiedzialnych za redagowanie opisów wpływu.
Polskie i brytyjskie podejście do wpływu społecznego – podobieństwa
Polskie podejście do “wpływu społecznego” jest na pierwszy rzut oka bliźniaczo podobne do brytyjskiego. Podobieństwa między modelem brytyjskim a polskim obejmują:
- zastosowanie metodologii opisów wpływu,
- strukturę pól formularza opisu wpływu,
- język opisów (obowiązkowe było złożenie angielskiego przekładu tekstu).
- Podobna jest też “waga” elementu wpływu. W polskiej ewaluacji wynosi ona 20% (dla grupy nauk społecznych i humanistycznych). W REF 2014 było to 20%, zaś w REF 2021 waga wzrosła do 25%.
Wystarczy przyjrzeć się nieco dokładniej dokumentacji, by zrozumieć, że podobieństwa między polskim a brytyjskim podejściem są powierzchowne. Różnice uzmysławiają zaś, jak bardzo zakorzenione jest w polskiej tradycji podejście “parametryczne” do ewaluacji nauki.
Po pierwsze: debata (lub jej brak)
Wpływ społeczny wprowadzono do polskiego systemu ewaluacji w ramach Ustawy 2.0. Ustawę wypracowano w toku intensywnego dialogu Ministerstwa ze środowiskiem. Ponieważ Ustawa obejmowała całość kwestii związanych ze szkolnictwem wyższym i badaniami naukowymi (a więc sprawy tak różnorodne, jak kształcenie doktorantów, awans zawodowy naukowców czy właśnie ewaluacja jakości badań )– samemu elementowi oceny wpływu społecznego poświęcono w debacie niewiele uwagi. W rezultacie nie było czasu na “przepracowanie” pojęcia wpływu społecznego przez wspólnotę naukową. Proces ten miał ogromne znaczenie w kontekście brytyjskim – podkreślał to w rozmowie ze mną jeden z “ojców” brytyjskiego modelu ewaluacji wpływu.
Po drugie: pilotaż
Ministerstwo zamówiło badanie pilotażowe opisów wpływu, ale wyniki okazały się niejednoznaczne, zaś samych ocen poszczególnych opisów wpływu nigdy nie opublikowano. Zatem, podczas gdy w Wielkiej Brytanii instytucje mogły przygotować się do włączenia wpływu społecznego do REF 2014 podczas wielu rund konsultacji (poprzedzonych pilotażem), a w Norwegii sama ocena została potraktowana jako “próba”, w Polsce ocena wpływu społecznego spadła na naukowców jak grom z jasnego nieba.
Nawet w ostatnim kwartale 2022 r., gdy zbliżał się ostateczny termin składania opisów wpływu, na uczelniach skupiano się przede wszystkim na żonglowaniu publikacjami, które miały zapełnić “sloty”. Nie wszyscy zdawali sobie sprawę, że to złożone opisy wpływu wpłyną na ocenę jednostki bardziej niż jakakolwiek pojedyncza publikacja. Trzeba przyznać, że pojawiające się niemal do ostatniej chwili kuriozalne zmiany w liście publikacji punktowanych skutecznie odciągały uwagę naukowców od innych aspektów ewaluacji.
Po trzecie: brak definicji “wpływu” i zbyt dosłowne stosowanie kryteriów
Oficjalna polska dokumentacja nie podaje explicite definicji wpływu społecznego. Liczne fragmenty wskazują jednak na szeroką interpretację pojęcia, zbliżoną do wersji brytyjskiej. To dobrze.
Niestety, same kryteria oceny są rozumiane bardzo dosłownie.
Wpływ społeczny ocenia się, tak jak w REF, w kategoriach “zasięgu” i “znaczenia”. Inaczej niż w systemie brytyjskim, oba pojęcia zostały jednak precyzyjnie zdefiniowane, a każdy z elementów odpowiada za 50% oceny. Zasięg rozumiany jest geograficznie i tylko międzynarodowy zasięg wpływu może uzyskać maksymalną liczbę punktów. W brytyjskim podejściu ewaluatorzy przyglądają się obu kryteriom zbiorczo. Dokumentacja brytyjska podkreśla, że zasięg nie powinien być rozumiany geograficznie.
W UK zatem opis wpływu dotyczący badań, które zmieniły praktykę zawodową w danym regionie, może uzyskać maksymalną ocenę. W Polsce na taką ocenę mogą liczyć jedynie badania o wpływie międzynarodowym. Jednym słowem, polskim naukowcom poprzeczkę zawieszono wyżej niż ich brytyjskim kolegom!
Po czwarte: kwiatek do kożucha
Wreszcie, niektóre z różnic między polskim a brytyjskim systemem są po prostu… dziwne. Na przykład, istnieje ścieżka dla dodatkowych opisów wpływu opartych o „wybitne monografie” lub „słowniki biograficzne”. Punktacja każdego opisu wpływu może zostać podwyższona o 20% za interdyscyplinarność prowadzonych prac (jeszcze nie widziałam opisu wpływu, który nie zgłaszałby roszczenia do interdyscyplinarności).
Niemal w ostatniej chwili limit słów w sekcji dotyczącej opisów badań został zwiększony, co sugeruje nieoczekiwany nacisk na jakość samych badań (a nie właściwego przedmiotu oceny, czyli wpływu).
Po piąte: brak specjalistycznego wsparcia na uczelni
Na uczelniach w Wielkiej Brytanii szybko stworzono tzw. “infrastrukturę wpływu”. Składają się na nią wszystkie elementy, które wspierają generowanie wpływu i jego dokumentowanie. Już w pierwszej rundzie większość autorów i autorek opisów wpływu mogło liczyć na wsparcie wyspecjalizowanych pracowników – impact officers. Obecnie istnieją na uczelniach oddzielne “impact centres” – coś jak centra transferu technologii, ale rozumiane znacznie szerzej. Działają też komercyjne firmy oferujące doradztwo w tym zakresie (Fast Track Impact, Emerald Impact Services). Dostępne są też podręczniki ułatwiające zrozumienie pojęcia wpływu i zastosowanie go we własnej karierze naukowej. W Polsce jedyną tego typu publikacją jest w tej chwili mój Poradnik.
Ewaluacja wpływu społecznego: co dalej?
Złożone w polskiej ewaluacji opisy wpływu zostały już udostępnione w ramach bazy danych. Wraz z punktacją ewaluatorzy mają przedstawić opisową informację zwrotną (tego elementu nie ma w UK).
Z uwagi na sposób wprowadzenia oceny wpływu społecznego w Polsce, z pominięciem debaty i odpowiedniego wsparcia, sam wpływ społeczny nadal jest ideą słabo rozumianą. To przekłada się na nierówną jakość opisów wpływu. Po przeczytaniu kilkudziesięciu z nich, nie zazdroszczę ewaluatorom (i nie dziwię się, że publikacja wyników wciąż się odwleka).
Powyższy tekst ukazał się oryginalnie 07.04.2022 w j. angielskim pod tytułem “Poland’s impact evaluation gets lost in translation” w czasopiśmie “Research Europe” i na portalu Research Professional News.
