Tag: impact

Opublikowane w

Triumf punktozy. Nowy Przewodnik KEN „Przygotowanie i ocena opisów wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki” 2025

podrecznik ken okladka

Drogie Podmioto-dyscypliny!

Czy widziałyście ogłoszenie o publikacji Przewodnika KEN ws. przygotowania do ewaluacji tzw. trzeciego kryterium? Ja też nie! A jednak już jest! I znowu jest o czym pisać.

No i trochę się rozpisałam.

Wersja dla niecierpliwych: uważam, że aktualny Przewodnik to krok w złym kierunku na polskiej „ścieżce do wpływu społecznego”, a to przede wszystkim ze względu na przebijające z dokumentu hołdowanie logice punktozy i wypaczone rozumienie „znaczenia” wpływu.

Tu możecie pobrać Przewodnik z mojej strony. Tu jest link do pliku na stronie MNISW (uwaga! po kliknięciu od razu ściąga się dokument). Tu publikacja na stronie UKSW (z podglądem). Zamieszczam trzy linki, bo plik nie ma nigdzie własnej strony w domenach gov. (vide poniżej).

Przewodnik potrzebny od zaraz

Chciałam o tym Przewodniku napisać dobrze. Jak najszybsza publikacja Przewodnika była wysoko na mojej liście rekomendacji ws. ewaluacji wpływu społecznego z 20.03.2025. Liczyłam, że dokument rozwieje niektóre wątpliwości interpretacyjne, wypełni luki.

Ewaluacja wpływu to mój konik, więc na lekturę Przewodnika cieszyłam się jak na nowy album ulubionego artysty. Pierwsze akordy były w porządku, ale z czasem zaczęły pojawiać się zgrzyty, aż wreszcie całość zlała się w rozczarowującą kakofonię.

Dokument ma swoje mocne strony:

Słabości to (od najmniej do najbardziej poważnych):

O wszystkich punktach, złych i dobrych, piszę szczegółowo poniżej.

Lektura tego dokumentu zachwiała moją wiarą w sens nadchodzącej ewaluacji wpływu. Słabe strony dokumentu oraz jego wewnętrze niespójności są liczne i mogą położyć się cieniem na całej koncepcji wpływu społecznego w polskiej ewaluacji nauki. Byłaby to szkoda, gdyż Ministerstwo ogłosiło, że dowartościowanie trzeciego kryterium jest wśród głównych kierunków właśnie opracowywanej „nowej” ewaluacji (2026-2031). Pojawiają się nawet głosy, że wpływ społeczny ma odpowiadać za 1/3 oceny jednostki.

Ale sama modyfikacja kryteriów ewaluacji przyniesie jedynie powierzchowne efekty bez zmiany kulturowej (więcej w moim artykule w Research Evaluation). Nie wierzę, żeby wpływ społeczny w rozumieniu przedstawionym w Przewodniku, niespójnym i nadmiernie sformalizowanym, mógł być zaakceptowany przez polską wspólnotę akademicką.

Ale po kolei.

Pozytywy Podręcznika

Definicja wpływu

Mamy to! Wreszcie w dokumentacji wpływ został zdefiniowany wprost. Trudno ewaluować coś, co do czego nie ma zgody, czym jest. A sprawa nie zawsze jest oczywista – nagminnie myli się wpływ społeczny z pokrewnymi, ale nie równoważnymi pojęciami popularyzacji nauki, komercjalizacji, współpracy z biznesem etc.

Definicja z Przewodnika jest w mojej ocenie odpowiednio szeroka i zwraca uwagę na kluczowy aspekt zaistnienia KORZYSTNEJ ZMIANY. To jest wyróżnik wpływu społecznego – chodzi nie o proces czy zamiar wprowadzenia zmiany, ale jej realne zaistnienie. Wydaje się jednak, że autorzy Przewodnika sami nie używają pojęcia wpływu w tym rozumieniu spójnie w całym dokumencie (vide pkt. wypaczone rozumienie „znaczenia” wpływu).

Odejście od geograficznego rozumienia zasięgu wpływu

W ewaluacji w 2022 r. zasięg wpływu społecznego był ujmowany stricte geograficznie, a w dodatku aby osiągnąć maksymalną ocenę należało wykazać „międzynarodowy” zasięg. Obecnie przyjęte rozumienie: geograficzne bądź odnoszące się do kompletności oddziaływania, jest szersze i bardziej adekwatne do oceny różnorodnych typów wpływu.

Bardziej realistyczna lista dowodów na wpływ

Przewodnik z 2021 r. zawierał zdawkową informację, że dowody wpływu mają mieć „w szczególności formę raportów, publikacji naukowych i cytowań w innych dokumentach lub publikacjach”. Po przeczytaniu kilkaset już opisów wpływu mogę stwierdzić, że dowody tego typu są wyjątkowo rzadkie. Obecny katalog dowodów (Przewodnik…, 2025, str 12-13) jest zdecydowanie bardziej otwarty i realistyczny.

Niedociągnięcia Podręcznika

„Pokątny” tryb publikacji dokumentu

O tym, że Przewodnik już jest w sieci dowiedziałam się z „branżowej” rozmowy. Nie z odpowiedniej podstrony KEN lub MNISW, bo takiej nie ma. Google znajduje stronę MEIN z Podręcznikiem z 2021 r. Nowy Przewodnik można ściągnąć, ale jedynie jako bezpośredni link, prosto z wyszukiwarki. Zaciągnęły go też niektóre uczelnie. Najstarszy link jaki znalazłam jest z 3 kwietnia 2025.

Jedna rzecz to publikacja bez odpowiedniej „oprawy” – jakiegoś komunikatu MNISW czy KEN. Druga – kolejność. Czy nie powinniśmy jednak wpierw mieć nowego Rozporządzenia? W jaki sposób jest „umocowany” prawnie Podręcznik?

Niedopracowany kształt dokumentu (zły UX)

Przewodnik dla autorów dokumentu, który ma mieć cztery strony długości ma… czterdzieści dwie strony. Tekst obfituje w niepotrzebne powtórzenia tej samej treści. W pewnym miejscu pojawia się ramka:

Czy zamiast dodawać taką ramkę, nie można było po prostu zaprezentować informacji w tej samej kolejności, co w systemie? Nie będę pastwić się nad schematami na ostatnich stronach, gdzie ta sama treść powtórzona jest z zasady dwa razy. Jeszcze dziwniejsza jest skala oceny opisu wpływu pod kątem zasięgu, gdzie najpierw eksperci przyznają 100 punktów, a następnie te są dzielone („przeskalowywane”), żeby uzyskać sumę 50 pkt. Zdaje się, że można było po prostu użyć skali 1-50 (str. 25-26)? Myślę, że sprawny redaktor wychwyciłby te rzeczy i znacząco zredukował i uprościł tekst. Że redaktora nie było, świadczą niespójności typograficzne (np. w pisowni mojego ulubionego odtąd rzeczownika „podmioto-dyscyplina”).

To jest trywialna rzecz, ale jednak razi.

Niepotrzebnie szczegółowe „przykłady” opisów wpływu

Ostatnie 13 stron Przewodnika to karty z przykładami opisów wpływu (a raczej ich synopsisów) dla różnych dyscyplin. Rozumiem intencję autorów, którzy chcieli rozwiać wątpliwości autorów, jak wygląda „dobry” opis wpływu. Ja sama lobbowałam za tym, żeby opublikować oceny opisów wpływu z poprzedniej ewaluacji, choćby w zbiorczej formie, dla całych dyscyplin. To pozwoliłoby uzyskać jakieś pojęcie o tym, jak wygląda przekonujący opis wpływu. Co innego jednak realny, wysoko oceniony przez ekspertów, przypadek, co innego „wizja” autorów Przewodnika.

W moim odczuciu przedstawione „kejsy” są mało realistyczne. Poczynając od pierwszego „koronnego” opisu wpływu dotyczącego diagnostyki raka, przez liczne przykłady opisów wpływu mających zastosowanie w całych sektorach na całym świecie, po opis platformy do nauki języka polskiego, która w niewiadomy sposób ostatecznie skutkuje lepszą integracją cudzoziemców z polskim społeczeństwem. Wisienką na torcie jest przykład wystawy historycznej, która budowała na interdyscyplinarności, bo… wykorzystano do jej przygotowania AI (każdy kto generował „historyczne” ilustracje przez AI wie, ile efekty mają wspólnego z wiernością historyczną i naukowością).

Wpływ „wyjątkowy” zamiast „normalnego”?

Podane przykłady przysparzają w mojej ocenie więcej szkody niż korzyści. Przedstawiają wyjątkowe, wybitne osiągnięcia (takie jak „rozwiązania… stosowane w praktyce klinicznej na całym świecie”) jako „typowy” przykład wpływu społecznego. Dla takiego rozumienia wpływu ukuto nawet w literaturze oddzielne określenie – „ekstraordinary impact”. Badacze ewaluacji argumentują, że tego rodzaju wpływ jest, no właśnie, wyjątkowy i nie powinno się go promować jako miary, którą powinniśmy się mierzyć wszyscy. Bo powiedzmy sobie szczerze, nie wszyscy wynajdziemy lekarstwo na raka.

Przeczytawszy kilkaset „prawdziwych” opisów wpływu z UK i Polski, mogę potwierdzić, że katalog przypadków wpływu z Podręcznika nie odzwierciedla charakteru większości raportowanych osiągnięć. Co więcej, problem nie leży w zbyt mało ambitnych osiągnięciach badaczy, a niedocenianiu precyzyjnych, nastawionych na konkretne wyzwanie interwencji.

Zdecydowanie wolę dokument, który realistycznie i szczerze przedstawia zaistniały wpływ, który wprawdzie nie uleczył raka ani nawet nie pomógł w „programowaniu … polityk z zakresu rynku pracy i systemu edukacji przez instytucje polskie i europejskie”, ale rozwiązał realny, lokalny problem. Promowanie „nadzwyczajnego” wpływu będzie skutkowało dalszym „pompowaniem” opisów wpływu, w których badacze będą na siłę przypisywać sobie wpływ na cały świat. Bo tego się od nich oczekuje, nawet jeśli pracują w małej, niedofinansowanej, prowincjonalnej jednostce.

Niby odchodzimy od „geograficznego” rozumienia zasięgu wpływu, ale ślad tej nieco megalomańskiej ambicji przebija przez wybór przypadków wpływu.

Hołdowanie logice punktozy

Kiedy doszłam do strony 25 Przewodnika, zamarłam. To było jak zły sen.

Wszyscy, od naukowców, przez administrację, po samo Ministerstwo zgodnie wołają „precz z punktozą! nie chcemy już punktozy!” (np. było to m.in. głównym hasłem ministra Wieczorka w stosunku do ewaluacji).

Co znajdujemy w Formularzu do oceny opisów wpływu w nowym Przewodniku? Zgadłeś, Czytelniku. Więcej punktozy.

Odrobina kontekstu, gwoli budowania grozy. W brytyjskim REF, który jest pierwowzorem polskiej ewaluacji wpływu, panel ekspercki otrzymuje opisy wpływu złożone w ramach dyscypliny, a w zamian zwraca liczbę od 0 do 4 gwiazdek (mogą być cząstkowe), która odzwierciedla jakość złożonych opisów. Ta liczba stanowi średnią z ocen opisów z danej dyscypliny. Nie upublicznia się ocen pojedynczych opisów. Nie rozbija tych ocen na mniejsze „podoceny”. Dokumenty explicite mówią, że dwa kryteria, zasięg i znaczenie (te same co u nas), oceniane są zbiorczo. Nie publikuje się uzasadnień.

W polskiej ewaluacji w 2021, zasięg i znaczenie odpowiadały za 50% końcowej oceny wpływu, zaś poszczególnym widełkom punktów przypisano ocenę opisową.

Już w 2022 polscy eksperci byli bardziej skrępowani regulacjami niż ich brytyjscy odpowiednicy. Autorzy Przewodnika z 2025 dodatkowo rozczłonkowali te podziały.

Ale to nie wszystko. Rozpisano też każdy punkcik wewnątrz owych pięćdziesięciu. Pokażę to poniżej. Ekspertom zalecono pisane uzasadnień ocen – w sumie dla każdego opisu powstaną trzy (dwie oddzielne i wspólna ekspertów).

Już po ewaluacji w 2022 r. opisowe uzasadnienia ocen opisów wpływu dotyczyły w dużej części spełnienia formalnych kryteriów (publikacje powstały we wskazanym okresie, autorzy są pracownikami jednostki etc.). Teraz zniknie jakakolwiek przestrzeń na refleksję merytoryczną (czy rzeczywiście badania i związane z nimi działania wpłynęły pozytywnie na świat pozaakademicki?), pozostanie rodzaj opisowej checklisty dotyczącej spełnienia formalnych wymogów.

NB. Trzy górne linijki w tekście na ilustracji to ignorowanie zasad prostej polszczyzny i ortografii (przypis naturalnie do niczego nie prowadzi).

Wypaczone rozumienie „znaczenia” wpływu

Wyobraźmy sobie, że jesteśmy ekspertami, którzy oceniają opis wpływu. Przyglądamy się wymiarowi znaczenia. Mamy do dyspozycji 50 pkt. Chcemy je precyzyjnie rozdysponować, więc stosujemy formularz z Przewodnika.

Załóżmy, że nasz opis wpływu dotyczy opracowania nowego typu zakrętki do lakieru paznokci (autentyczny przypadek grantu B+R). Jednostka badawcza sama przeprowadziła badania nad zakrętkami lakierów i opracowała innowacyjny nowy kształt, który opatentowała. W pytaniu 1 przyznajemy 15 pkt. Jednostka wskazała, że prowadziła badania nad zakrętkami lakierów do paznokci sama, nie ma wątpliwości co do jej kluczowej roli. W pytaniu 2 przyznajemy również 15 pkt . Jednostka dołączyła 5 dowodów, które potwierdzają, że 5 firm zakupiło patent i dzięki temu produkują tańsze zakrętki lakierów do paznokci, które jednocześnie przedłużają trwałość produktu. Dowody są czytelne, opatrzone datą i wystawione przez duże, znane przedsiębiorstwa. Nie powstały wprawdzie „samoistnie”, ale nie otwierajmy tej puszki Pandory. W pytaniu 3 przyznajemy więc 20 pkt. W ten oto sposób, przyznaliśmy opisowi wpływu dotyczącemu innowacyjnych zakrętek do lakierów do paznokci maksymalną ocenę – 50 pkt. Wpływ innowacyjnych zakrętek do lakierów ma zatem przełomowe znaczenie.

Żadne z powyższych pytań nie odnosi się do istoty rzeczy, czyli pytania o ZNACZENIE tego wpływu (przypomnijmy, że taka jest nazwa tego „wymiaru” oceny). Nie ma tu miejsca na refleksję czy w wyniku tego działania powstała „korzystna zmiana w społeczeństwie i gospodarce”? I czy jest to zmiana, którą określilibyśmy jako „przełomową”?

W tym czasie, kolega przy biurku obok ocenia opis wpływu dotyczący przysłowiowego leku na raka. Niestety, uznał, że działalność naukowa nie była niezbędna, a jedynie „w dużym stopniu konieczna”, więc opis stracił 5 punktów. Dodatkowo uznał jeden dowód za mało przekonujący – tu opis farmaceutów stracił kolejne 10. W efekcie znalezienie lekarstwa na raka okazało się „istotne”, ale nie tak „przełomowe” jak innowacyjne zakrętki do lakierów.

Ogon macha psem

Gdybym chciała na serio oceniać takie opisy musiałabym zadać pytania z zakresu etyki i aksjologii. Zastanowić się nad wartością życia ludzkiego i wartością dodaną nowego produktu na rynku. Ocena wpływu społecznego jest często przyczynkiem do takich trudnych pytań. Bo dotykamy tu delikatnej materii wartości społecznych, w której nie ma łatwych i jednoznacznych odpowiedzi. Ale rozwiązaniem nie jest na pewno unikanie zadania samego pytania, przez zastąpienie go biurokratycznym formularzem.

W obecnym rozwiązaniu to „ogon macha psem”. Parę kryteriów formalnych, które miały przeciwdziałać rzadkim, być może hipotetycznym sytuacjom przypisywania sobie „cudzego” wpływu lub „fabrykowania” dowodów urosło ponad miarę i przesłoniło istotę całej oceny.

Podskórna podejrzliwość w stosunku do ekspertów

Przewagą oceny wpływu społecznego w kształcie przyjętym w Wielkiej Brytanii, Holandii czy Norwegii jest to, że zakłada ufność w stosunku do ekspertki. To ona, bazując na swojej wiedzy i doświadczeniu, we współpracy z innymi ekspertami, ustala ocenę opisu wpływu. System przyjmuje, że twórcy ewaluacji oraz podmioty biorące w niej udział wierzą w uczciwość, bezstronność i kompetencje ekspertki.

Te cnoty nie zawsze muszą przekładać się na jednomyślność i jednogłośność ekspertów. Subiektywność jest wpisana w proces ewaluacji jakościowej. Budzi to protest wielu naukowców, ale przecież akceptujemy tę niedookreśloność, kiedy przesyłamy do recenzji nasze teksty naukowe. Myślę, że większość naukowców zgodzi się, że „doskonałości naukowej” nie da się sprowadzić do sumy punktowanych rubryczek, choćbyśmy dodawali kolejne widełki, przeskalowywali etc. Tak samo jest z wpływem społecznym.

Wydaje się, że autorzy Przewodnika niechętnie na to przystaną. Prezentują długą listę pouczeń dla ekspertów (pisać uprzejmie, unikać lekceważących stwierdzeń, „niezrozumiałego stylu” i personalnej oceny autorów wpływu, uważać na konflikt interesów etc. – str. 22). Wyznaczają im za pomocą formularzy oceny sztywne ramy, nakazują przygotowywać kolejne uzasadnienia ocen (najpierw każdy z dwóch ekspertów oceniających opis wpływu osobno, a potem razem). To wszystko są próby ujęcia w sztywny gorset rzeczywistości miękkiej, zmiennej, subiektywnej.

W moim artykule o ocenie wpływu społecznego w UK, Norwegii i Polsce, opublikowanym w Research Evaluation (2025) pisałam:

Jeśli pierwotnym celem wprowadzenia tego elementu ewaluacji w Polsce było stymulowanie innowacyjności (jak zadeklarowano w Białej Księdze, w której po raz pierwszy zapowiedziano ewaluację — Wróblewska 2017a), trudno sobie wyobrazić, jak mogłoby to się ziścić. Podczas gdy w sferze deklaracji nowa ewaluacja miała zrywać z poprzednią logiką „punktozy”, jak opisuje ją Kulczycki (2017), w rzeczywistości stanowi jej logiczną kontynuację. Domyślne podejście „parametryczne” do ewaluacji, które dominowało w Polsce przez ostatnie dekady, prowadzi decydentów do poszukiwania „mierzalnych” i „obiektywnych” miar dla elementu rzeczywistości akademickiej, który nie wpisuje się w tak wąskie metody pomiaru. Jak mówią badacze i praktycy zarządzania: „kultura zjada strategię na śniadanie”.

Oj zjada.

Niespójne używanie pojęcia wpływu

Przypomnijmy, że przyjęta w dokumencie definicja wpływu to: ogół korzystnych zmian zachodzących w społeczeństwie i gospodarce wywodzących się ze zdobyczy działalności naukowej obejmującej badania naukowe, twórczość artystyczną oraz prace rozwojowe (zbiorczo zwanych dalej działalnością naukową).

Przyjrzyjmy się schematowi obrazującemu przykład (zakładam, że dobry) opisu wpływu w dyscyplinie sztuki plastyczne i konserwacja dzieł sztuki.

Kolumna po lewej to etap, a kolumna po prawej – potwierdzające go informacje. Czy któreś z zawartych tu punktów wskazuje na „zmianę zachodzącą w społeczeństwie i gospodarce wywodzącą się ze zdobyczy działalności naukowej / twórczości artystycznej”?

Gdybym oceniała opis oparty o ten schemat, wskazałabym autorom, że „nawiązanie relacji/współpracy”, „publikacja materiałów, które mogą trafić do odbiorców na całym świecie”, zapraszanie się nawzajem instytucji czy planowanie imprez, to wszystko elementy tego, co nazywam „ścieżką do wpływu”. Nawet wzrost frekwencji w galerii nie świadczy przecież o „zmianie w rozwiązaniach praktycznych” czy „sposobie myślenia” (typy zmiany wskazane na str. 18 Poradnika). Wpływ społeczny mógłby być w tym przypadku udokumentowaną zmianą np. zwiedzający wystawę w grupie focusowej potwierdzili, że wystawa zmieniła ich sposób postrzegania problemu ukazanego na wystawie (np. migracji).

Prezentowanie takich „miałkich” przykładów „potencjalnego” wpływu jako wzorców wpływu z Sèvres zachęci autorów do bajkopisarstwa (pozyskiwania „listów intencyjnych” z obietnicą przyszłej współpracy). Taki opis rzeczywiście będzie nadawał się tylko do oceny pod kątem czytelności dowodów etc, bo samo znaczenie takich działań jest znikome.

Quo vadis, ewaluacjo?

Nie byłam bezkrytyczną fanką regulacji przyjętych w Rozporządzeniu z 2019 r. ani wszystkich wskazówek z Przewodnika z 2021. Wierzyłam jednak, że stosunkowo niewielkie korekty mogą wyprowadzić na prostą „polską szkołę ewaluacji wpływu społecznego”.

Polska jako jeden z pierwszych krajów na świecie ujęła w swoim systemie ewaluacji kryterium wpływu i ma szansę być jednym z liderów tego ważnego trendu (pisałam o tym w innym wpisie). Jednak obecny Przewodnik robi z tej ważnej społecznie ewaluacji coś w rodzaju „matury pisanej pod klucz”, traktując protekcjonalnie autorów i ekspertów. I podmioto-dyscypliny.

Opublikowane w

Jak pozyskać przypadki wpływu społecznego? Poradnik dla spóźnialskich

napis impact w zeszycie

Zegar do końca ewaluacji tyka. Wśród uczelni są prymusi, którzy już, na siedem miesięcy przed terminem, mają gotowe szkice opisów wpływu. W tych instytucjach jedynym zmartwieniem jest wybranie najmocniejszych przypadków i szlifowanie ich opisów. W takich szczęśliwych portach koordynatorzy dyscyplin mogą spać spokojnie. Inaczej niż koledzy i koleżanki, którzy zostawili kwestię wpływu społecznego na ostatni moment.

Ewaluacja last minute

Przygotowania do ewaluacji przebiegają znacznie sprawniej jeśli się dbało o generowanie i dokumentowanie wpływu na bieżąco. Nadal jednak, na etapie drugiej edycji ewaluacji wpływu społecznego, niewiele uczelni to robi. O publikacjach i efektach finansowych myślimy przez cały okres ewaluacji, wpisujemy dane do odpowiednich baz. Wpływ społeczny najczęściej nie jest w żaden centralny sposób śledzony ani dokumentowany. W efekcie kiedy przychodzi czas ewaluacji, koordynatorzy dyscyplin w pośpiechu szukają jakichkolwiek tropów wpływu społecznego.

Jak je zatem pozyskać? Co ma czynić koordynator dyscypliny, w której opisy wpływu to nadal „tabula rasa”. Od czego zacząć? W tej sytuacji są trzy rozwiązania.

Trzy drogi do wybrania mocnego przypadku wpływu społecznego

Istnieją trzy drogi do wybrania mocnego przypadku wpływu społecznego:

1) Robimy kwerendę szukając istniejących lecz niezgłoszonych, nieudokumentowanych przykładów wpływu. Wymagałoby to wyjścia do naukowców z wiedzą o wpływie społecznym. Badacze nadal często nie wiedzą co to jest. Zdarza się więc, że dysponują potencjalnymi przykładami wpływu, a nawet nie zdają sobie z tego sprawy. Nieodmiennie polecam jako zasób mój Poradnik.

2) Na podstawie istniejących badań zastanawiamy się jaki wpływ możemy w pozostałym, bardzo krótkim, czasie wygenerować. Pytamy się badaczy jakie opublikowali wyniki badań, które mogłyby potencjalnie się stać przykładem wpływu. Często takie potencjalne zastosowania są opisane w końcowej części publikacji. Na podstawie tych informacji zastanawiamy się, jak to można jeszcze teraz zastosować owe wyniki. W przypadku badań edukacyjnych może to być np. współpraca ze szkołą. W przypadku badań ekonomicznych, organizacja warsztatów, publikacja zasobów online etc. Analogicznie w przypadku innych dziedzin. Na współpracę z dużymi instytucjami może być za późno, ale wciąż są szanse na efektywne działania na poziomie lokalnym czy w sieci.

3) A rebours. Mamy wpływ, uzupełniamy publikacje. Czasem zdarza się, że wiemy o zaistniałym wpływie (np. korzystnej współpracy naukowców z biznesem), ale brakuje związanych z tym obszarem publikacji. Pozostało bardzo niewiele czasu, żeby jeszcze uzupełnić tę lukę, coś publikując. Czasem takie okienka możliwości się otwierają np. w związku z wolnym slotem w numerze tematycznym. Czasem kwestię tę można rozwiązać odpowiedniego przedstawiając w narracji prace całego zespołu naukowców .

Nie ma uniwersalnych rozwiązań, wszystko zależy od zasobów w danej instytucji. Podstawą jak zawsze pozostaje edukowanie w zakresie tego, czym jest wpływ społeczny i jak o nim pisać.

Opublikowane w

Czy wpływ społeczny musi wynikać z konkretnych badań? Na marginesie zmian w ewaluacji wpływu społecznego

We wpisie Bank rekomendacji dot. ewaluacji wpływu społecznego (trzeciego kryterium) wymieniam (i uzasadniam) zmiany, które należałoby wprowadzić w ocenie wpływu społecznego. Zachęcam też do dzielenia się rekomendacjami, które uwzględnię w „Banku”.

Oderwać wpływ od badań?

„Oderwanie” wpływu od konkretnych badań naukowca / naukowczyni to rekomendacja, która do mnie dotarła już dwa razy, dwoma różnymi kanałami.

O co chodzi? Obecnie musimy w opisie wpływu wykazać, że zaistniały wpływ (pozytywna zmiana w otaczającym świecie) łączy się w wyraźny sposób z przeprowadzonymi badaniami. Klasyczny przykład: badania farmaceutyczne nad substancją doprowadziły do stworzenia leku, który obecnie wykorzystywany jest przez pacjentów leczących określoną chorobę. Badania edukacyjne ostatecznie doprowadziły do wprowadzenia nowych, ulepszonych metod, które lepiej odpowiadają na potrzeby uczniów. Badania historyczne, spopularyzowane przy pomocy wystawy pozwoliły wzbogacić tożsamość kulturową mieszkańców danej miejscowości. I tak dalej.

Nie zawsze jednak ścieżka jest tak prosta. Czasem wpływ wynika z działalności popularyzatorskiej (np. eseistyka), czy biznesowej (np. tworzenie spółek spin-off), która luźno bazuje na wiedzy dyscyplinarnej badacza, ale nie ma ugruntowania w konkretnych badaniach.

To częsta sytuacja w naukach inżynieryjnych. Wyobraźmy sobie inżyniera lądowego, który specjalizuje się w budowie mostów i na ten temat publikuje. Jednocześnie w ramach zainteresowania materiałoznawstwem był też zaangażowany w tworzenie rozwiązania w zakresie inżynierii materiałowej. Obecnie rozwiązanie to ma zastosowanie w lotnictwie. Taki przykład jest trudniejszy do wykazania w ewaluacji. Trzeba się nagimnastykować, żeby znaleźć połączenie między publikacjami naszego inżyniera o konstrukcji mostów, a materiałem, który trafił do przemysłu lotniczego. Być może takie połączenie istnieje. Jeśli go nie ma, ewaluacja może wypaść negatywnie.

Niektórzy argumentują, że w związku z sytuacjami podobnymi do powyższej powinniśmy w ogóle zrezygnować z wymogu wskazania konkretnych publikacji, w których ma „początek” dany wpływ. Wystarczyłoby ogólne zarysowanie sylwetki badaczki i jej kompetencji.

Czemu ścieżka do wpływu musi uwzględniać badania

Osobiście, po pewnym namyśle, nie poparłabym tego pomysłu. Co prawda, oderwanie wpływu społecznego od konkretnych badań „uratowałby” część przypadków prawdziwych „ludzi renesansu”. Takich, którzy prowadzą badania w jednej dziedzinie, a w innej (w której również dysponują wiedzą) wywierają wpływ. Z drugiej strony jednak, otworzyłby drzwi osobom, które wywierają wpływ, ale taki, który nie jest oparty na realnej wiedzy, kapitalizując na statusie zdobytym w innym obszarze.

Przychodzą do głowy przypadki medyków, którzy przeszli na ciemną stronę mocy firmując swoją twarzą rozmaite szemrane suplementy. Pomyślmy też o naukowcach, którzy angażują się w politykę (na poziomie znacznie szerszym lub zupełnie innym niż wynika z ich badań). Nie zapominajmy o celebrytach, którzy mają stanowiska naukowe (są tacy). Często wywierają oni realny, udokumentowany wpływ (zdarza się, że nawet pozytywny), jednak zwykle nie jest on oparty na konkretnych badaniach na tematy związane z tymże wpływem.

Co więc ma zrobić nasz inżynier, który chciałby jednak napisać opis wpływu dokumentujący opracowane rozwiązanie? To proste: opublikować recenzowany artykuł o tym rozwiązaniu! Publikacje stanowiące bazę wpływu nie muszą wszak wcale pochodzić sprzed powstania wpływu. Często zdarza się, że prowadzimy badania, jednocześnie angażujemy się w działalność popularyzatorską czy współpracę z otoczeniem, zaś publikacja ukazuje się później (po wszystkich procesach redakcyjnych, recenzjach etc.). W niektórych wypadkach, może więc być warto „uzupełnić” brakującą naukową bazę zaistniałego wpływu, składając tekst do recenzowanego czasopisma. Gdy tekst się ukaże, będziemy mogli wykazać, że nasz wpływ istotnie ma naukowe podstawy (a nie bazuje na domysłach, przypuszczeniach, czy wręcz poglądach).

Jest to trudna droga, ale jedyna prowadząca do sukcesu, jeśli chodzi o wpływ społeczny. Per aspera ad astra.

Opublikowane w

2025: Bank rekomendacji dot. ewaluacji wpływu społecznego (trzeciego kryterium)

Pierwsza ewaluacja wpływu społecznego badań nie spełniła początkowych aspiracji twórców polityk. Nie ma dowodów by ewaluacja stymulowała innowacyjność, ani zapoczątkowała jakąkolwiek zmianę kulturową bądź wzrost świadomości badaczy w zakresie możliwego wpływu ich badań na otoczenie społeczne i gospodarcze. Trzecie kryterium wpisało się w logikę „punktozy”, stając się nielubianym i „podejrzanym” dodatkiem do ewaluacji. Fakt, że ewaluacja ma charakter cykliczny, a prace nad nowymi przepisami regulującymi ocenę są w toku, stwarza okazję do udoskonalenia polskiego podejścia do ewaluacji wpływu społecznego.

To fragment mojego najnowszego artykułu „One size fits all? A comparative review of policy-making in the area of research impact evaluation in the UK, Poland and Norway”, który ukaże się w 2025 r. w czasopiśmie Research Evaluation. Manuskrypt przesłałam na początku marca 2025 do Ministra Nauki i Szkolnictwa Wyższego, polecając jego uwadze rekomendacje dotyczące ewaluacji wpływu społecznego w Polsce. Moment na taką refleksję jest właśnie teraz – Ministerstwo zapowiedziało prace nad (kolejnymi) zmianami w systemie ewaluacji jakości działalności naukowej. W mediach już zaczęła się debata nad kierunkami zmian, ale jak zwykle gros uwagi przyciąga proces oceny publikacji. Tymczasem, przemilcza się tzw. trzecie kryterium, które w wielu przypadkach może przeważyć szalę (jeden opis wpływu waży wielokrotnie więcej niż pojedyncza publikacja).

W tym wpisie zbiorę rekomendacje dla Ministerstwa oraz zespołu, który będzie pracował nad nowymi wytycznymi dot. ewaluacji. Rekomendacje te wynikają z moich dziesięcioletnich badań nad ewaluacją wpływu społecznego. Część opiera się na zastrzeżeniach i obserwacjach zgłoszonych przez pracowników uczelni, z którymi współpracuję. W nawiasie podaję czy dana rekomendacja wiąże się z Ustawą, Rozporządzeniem czy dobrymi praktykami.

Poniżej lista rekomendacji z linkami do dłuższych opisów. Publikuję je w kolejności od ważniejszych do mniej ważnych.

Zachować trzecie kryterium

Zachować dotychczasową punktację trzeciego kryterium

Ujawnić wyniki

Przeprowadzić analizy

Włączyć kwestię wpływu społecznego do debaty

Zmodyfikować wymaganą liczbę opisów wpływu

Zlikwidować premię 20% za interdyscyplinarność

Opublikować Podręcznik KEN

Zmodyfikować opis dowodu

Dodać formułę niejawnego opisu wpływu

Skrócić opinie opisowe

Dodać obszar „edukacja”

Sugestie, których bym nie poparła

„Oderwać” opis wpływu od konkretnych badań

Zapraszam do dzielenia się Państwa sugestiami w komentarzach albo na kontakt@martawroblewska.pl

Zachować trzecie kryterium

Żeby było o czym rozmawiać w temacie ewaluacji wpływu społecznego, „wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki” musi pozostać kryterium ewaluacji. Docenianie (i ocenianie) wpływu nauki na społeczeństwo to międzynarodowa tendencja w ewaluacji (vide mapka poniżej).

Polska jest wsród pionierów jeśli chodzi o kryterium wpływu. Stad nasz model jest obiektem zainteresowania naukowców i twórców polityk za granica (vide np. mój artykuł w Research Professional News). Zaraz będziemy dysponować danymi z dwóch tur ewaluacji. Więcej danych o wpływie społecznym swoich naukowców maja tylko Brytyjczycy! Dlatego zdziwiło mnie, że w jednym z pierwszych udzielonych wywiadów wiceminister nauki wskazała na przykład Hiszpanii jako kraju adekwatnie doceniającego popularyzację. Według mojej wiedzy, hiszpańska ewaluacja uwzględniająca aspekt popularyzacji zaplanowana na 2018 została zbojkotowana, i obecnie trwają poszukiwania nowego rozwiązania. Co ważne, w istniejącym w Polsce systemie skupiamy się nie na popularyzacji, a właśnie na konkretnym wpływie z niej. O rozróżnieniu między tymi kwestiami piszę sporo w moim Poradniku. Mam wrażenie, że ta absolutnie kluczowe rozgraniczenie nie wybrzmiało do końca w polskiej akademii (stąd liczę na debatę o rozumieniu wpływu społecznego na polskim gruncie).

Uwzględnienie wpływu nauki w ewaluacji wpisuje się też w trend Responsible Research Assessment. Kładzie on nacisk na szerszy horyzont, w którym powstaje „doskonałość” naukowa. Wpisują się więc w niego kwestie związane z otwartym dostępem, kulturą pracy (czyli brytyjskie „people culture and environment”), inkluzywność, sustainability, reprodukcja siły intelektualnej (promowanie doktorantów)…

Ta rekomendacja dotyczy Ustawy o Szkolnictwie Wyższym i Nauce.

Zachować dotychczasową punktację trzeciego kryterium

Porozumienie Akademickich Centrów Transferu Technologii (PACTT), jedyne środowisko które w debacie upomina się o trzecie kryterium, postuluje zwiększenie jego procentowego udziału w ocenie dyscypliny. Obecny poziom (15-20% w zależności od dyscypliny) jest rzeczywiście niższy niż w brytyjskim REF (tam impact to obecnie już 25%). Wydaje się jednak, że w naszym kontekście ważniejsze niż zwiększenie wagi kryterium jest zwiększenie jego widoczności. Chodziłoby o debatę o definicji i kryteriach wpływu w środowisku, przeanalizowanie wyprodukowanych w procesie ewaluacji danych, wpisanie współpracę z otoczeniem w karierę naukowca, zwiększenie widoczności istniejących opisów wpływu.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej .

Ujawnić wyniki

Mimo, że złożone w poprzedniej turze oceny opisy wpływu są dostępne w bazie RADON, nie znamy ich ocen. Ani punktowych, ani opisowych. Ani dla indywidualnych opisów wpływu, ani zbiorczo (np. dla dyscypliny w ramach uczelni). Jeżeli nie mamy informacji zwrotnej (poza tą dotyczącą opisów ocenionych w poprzedniej ewaluacji w naszej jednostce, jeśli mamy do nich dostęp), skąd mamy wiedzieć jak wygląda mocny opis wpływu?

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej oraz dobrych praktyk.

Przeprowadzić analizy

Punkt powiązany z poprzednim (ujawnić wyniki). „Siedzimy” na danych, których nikt nie używa. No bo tak: setki jednostek naukowych przez cztery lata gromadzą dane o tysiącach pracowników (publikacje, afiliacje, patenty, wyniki finansowe, opisy wpływu), przez ostatnie pół roku pracochłonnie wprowadzają je do systemu, a potem na podstawie wszystkich tych informacji otrzymujemy… literkę. Po jednej dla jednostki. I do widzenia.

Czy ta literka, reprezentująca przyznaną kategorię naukową, rzeczywiście do czegoś służy (poza jej kwestionowaniem w procesie odwołania)? Co nam mówi o jednostce: jakości prowadzonych prac, środowisku badawczym, potencjale badawczym, zasobach finansowych instytucji, kierunkach rozwoju, strategii, umiędzynarodowieniu, kluczowych partnerstwach? Nic.

A tymczasem dane w systemie pozwoliłyby przeprowadzić fascynujące badania na wszystkie te tematy! Byłoby to z korzyścią dla ewaluowanych jednostek, które otrzymałyby bogatsze informacje o swojej jednostce – jak wypadają w różnych kategoriach w porównaniu z „konkurencyjnymi” jednostkami? Ministerstwo i środowisko miałoby ogląd sytuacji bieżącej: które jednostki najlepiej publikują, jaka grupa „wiekowa” badaczy generuje najlepsze wyniki finansowe, jakie dyscypliny są dobre w generowaniu wpływu społecznego i w jakich obszarach ten wpływ występuje. Skorzystaliby też badacze : wiedzielibyśmy kto jest „mocny” w obszarze, w którym pracujemy, bądź chcemy pracować (np. zależy mi by być członkiem jednostki, która prowadzi socjologię z wyróżniającym się wpływem społecznym). Moglibyśmy się porównać ze „średnią” w zakresie publikacji. Pomimo całego sceptycyzmu wobec naszego „parametrycznego” podejścia do liczenia publikacji, byłabym ciekawa jak zebrane przeze mnie „punkty publikacyjne” wypadają na tle średniej dla mojej uczelni, dla mojej dyscypliny, mojego poziomu kariery.

Analizy i raporty: jak robią to w UK i Francji

Wzorem jest dla mnie UK, gdzie organizator ewaluacji (HEFCE a potem UKRI) zleca bardzo ciekawe badania na wszystkie powyższe tematy (i więcej). Dla przykładu poniżej często pokazywany diagram z raportu Kings College obrazujący związek dyscypliny (w 4 blokach po prawej) z obszarami wpływu społecznego (np. ekologia, prawo etc. po lewej).

Również w Francji w wyniku ewaluacji ukazują się rekomendacje obejmujące badania prowadzone w kraju w podziale na dyscypliny oraz wskazujące na pozycję naukową Francji na świecie . Zwracają na to uwagę w niedawnym tekście członkowie Komisji ds. Międzynarodowych Rady Głównej Nauki i Szkolnictwa Wyższego.

A zatem? Plan minimum: wszystkie możliwe dane (w tym oceny liczbowe i opisowe opisów wpływu) opublikować w dostępnej formie w RADON, tak by badacze mogli buszować w nich we własnym zakresie. Plan maksimum: po każdej ewaluacji zlecać przekrojowy raport o stanie nauki na podstawie zebranych danych ewaluacyjnych. Opracować rekomendacje i plan ich wdrożenia.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej i dobrych praktyk.

Włączyć kwestię wpływu społecznego do debaty

Niezależnie od tego jak ukształtują się kryteria w „nowej” ewaluacji, dobrze, żeby tym razem temat ewaluacji wpływu społecznego wybrzmiał na forum. Jak piszę w moim artykule z Research Evaluation (2025, forthcoming):

Twórcy polityk publicznych powinni zachować ostrożność przy wdrażaniu modeli opracowanych w innych systemach naukowych: mechaniczne „przeszczepianie” rozwiązań z innych kontekstów bez inwestycji w stymulowanie debaty lub budowę infrastruktury przyniesie powierzchowne efekty i nie doprowadzi do istotnych zmian w kulturze akademickiej.

Zmodyfikować wymaganą liczbę opisów wpływu

Rekomendacja podwójna: zmniejszyć wymaganą liczbę opisów wpływu dla małych dyscyplin i zrezygnować z „dodatkowych” opisów.

Obecnie dla dyscyplin liczących do 100 osób wymagane są 2 opisy wpływu. Każde kolejne 100 pracowników to jeden dodatkowy wymagany opis.

To oznacza, że przy liczbie 100 badaczy wymagany jest 1 opis na 50 osób, przy liczbie 200 jeden na 66 osób etc. Wydaje się, że nie jest to zawrotna liczba. Ale przy małych dyscyplinach ta liczba wzrasta. Przy 12 osobach – jeden opis na 6 osób. Proponowałabym wprowadzić dodatkowy próg – 1 opis wpływu w dyscyplinie liczącej do 50 pracowników.

Zgodnie z rozporządzeniem w określonych przypadkach ewaluowane jednostki mogą złożyć obok wymaganych opisów wpływu także dodatkowe.

Motywacja do pisania dodatkowych opisów jest jednak wątpliwa. Ocena jednostki to średnia z wszystkich złożonych opisów. W praktyce „najmocniejsze” opisy wpływu wystarczy złożyć w ramach liczby wymaganej. Wydaje się więc, że składanie „dodatkowych” opisów to tylko dodatkowa praca dla autorów i ewaluatorów… A jednak w 2021 r. złożono ich sto (na 1000 obowiązkowych).

Oczywiście, są sytuacje, kiedy składanie dodatkowych opisów może się opłacić, tu już wchodzimy na grunt „optymalizacji”…

Ponieważ dodatkowe opisy wpływu stanowią sztuczny dodatek, proponowałabym usunąć §23. 1 mówiący o dodatkowych opisach.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Zlikwidować premię 20% za interdyscyplinarność

Obecnie ocena każdego opisu wpływu zwiększana jest o 20% w przypadku gdy autorzy zamieszczą opis uzasadniający, że badania lezące u podstawy wpływu były interdyscyplinarne, a eksperci uznają tę argumentację. Jest to sztuczny dodatek niemający istotnego związku z tym, co jest przedmiotem ewaluacji. Czy wpływ (np. oszczędność w danym procesie produkcyjnym, skuteczność leku, atrakcyjność metody edukacyjnej) zwiększa się w zależności od tego czy wygenerowali go badacze z różnych dziedzin? Raczej nie. Równie dobrze moglibyśmy przyznać premię za inkluzywny zespół, umiędzynarodowienie czy inne cechy projektu leżącego u podłoża wpływu. Kryterium to generuje tylko szpalty pustosłowia (widziałam niewiele opisów, które NIE deklarowały interdyscyplinarności) i dodatkową pracę dla ekspertów.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Opublikować Podręcznik KEN (na czas)

Obok Ustawy i Rozporządzenia w ewaluacji, która odbyła się w 2022r. funkcjonował „Podręcznik dla ekspertów oraz ewaluowanych podmiotów w zakresie opisu wpływu…” wydany przez KEN. Regulował on (chociaż w niestandardowy „powielaczowy” sposób) szczegóły ewaluacji takie, jak oczekiwana treść poszczególnych pól dokumentu, charakter załączonych dowodów, proces oceny przez ekspertów. Te informacje istotnie wpływały na kształt przygotowywanych opisów wpływu. „Podręcznik” opublikowany 29.07.2021 r. jest już nieaktualny. Biorąc pod uwagę, że roztropne jednostki naukowe już (marzec 2025) pracują nad opisami wpływ, nowy Podręcznik powinien się ukazać… przedwczoraj.

W przyszłej ewaluacji wszystkie istotne zagadnienia związane z ewaluacją powinny być klarowane z dużym wyprzedzeniem, by umożliwić sensowne planowanie pracy.

Ta rekomendacja dotyczy dobrych praktyk.

Zmodyfikować opis dowodu

Rozporządzenie obecnie określa, że: „ocenę wpływu działalności naukowej… przeprowadza się na podstawie opisów związku między wynikami badań naukowych… a gospodarką sporządzonych na podstawie dowodów tego wpływu mających w szczególności formę raportów, publikacji naukowych i cytowań w innych dokumentach lub publikacjach.

Chociaż ten zapis nie wyklucza innych form dowodu, to jednak wymienione przykładowe typy dowodów należą w praktyce do rzadkich. Zakładają bowiem, że poza cyklem badania->publikacja->współpraca z otoczeniem->wpływ zaistniał dodatkowy cykl badania (na temat wpływu)->publikacja. To w moim doświadczeniu nietypowe. Zazwyczaj dowody na wpływ przyjmują formę dokumentów wystawionych przez instytucje współpracujące czy mediów (zwykle internetowych). Wysokiej jakości dowodem są też ankiety.

Obecny opis dowodu może zniechęcać naukowców do samodzielnego dokumentowania wpływu (a nawet do dążenia do wpływu w ogóle). Proponowałabym szeroką i otwartą definicję dowodu, a w praktyce uznawanie wszystkich wiarygodnych typów dowodu (również np. wywiadów z beneficjentami).

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Dodać formułę niejawnego opisu wpływu

Zdarza się, że naukowcy rezygnują ze zgłoszenia określonych działań jako przypadku wpływu gdyż są związani umową typu NDA z beneficjentem albo innym typem tajemnicy handlowej bądź gospodarczej. Ten problem może dotyczyć też innych wrażliwych danych np. w badaniach medycznych czy tych z obszaru obronności. Podobnie – są sytuacje, kiedy naukowcy współpracują z grupami, które nie mogą wystawić publicznie dostępnych zaświadczeń (dyskryminowane grupy mniejszościowe, opozycja w krajach niedemokratycznych). Formuła niejawnego opisu wpływu, który po ocenie nie trafia do bazy Radon (lub trafia częściowo) pozwoliłby uniknąć tego problemu.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Skrócić opinie opisowe

W brytyjskim systemie przyznaje się opisom wpływu jedynie punkty, w norweskim – ewaluatorzy przedstawiają tylko opis. W polskim systemie oceniana jednostka otrzymuje zarówno ocenę liczbową, jak i opis. To dobrze.

Problem polega na tym, że opinie są niezwykle długie (min. 800 znaków ze spacjami!).

Ewaluatorzy są więc zmuszeni do pisania elaboratów (które i tak zwykle dotyczą spełnienia aspektów formalnych). A dodatkowo nie są jawne (vide Ujawnić wyniki).

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Dodać obszar „edukacja”

W polu formularza „Obszar, na który działalność naukowa ma największy wpływ” znajdujemy następującą listę: Gospodarka, Administracja publiczna, Ochrona zdrowia, Kultura i sztuka, Ochrona środowiska naturalnego, Bezpieczeństwo i obronność państwa, Inny. Z mojego doświadczenia wynika, że często deklarowanym obszarem jest „Edukacja” (pozaakademicka). Nie wpisuje się on w pozostałe wymienione obszary, zaś kategoria „Inne” jest bardzo ogólna. Wydaje się, że warto dodać tę kategorię, żeby docenić obszar wpływu na Edukację.

Ta rekomendacja dotyczy Rozporządzenia o Polon.

Będę uzupełniać wpis. Zapraszam do dzielenia się Państwa sugestiami koniecznych zmian w „polskiej szkole” ewaluacji wpływu społecznego w komentarzach albo na kontakt@martawroblewska.pl

Sugestie, których bym nie poparła

„Oderwać” opisy wpływu od konkretnych badań (i publikacji)

Taka sugestia wpłynęła do mnie dwoma kanałami. Osobiście bym jej nie poparła. Dlaczego? Tłumacze w oddzielnym wpisie.

Opublikowane w

2025: co nowego ws. oceny wpływu społecznego? Zmiany w Rozporządzeniu

Journey of Progress theory of change cards

Jestem chyba jedną z nielicznych osób zadowolonych ze zmian proponowanych w rozporządzeniu ws. sprawie ewaluacji jakości działalności naukowej (projekt zmian z 14.03.2025).

W aspekcie ewaluacji wpływu społecznego ma zmienić się jedna rzecz, za to kluczowa. „Zasięg” (czyli jedno z kryteriów oceny) nie będzie już rozumiany geograficznie. Finally! Za takim rozwiązaniem lobbowałam już od 2018 r (vide mój list z uwagami do projektu rozporządzania z dnia 30 lipca 2018 do MNiSW). Kropla drąży skałę! Gdyby ktoś z KEN lub Ministerstwa potwierdził „ścieżkę wpływu” od moich publikacji do zmiany w rozporządzeniu miałabym piękny przykład wpływu społecznego!

W uzasadnieniu tej zmiany dotyczącej zasięgu wpływu społecznego mowa o tym, że „pozwoli … na docenienie w ewaluacji wpływu, który nie jest rozległy w znaczeniu terytorialnym, ale obejmuje całą potencjalną grupę odbiorców”. Problem z geograficznym rozumieniem zasięgu dotyczył wszystkich przypadków, gdy wpływ jest skierowany do konkretnej, lokalnej grupy beneficjentów (jak np. w przypadku choroby endemicznej, problemu środowiskowego dotyczącego określonego obszaru etc.) Jak czytamy w uzasadnieniu: „Zasięg wpływu może być bowiem ograniczony terytorialnie, ale równocześnie może być kompletny, jeżeli objął całkowicie swoim oddziaływaniem zjawisko, którego dotyczy, albo częściowy, jeżeli objął częściowo dane zjawisko itd. „

Nowe progi punktowe to:

50 pkt – w przypadku wpływu o międzynarodowym albo całkowitym zasięgu,

40 pkt – w przypadku wpływu o krajowym albo szerokim zasięgu,

30 pkt – w przypadku wpływu o regionalnym albo częściowym zasięgu,

20 pkt – w przypadku wpływu o lokalnym albo ograniczonym zasięgu,

0 pkt – w przypadku wpływu o marginalnym zasięgu…

Geograficzne rozumienie zasięgu wpływu społecznego było jednym z najbardziej rażących niedociągnięć polskiego modelu oceny. Swoją drogą, pozostawało w jaskrawym kontraście z rozumieniem brytyjskim (z którego polski system ewaluacji wpływu społecznego czerpie). Wspaniale, że Ministerstwo dostrzegło konieczność zmiany w tym zakresie.

To jednak nie koniec pracy. W kontekście nadchodzącej „rewolucji” w ewaluacji (od cyklu zaczynającego się w 2026r.) warto przyjrzeć się też innym problemom. Stay tuned!

Ps. Jest też zła wiadomość: będę musiała przygotować poprawione (w tym aspekcie) wydanie Poradnika!

Na obrazku: karty Journey of Progress pomocne przy warsztatach dot. wpływu społecznego.

Opublikowane w

Jeden opis wpływu „waży” w ewaluacji tyle co 7 artykułów. Dlaczego więc wciąż debatujemy o publikacjach?

text impact written in pencil

Rok 2025 zamyka kolejny okres ewaluacji jakości działalności naukowej (2022-2025). To czas podsumowań, uzupełniania brakujących kawałków układanki, dopinania dokumentacji na ostatni guzik.

Oczywiście, nie mogło obyć się bez głosów wzywających do zaniechania ewaluacji lub zmiany jej formy na dobrowolną (na zasadzie „sprawdzianu na szóstkę, dla chętnych”).

Jestem daleka od bezwarunkowego entuzjazmu wobec obecnych przepisów ewaluacji, jednak nietrudno zauważyć że:

  1. Kształt ewaluacji został wypracowany w toku partycypacyjnego i bardzo czasochłonnego procesu jako część Ustawy 2.0. Kasowanie całej ewaluacji po jednej rundzie to wylewanie dziecka z kąpielą (pisałam o tym dla Times Higher Education – uwaga, paywall).
  2. Trochę późno na takie postulaty. Jakby moi studenci na przedostatnich zajęciach poprosili o odwołanie egzaminu lub zmianę jego charakteru na dobrowolny, przypomniałabym im zasady określone od początku semestru w syllabusie. Zdaje się, że tak samo działa prawo (w tym wypadku Ustawa o Szkolnictwie Wyższym i Nauce i Rozporządzenie Dz.U. 2019 poz. 392). Gdybym mimo wszystko się zgodziła na postulat grupy studentów, mogłabym się spodziewać problemów ze strony Dziekanatu i reszty studentów, którzy przez cały semestr rzetelnie przygotowywali się do egzaminu zgodnie z pierwotnie określonymi zasadami.

Paper mills – problem marginalny

Jednym z argumentów na rzecz zaniechania ewaluacji jest działalność paper mills. Dzięki nim, niektórzy naukowcy potrafili wygenerować dziesiątki lub nawet setki nieźle punktowanych publikacji poza prawidłową naukową ścieżką. Choć naganna, ta działalność ma jednak ostatecznie ograniczony wpływ na wyniki ewaluacji. Każdy naukowiec ma przypisane maksymalnie cztery „sloty”, więc nawet jeśli naprodukuje kilkaset artykułów, ostatecznie w danym okresie może wysłać do ewaluacji raptem cztery. Zakładając, że papierowych młynarzy jest mimo wszystko w gronie akademików mniejszość, te „szemrane” publikacje raczej nie przeważą szali ewaluacji. Za to inne dokumenty mogą uczynić to stosunkowo łatwo.

Wpływ społeczny, głupcze!

Nieodmiennie dziwi mnie, że wszystkie dyskusje dotyczące krytyki systemu ewaluacji skupiają się wyłącznie na publikacjach. A przecież kryterium „poziom naukowy lub artystyczny” (za który odpowiadają publikacje) to raptem jedno z trzech kryteriów oceny. Jego waga waha się od 50% dla dyscyplin inżynieryjnych, technicznych, rolniczych do 80% dla artystycznych. Niemało. A jednak każda zgłoszona w ramach ewaluacji publikacja odpowiada maksymalnie za 1% końcowej oceny danej dyscypliny. Tymczasem…

Każdy opis wpływu złożony w ramach trzeciego kryterium jest „wart” od 7 do nawet 67 razy tyle co pojedyncza publikacja! Pamiętajmy przy tym, że opisy wpływu to krótkie dokumenty (ok. 4 stron). A więc strona opisu wpływu „waży” w ewaluacji znacznie więcej (nawet 300 razy!) niż strona publikacji.

Wklejam obliczenia poniżej (zrzut z Excela).

Jaki z tego wniosek? Nie powinniśmy drzeć szat (jedynie) nad pierwszym kryterium. Zamiast tego warto porozmawiać serio o tym, jak ewaluowane jest kryterium trzecie. A jednak na ten moment (12.02.2025):

  • Nie opublikowano poszczególnych ocen opisów wpływu z poprzedniej ewaluacji ani ich uzasadnień. Skąd mamy wiedzieć, jak wygląda dobry opis wpływu?
  • Brak aktualnego „Podręcznika” zawierającego wskazówki dla ewaluowanych podmiotów (jeśli KEN planuje publikację analogiczną do tej z poprzedniej ewaluacji).

Są jeszcze inne problemy, o których pisałam w poprzednim wpisie i dodatkowe, które opiszę w kolejnym.

Inaczej niż wielu krytyków algorytmu oceny publikacji, nie uważam, że ewaluację należy „zaorać”. Wierzę w to, że trzecie kryterium ma szansę być elementem kształtującym pozytywne i przyszłościowe postawy w akademii. Jednak, żeby tak się stało, trzeba ewaluację wpływu społecznego w Polsce solidnie stuningować.

Instytucjom przygotowującym się do ewaluacji polecam zaś mój Poradnik.

Poniżej zrzuty z Excela obliczeń wagi pojedynczej publikacji i opisu wpływu (OW). Założenia: wszystkie publikacje jednoautorskie, długość standardowego opisu wpływu 4 strony, długość standardowej publikacji 20 stron. Dla dyscyplin artystycznych nie obliczam wagi poszczególnej strony publikacji, gdyż tu „sloty” można zapełnić również osiągnięciami artystycznymi.

Opublikowane w

Jak napisać opis wpływu. Poradnik

Druga edycja poradnika „Jak napisać opis wpływu” już jest!

Jeśli:

  • piszesz “opis wpływu”,
  • zajmujesz się przygotowaniem do ewaluacji III  kryterium od strony administracyjnej,
  • chcesz wiedzieć, dlaczego w każdej dobrej opowieści o wpływie badań musi być SMOK,
  • chciałbyś/chciałabyś, żeby twoje badania miały większy wpływ na rzeczywistość,

ten poradnik jest dla Ciebie!

Poradnik do nabycia w moim sklepiku na Naffy.io: https://www.naffy.io/marta-wroblewska

Poradnik „Jak napisać opis wpływu” to ponad 100 stron o wpływie społecznym: czym jest, jak się go ewaluuje i jak przygotować się do nadchodzącej ewaluacji. Autorka zajmuje się tematem ewaluacji wpływu społecznego od 10 lat, poświęciła mu doktorat i liczne publikacje naukowe i popularnonaukowe.

Opisy wpływu będą podstawą oceny w ramach tzw. “trzeciego kryterium” w Ewaluacji Jakości Działalności Naukowej 2022-2025. Zgodnie z Prawem o szkolnictwie wyższym i nauce z 2018 r., “wpływ społeczny” jest jednym z trzech kryteriów oceny jednostek naukowych. Odpowiada za nawet 20% wyniku ewaluowanej jednostki. “Wpływ społeczny” to innymi słowy realny wpływ na rzeczywistość prowadzonych przez naukowców badań. 

Przygotowanie “opisu wpływu” stanowi niemałe wyzwanie. Trudność sprawia zrozumienie pojęcia “wpływu”, wybranie najbardziej przekonujących jego przykładów oraz ujęcie ich w formę nowego gatunku tekstu, jakim jest “opis wpływu”.

“Wpływ społeczny” będzie w 2026 r. ewaluowany w Polsce po raz drugi. Poprzednia wersja tego ebooka, opublikowana w 2021 r., została pobrana ze strony internetowej autorki setki razy, dystrybuowano ją też w wielu uczelniach jako materiał pomocniczy. Obecna wersja wzbogacona jest o wnioski z poprzedniej ewaluacji.

Poradnik można kupić w moim sklepiku na platformie Naffy w czterech wersjach: licencja indywidualna, licencja dla małej jednostki (do 15 osób), licencja dla jednostki średniej wielkości (do 35 osób), licencja dla dużej jednostki (35 – 4000 osób).

Wersję promocyjną – pierwszych 20 stron – można pobrać za darmo (po rejestracji).

Poniżej zrzuty wybranych stron.

Okładka ebooka Jak napisać opis wpływu społecznego
Screenshot
Opublikowane w

Co dalej z ewaluacją wpływu społecznego? AD 2024

Jest nowy rząd, odżyła więc dyskusja o Ustawie o Szkolnictwie Wyższym. Na jej marginesie mówi się też o polskim modelu ewaluacji jakości działaności naukowej. Niektórzy wskazują na patologie systemu i wzywają do jego całkowitego „zaorania” [1, 2]. Nowy minister nauki zapowiada jednak, że nie będzie rewolucji [3]. To dobrze – bo pośród wielu palących potrzeb sektora nauki jest też potrzeba stabilizacji i przewidywalności systemu.

Nie ma dla mnie wątpliwości, że tzw. listy czasopism punktowanych bronić nie warto. Jej związek z realnymi akademickimi standardami, nawet bez kuriozalnych dopisków, był nader luźny. Nie specjalizuję się w bibliometrii, więc nie mam pomysłu, jak optymalnie mierzyć jakość publikacji. Jestem jednak przekonana, że nieunikniona dyskusja o modelu ewaluacji jakości działalności naukowej jest szansą, żeby naprawić element „wpływu społecznego”. Poniżej kilka kluczowych, moim zdaniem, punktów do rozważenia.

[Moje wprowadzenie do tematyki wpływu społecznego można znaleźć tu].

Czy „wpływ społeczny” powinien być utrzymany w nowym modelu ewaluacji?

Tak.

Uwzględnienie w ewaluacji jakości działalności naukowej wpływu społecznego jest trendem międzynarodowym, niewykluczone, że najważniejszym w ostatnich latach.

Odkąd ewaluację wpływu społecznego wprowadzili w REF 2014 Brytyjczycy, fala „impactowa” zatacza coraz szersze kręgi. „Wpływ” ewaluują w Europie Holendrzy, Włosi, Norwegowie, Irlandczycy. Ewaluację wzorowaną na brytyjskiej ma też Hongkong. Intensywnie możliwością wprowadzenia ewaluacji zajmują się RPA, Kanada, Australia.

Poniżej mapa stanu prac nad politykami w obszarze wpływu społecznego na rok 2023 (opracowanie MW w oparciu o [4]).

Fakt że Polska wprowadziła ewaluację wpływu już w 2018 r. (wraz z Ustawą 2.0) i że mamy za sobą już jedną rundę ewaluacji, wysuwa nasz system na pozycję awangardy, jeśli chodzi o doświadczenie w ewaluacji wpływu społecznego. Jeśli moje badania nad polskim systemem wzbudzają zainteresowanie w Wielkiej Brytanii, Irlandii i Chinach, jest to głownie za sprawą elementu wpływu społecznego – wszyscy chcą wiedzieć jak to robimy, i co z tego wynika.

Problem polega na tym, że robimy to nie najlepiej i na ten moment niewiele z naszego doświadczenia wynika…

Co należy zmienić?

Po pierwsze: dodać (oficjalną) definicję

W Rozporządzeniu [5] brakuje definicji wpływu społecznego analogicznej do tej funkcjonującej w brytyjskim kontekście. Poniżej wyimek z Rozporządzenia (wszystkie ilustracje poniżej są fragmentami cytowanego Rozporządzenia).

Wpływ społeczny nieco dokładniej opisano w Podręczniku dla ekspertów [6]…, ale wciąż nie jest to definicja jednoznaczna, rozwiewająca wszystkie wątpliwości. W dodatku sam Podręcznik firmowany przez KEN jest dokumentem funkcjonującym „bez żadnego trybu” – nie ma statusu rozporządzenia. Stąd w zasadzie trudno byłoby wymagać, żeby jednostki stosowały się do zapisów Podręcznika. Nie wiemy też, czy treść Podręcznika dotyczy ewaluacji, która miała miejsce w 2021/22 r., czy też będą obejmowały kolejną ewaluację.

Definiowanie pojęcia „impact” w Wielkiej Brytanii było długim, kolektywnym procesem (który de facto wciąż trwa). Musimy wiedzieć „co” i dlaczego właściwie ewaluujemy.

Po drugie: debata

Tak dochodzimy do kolejnego punktu: konieczności szerszej debaty i dyskusji wokół „wpływu” przed kolejną ewaluacją. Hektolitry atramentu wylano na temat nieszczęsnej listy czasopism, a o wpływie społecznym (który odpowiada wszak za 20% oceny ewaluowanej jednostki) mało kto się zająknął.

W efekcie wiele jednostek do samego końca poprzedniego okresu ewaluacyjnego (albo i jeden dzień dłużej) nie miało pojęcia czym ów „wpływ” jest. To marnowanie czasu ewaluatorów, którzy muszą czytać opisy wpływu dotyczące de facto samych badań, a w najlepszym wypadku ich popularyzacji…

Żeby „wpływ społeczny” zagościł w polskiej kulturze akademickiej jako istotny element oceny wartości pracy naukowców, musimy odbyć debatę o tym, jak na naszym gruncie zdefiniujemy to pojęcie.

Po trzecie: elastyczność

W toku prac nad nowym elementem oceny, pracownicy ministerstwa podkreślali otwartość na szeroką definicję „wpływu”. Tymczasem, zapisy rozporządzenia, a jeszcze bardziej Podręcznika, bezlitośnie dookreślają kryteria oceny w zakresie „zasięgu” i „znaczenia”. W mojej ocenie katastrofalne jest przypisanie tym pojęciom sensu geograficznego.

W efekcie maksymalną liczbę punktów za opis wpływu można uzyskać jedynie, jeśli przedstawi się „opis wpływu o międzynarodowym zasięgu i znaczeniu”. Dla porównania, w Wielkiej Brytanii kryteria „zasięgu” i „znaczenia” pozostają niedookreślone (zaś explicite zabrania się interpretowania ich geograficznie). W rezultacie brytyjski naukowiec może otrzymać maksymalną ocenę opisu wpływu, który dotyczy wartościowego działania lokalnego, zaś polski naukowiec musiałby uzyskać międzynarodowy zasięg. Wydaje mi się to megalomanią i hybris.

A zatem należy zrezygnować ze sztywnego przydzielania punktów w tych dwóch kategoriach na rzecz bardziej jakościowego podejścia, niezwiązanego z aspektem geograficznym.

Po czwarte: jawność ocen

Jednostki naukowe wprawdzie otrzymują ocenę opisową, ale ani ocena opisowa ani punktowa nie jest upubliczniana w bazie RAD-ON. Skąd mamy więc wiedzieć, które opisy zostały przez ewaluatorów ocenione wysoko, a które nisko?

Moje obserwacje na ten temat zawrę w nowej wersji „Poradnika: Jak napisać opis wpływu”.

Wydaje mi się jednak wskazane, żeby te informacje (choćby zbiorczo, dla całych jednostek) były upubliczniane, byśmy jako wspólnota akademicka mogli uczyć się na błędach (i sukcesach).

Na razie zaufanie do procesu oceny jest na niskim poziomie. Użytkownicy X pisali o „cudach nad urną”, i trudno się dziwić biorąc pod uwagę liczbę złożonych i pozytywnie rozpatrzonych odwołań – odwoływała się co druga ewaluowana jednostka [vide 7], a Minister obiecywał pozytywnie rozpatrzyć większość odwołań [8].

Po piąte: zrezygnować z „dodatkowych” opisów

Zgodnie z rozporządzeniem w określonych przypadkach ewaluowane jednostki mogą złożyć obok wymaganych opisów wpływu także dodatkowe.

Tylko po co? Ocena jednostki to średnia z wszystkich złożonych opisów. W praktyce „najmocniejsze” opisy wpływu wystarczy złożyć w ramach liczby wymaganej. Wydaje się więc, że składanie „dodatkowych” opisów to tylko dodatkowa praca dla autorów i ewaluatorów… A jednak w 2021 r. złożono ich sto (na 1000 obowiązkowych).

Po szóste: zrezygnować z „dodatkowych” punktów za interdyscyplinarność

Zgodnie z rozporządzeniem można ubiegać się o 20% „premii” w przypadku opisu wpływu dotyczącego interdyscyplinarnych badań naukowych lub prac rozwojowych o przełomowym znaczeniu dla rozwoju nauki.

Z mojej perspektywy „interdyscyplinarność” jako element oceny opisu wpływu to kwiatek do kożucha. Nie rozumiem dlaczego wpływ oparty na badaniach interdyscyplinarnych miałby być bardziej wartościowy od tego wynikającego z badań w obrębie dyscyplin (czy lek stworzony przez farmaceutów we współpracy z artystami będzie lepiej leczył niż ten, który przygotowali sami farmaceuci?).

No i dlaczego w kryterium „wpływu społecznego” mielibyśmy w ogóle oceniać jakość samych badań?

Po siódme: skrócić opinie opisowe

W brytyjskim systemie przyznaje się opisom wpływu jedynie punkty, w norweskim – ewaluatorzy przedstawiają tylko opis. W polskim systemie ewaluowana jednostka otrzymuje zarówno ocenę liczbową, jak i opis. To dobrze.

Problem polega na tym, że opinie są niezwykle długie.

Ewaluatorzy są więc zmuszeni do pisania elaboratów (które i tak zwykle dotyczą spełnienia aspektów formalnych).

A zatem…

Obserwacja systemu brytyjskiego wskazuje, że wprowadzenie elementu ewaluacji wpływu społecznego ma pozytywny efekt stymulujący.

Po początkowym szoku, naukowcy raportują pozytywne nastawienie do elementu „impact” – mówią o dowartościowaniu zaangażowanych, mających wpływ na świat badań, o dodatkowych środkach na ich wsparcie, o pewnym „przetasowaniu” w hierarchiach. Pozytywny efekt w postaci zmiany „kultury akademickiej” występuje jednak dopiero przy długotrwałej spójnej ewaluacji (nie wystarczy „wpływu” ocenić raz).

W Wielkiej Brytanii odbyły się już dwie tury ewaluacji uwzględniające element wpływu społecznego (w 2014 i 2021), pełną parą idą przygotowania do kolejnej. Waga tego elementu oceny wzrosła w tym czasie z 20 do 25%, podczas gdy waga publikacji spadła z 70 do 50%.

Podsumowując: nie potrzebujemy kolejnej rewolucji, a mądrej ewaluacji podejścia do wpływu.

Cytowane teksty:

[1] Aleksander Temkin https://www.onet.pl/informacje/onetwiadomosci/uczelnie-po-ministrze-czarnku-wymagaja-pilnych-zmian/mzy0d85,79cfc278

[2] Marcin Miłkowski https://miesiecznik.forumakademickie.pl/czasopisma/fa-11-2023/hodowla-szczurzych-ogonow%E2%80%A9/?fbclid=IwAR0Qo0FTjVVGODZVUNv7gnAoUiJFaJjcDHj8t3Ta7MF_MerHYWTtRG2Mz3U

[3] https://naukawpolsce.pl/aktualnosci/news%2C99781%2Cminister-nauki-nie-planuje-zadnych-dzialan-rewolucyjnych-ewolucyjne.html

[4] Reed, M. S., Ferré, M., Martin-Ortega, J., Blanche, R., Lawford-Rolfe, R., Dallimer, M., & Holden, J. (2021). Evaluating impact from research: A methodological framework. Research Policy, 50(4), 104147. https://doi.org/10.1016/j.respol.2020.104147

[5] Dziennik Ustaw Rzeczypospolitej Polskiej. (2019). Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 22 lutego 2019 w sprawie ewaluacji jakości działalności naukowej (Dz. U. 2019, poz. 392). https://isap.sejm.gov.pl/isap.nsf/DocDetails.xsp?id=WDU20190000392

[6] Komisja Ewaluacji Nauki. (2021). Podręcznik dla ekspertów oraz ewaluowanych podmiotów w zakresie opisu wpływu działalności naukowej na funkcjonowania społeczeństwa i gospodarki. https://polon.nauka.gov.pl/pomoc/knowledge-base/podrecznik-dla-ekspertow-oraz-ewaluowanych-podmiotow-w-zakresie-opisu-wplywu-dzialalnosci-naukowej-na-funkcjonowania-spoleczenstwa-i-gospodarki/

[7] https://serwisy.gazetaprawna.pl/edukacja/artykuly/8536603,ewaluacja-szkolnictwo-wyzsze-mein-przemyslaw-czarnek.html

[8] https://perspektywy.pl/portal/index.php?option=com_content&view=article&id=7510:ewaluacja-wiekszosc-odwolan-bedzie-rozpatrzona-pozytywnie&catid=24&Itemid=119

Opublikowane w

Ewaluacja wpływu społecznego à la polonaise – różnice między ewaluacją wpływu społecznego w Polsce i UK

notepad with word impact

Polska wersja ewaluacji wpływu z wiernej kopii swojego brytyjskiego prototypu wyewoluowała w zupełnie innym kierunku.

Ewaluację wpływu społecznego przeprowadzono w Polsce po raz pierwszy w ramach Ewaluacji Jakości Działalności Naukowej 2021/22. Termin składania opisów wpływu minął 15 stycznia 2022. Obecnie naukowcy niecierpliwie wyglądają wyników ewaluacji. Wyglądają ich też rektorzy i dziekani wydziałów, gdyż wyniki ewaluacji mają bezpośrednie przełożenie na finansowanie jednostek oraz ich prawa.

Wpływ społeczny: import z UK

Pierwsza wzmianka o uwzględnieniu elementu „wpływu społecznego” w polskiej ewaluacji jednostek naukowych pojawiła się w Białej Księdze Innowacji opublikowanej w 2016 przez Ministerstwo Nauki i Szkolnictwa Wyższego. Dokument zapowiadał „wprowadzenie do oceny jednostek – na wzór Wielkiej Brytanii elementu „social impact” – wpływu, jaki uczelnia wywiera na gospodarkę i społeczeństwo”. Wpływ społeczny stał się jednym z trzech kryteriów oceny jednostek naukowych w nowym modelu wprowadzonym na mocy Ustawy 2.0 (i rozporządzenia do niej).

Czym jest owo „brytyjskie podejście do ewaluacji wpływu społecznego”? Jest to element systemu Research Excellence Framework (REF) wdrożony, przy wielkim poruszeniu świata naukowego, w 2014 r. Uwzględnienie wśród kryteriów oceny prac naukowych ich wpływu „poza akademią” zrewolucjonizowało brytyjską ewaluację badań naukowych. Krok ten miał też konsekwencje sięgające daleko poza granice Zjednoczonego Królestwa. Podobnie jak wiele innych nowinek z brytyjskiego systemu nauki, ewaluacja wpływu społecznego była pilnie obserwowana, i często również naśladowana, przez decydentów na całym świecie. Stało się tak między innymi w Norwegii i w Polsce.

Epizod norweski wpływu społecznego

W latach 2015-18 Norwegia eksperymentowała z podejściem do ewaluacji wpływu społecznego opartym o metodologię „opisów wpływu” wzorowaną na REF.

Norwegia wprowadziła ewaluację wpływu społecznego do swojego systemu naukowego „na miękko”. W przeciwieństwie do Wielkiej Brytanii, wynik ewaluacji nie był powiązany z późniejszym finansowaniem jednostek. Nie przyznawano też ocen w skali punktowej. W związku z tym niemożliwe było tworzenie „rankingów”. Zamiast tego, norwescy naukowcy otrzymywali opisową informację zwrotną.

Takie podejście, jak wykazały moje badania prowadzone w Norwegii, pozwoliły uniknąć oporu środowiska i nadmiernego obciążenia pracowników odpowiedzialnych za redagowanie opisów wpływu.

Polskie i brytyjskie podejście do wpływu społecznego – podobieństwa

Polskie podejście do „wpływu społecznego” jest na pierwszy rzut oka bliźniaczo podobne do brytyjskiego. Podobieństwa między modelem brytyjskim a polskim obejmują:

  • zastosowanie metodologii opisów wpływu,
  • strukturę pól formularza opisu wpływu,
  • język opisów (obowiązkowe było złożenie angielskiego przekładu tekstu).
  • Podobna jest też „waga” elementu wpływu. W polskiej ewaluacji wynosi ona 20% (dla grupy nauk społecznych i humanistycznych). W REF 2014 było to 20%, zaś w REF 2021 waga wzrosła do 25%.

Wystarczy przyjrzeć się nieco dokładniej dokumentacji, by zrozumieć, że podobieństwa między polskim a brytyjskim podejściem są powierzchowne. Różnice uzmysławiają zaś, jak bardzo zakorzenione jest w polskiej tradycji podejście „parametryczne” do ewaluacji nauki.

Po pierwsze: debata (lub jej brak)

Wpływ społeczny wprowadzono do polskiego systemu ewaluacji w ramach Ustawy 2.0. Ustawę wypracowano w toku intensywnego dialogu Ministerstwa ze środowiskiem. Ponieważ Ustawa obejmowała całość kwestii związanych ze szkolnictwem wyższym i badaniami naukowymi (a więc sprawy tak różnorodne, jak kształcenie doktorantów, awans zawodowy naukowców czy właśnie ewaluacja jakości badań )– samemu elementowi oceny wpływu społecznego poświęcono w debacie niewiele uwagi. W rezultacie nie było czasu na „przepracowanie” pojęcia wpływu społecznego przez wspólnotę naukową. Proces ten miał ogromne znaczenie w kontekście brytyjskim – podkreślał to w rozmowie ze mną jeden z „ojców” brytyjskiego modelu ewaluacji wpływu.

Po drugie: pilotaż

Ministerstwo zamówiło badanie pilotażowe opisów wpływu, ale wyniki okazały się niejednoznaczne, zaś samych ocen poszczególnych opisów wpływu nigdy nie opublikowano. Zatem, podczas gdy w Wielkiej Brytanii instytucje mogły przygotować się do włączenia wpływu społecznego do REF 2014 podczas wielu rund konsultacji (poprzedzonych pilotażem), a w Norwegii sama ocena została potraktowana jako „próba”, w Polsce ocena wpływu społecznego spadła na naukowców jak grom z jasnego nieba.

Nawet w ostatnim kwartale 2022 r., gdy zbliżał się ostateczny termin składania opisów wpływu, na uczelniach skupiano się przede wszystkim na żonglowaniu publikacjami, które miały zapełnić „sloty”. Nie wszyscy zdawali sobie sprawę, że to złożone opisy wpływu wpłyną na ocenę jednostki bardziej niż jakakolwiek pojedyncza publikacja. Trzeba przyznać, że pojawiające się niemal do ostatniej chwili kuriozalne zmiany w liście publikacji punktowanych skutecznie odciągały uwagę naukowców od innych aspektów ewaluacji.

Po trzecie: brak definicji „wpływu” i zbyt dosłowne stosowanie kryteriów

Oficjalna polska dokumentacja nie podaje explicite definicji wpływu społecznego. Liczne fragmenty wskazują jednak na szeroką interpretację pojęcia, zbliżoną do wersji brytyjskiej. To dobrze.

Niestety, same kryteria oceny są rozumiane bardzo dosłownie.

Wpływ społeczny ocenia się, tak jak w REF, w kategoriach „zasięgu” i „znaczenia”. Inaczej niż w systemie brytyjskim, oba pojęcia zostały jednak precyzyjnie zdefiniowane, a każdy z elementów odpowiada za 50% oceny. Zasięg rozumiany jest geograficznie i tylko międzynarodowy zasięg wpływu może uzyskać maksymalną liczbę punktów. W brytyjskim podejściu ewaluatorzy przyglądają się obu kryteriom zbiorczo. Dokumentacja brytyjska podkreśla, że zasięg nie powinien być rozumiany geograficznie.

W UK zatem opis wpływu dotyczący badań, które zmieniły praktykę zawodową w danym regionie, może uzyskać maksymalną ocenę. W Polsce na taką ocenę mogą liczyć jedynie badania o wpływie międzynarodowym. Jednym słowem, polskim naukowcom poprzeczkę zawieszono wyżej niż ich brytyjskim kolegom!

Po czwarte: kwiatek do kożucha

Wreszcie, niektóre z różnic między polskim a brytyjskim systemem są po prostu… dziwne. Na przykład, istnieje ścieżka dla dodatkowych opisów wpływu opartych o „wybitne monografie” lub „słowniki biograficzne”. Punktacja każdego opisu wpływu może zostać podwyższona o 20% za interdyscyplinarność prowadzonych prac (jeszcze nie widziałam opisu wpływu, który nie zgłaszałby roszczenia do interdyscyplinarności).

Niemal w ostatniej chwili limit słów w sekcji dotyczącej opisów badań został zwiększony, co sugeruje nieoczekiwany nacisk na jakość samych badań (a nie właściwego przedmiotu oceny, czyli wpływu).

Po piąte: brak specjalistycznego wsparcia na uczelni

Na uczelniach w Wielkiej Brytanii szybko stworzono tzw. „infrastrukturę wpływu”. Składają się na nią wszystkie elementy, które wspierają generowanie wpływu i jego dokumentowanie. Już w pierwszej rundzie większość autorów i autorek opisów wpływu mogło liczyć na wsparcie wyspecjalizowanych pracowników – impact officers. Obecnie istnieją na uczelniach oddzielne „impact centres” – coś jak centra transferu technologii, ale rozumiane znacznie szerzej. Działają też komercyjne firmy oferujące doradztwo w tym zakresie (Fast Track Impact, Emerald Impact Services). Dostępne są też podręczniki ułatwiające zrozumienie pojęcia wpływu i zastosowanie go we własnej karierze naukowej. W Polsce jedyną tego typu publikacją jest w tej chwili mój Poradnik.

Ewaluacja wpływu społecznego: co dalej?

Złożone w polskiej ewaluacji opisy wpływu zostały już udostępnione w ramach bazy danych. Wraz z punktacją ewaluatorzy mają przedstawić opisową informację zwrotną (tego elementu nie ma w UK).

Z uwagi na sposób wprowadzenia oceny wpływu społecznego w Polsce, z pominięciem debaty i odpowiedniego wsparcia, sam wpływ społeczny nadal jest ideą słabo rozumianą. To przekłada się na nierówną jakość opisów wpływu. Po przeczytaniu kilkudziesięciu z nich, nie zazdroszczę ewaluatorom (i nie dziwię się, że publikacja wyników wciąż się odwleka).

Powyższy tekst ukazał się oryginalnie 07.04.2022 w j. angielskim pod tytułem „Poland’s impact evaluation gets lost in translation” w czasopiśmie „Research Europe” i na portalu Research Professional News.

Opublikowane w

Wpływ społeczny – deja vu?

Impact case study close up

Tekst ukazał się pierwotnie na blogu London School of Economics (LSE) – Impact of Social Sciences

Wpływ społeczny – z Albionu do Polski

Gdy w 2014 roku przeprowadziłam się do Wielkiej Brytanii, aby rozpocząć studia doktoranckie, hasło „impact” było wszechobecne. Niemal co tydzień na kampusie odbywało się jakieś wydarzenie związane z „wpływem społecznym” (tak obecnie tłumaczy się „impact” na język polski). Warsztaty, szkolenia, wykłady… Wszystko wokół wprowadzonej niewiele wcześniej inicjatywy „Impact Agenda” zakładającej promowanie (i ewaluowanie) wpływu społecznego naukowców.

Ja sama brałam udział w kursach skierowanych do młodych badaczy. Tłumaczono nam, czym jest „wpływ społeczny” i jak od początku uczynić go integralną częścią naszych badań. Widać było ogromny i skoordynowany wysiłek włożony w rozpowszechnianie informacji o „wpływie” we wspólnocie akademickiej.

Dziś wydaje się, że w Wielkiej Brytanii termin „impact” na stałe wszedł do akademickiego słownika.

Nikt nie pyta już, co oznacza pojęcie „impact”. Większości naukowców nie ma też wątpliwości, że o „wpływ” warto się starać.

„Impact” po polsku

Obecnie z zainteresowaniem obserwuję, jak ta historia powtarza się w Polsce. Zbliża się zaplanowana na 2022 r. ewaluacja jednostek naukowych (w poprzednim wcieleniu zwana pieszczotliwie „parametryzacją”). Po raz pierwszy będzie ona zawierała element „wpływu społecznego” (tzw. „trzecie kryterium ewaluacji”). Podejście do ewaluacji wpływu jest wyraźnie wzorowane na brytyjskim modelu Research Excellence Framework (REF).

Polscy naukowcy, a także administratorzy i managerowie uczelni przechodzą obecnie przez te same etapy, przez które przechodzili ich brytyjscy koledzy w okresie poprzedzającym REF 2014. Gorączkowe czytanie dostępnej dokumentacji. Wysiłek klarowania, a potem tłumaczenia innym, czym właściwie jest wpływ społeczny (a czym nie jest). Tropienie naukowców, którzy mogą się wykazać czymś na kształt wpływu społecznego. Przekonywanie ich do napisania opisów wpływu. Kolejne rundy poprawek opisów wpływu.

„Wpływ” – nowa składowa „akademickiej doskonałości”?

Z punktu widzenia lingwistycznego fascynujące jest obserwowanie konsekwencji dodania do słownika ewaluacji akademickiej jednego nowego terminu.

Okazuje się, że taka niewielka zmiana może znacząco wpłynąć na sposób, w jaki naukowcy mówią, piszą, a być może nawet myślą o swojej pracy. „Impact” jest jak jeden składnik, który zmienia charakter całego dania (vide niebieski sznurek użyty do związania warzyw przez Bridget Jones).

W ramach badań doktoranckich analizowałam, w jaki sposób wprowadzenie do ewaluacji nauki elementu „wpływu społecznego” w dłuższej perspektywie kształtuje komunikację naukową.

Bezprecedensowym wydarzeniem jeśli chodzi o sposób komunikowania osiągnięć naukowych jest powstanie oddzielnego gatunku tekstu – „opisu wpływu” (impact case study).

W rozprawie doktorskiej opisałam zmiany spowodowane w komunikacji akademickiej przez wprowadzenie czynnika „impact” z perspektywy teorii rządomyślności (governmentality) Michela Foucaulta. Przy użyciu pojęć z zakresu analizy dyskursu przeanalizowałam wyłanianie się „dyskursu wpływu społecznego”. Więcej o etapach jego tworzenia się i umacniania w oryginalnym, dłuższym wpisie.

Wpływ wpływu

Model ewaluacji czynnika „impact” przyjęty w brytyjskim REF jest najbardziej rozbudowanym i najlepiej zbadanym podejściem do ewaluacji „wpływu”. Podejście brytyjskie jest pilnie śledzone i często kopiowane w systemach akademickich na całym świecie (Hongkong, Norwegia, Polska…).

W Wielkiej Brytanii „impact” przeorał krajobraz ewaluacji naukowej.

W ciągu kilku lat z mglistej, niedookreślonej koncepcji stał się on jednym z niekwestionowanych filarów rzeczywistości akademickiej. Praca nad dokumentowaniem „wpływu” pochłania setki godzin, o jego ocenie napisano tysiące stron. „Wpływ społeczny” może stać się fundamentem kariery naukowej. Jego brak może karierę złamać.

Z fascynacją (i odrobiną niepokoju) czekam na pierwszą polską ewaluację obejmującą element wpływu społecznego.

Jakie będą jej wyniki?

A co ważniejsze, jaki będzie jej wpływ?

Wpis jest oparty na moim artykule naukowym „Research impact evaluation and academic discourse” opublikowanym w Humanities Social Science Communications https://www.nature.com/articles/s41599-021-00727-8

Dumnie wspierane przez WordPress