Nowy cykl ewaluacji (2026–2031) trwa już od pół roku. Tymczasem świat akademicki dalej wyczekuje rozporządzenia określającego zasady ewaluacji na ten okres. To trochę tak, jakbym przez pierwszy miesiąc semestru nie przedstawiła studentom sylabusu z zasadami oceniania. Ale dziś nie o tym 😉
Wielu kierowników jednostek uznało, że z przygotowaniami do kolejnej ewaluacji należy poczekać do ogłoszenia zasad nowej ewaluacji. Problem polega na tym, że wówczas może być już za późno.
Zarys nowej architektury oceniania jest już jasny. Wynika z niego, że system będzie opierał się na dwóch filarach. Pierwszy filar będzie obejmował trzy kryteria, które znamy z ostatniej oceny (1. Publikacje, 2. Wyniki finansowe, 3. Wpływ społeczny). Drugi filar natomiast dotyczy strategii jednostki.
W tym obszarze Ministerstwo zapowiada ocenę ekspercką, kształtującą. Kluczowe jest to, że jednostka będzie oceniania „wobec samej siebie”, a punkt wyjścia ma być wyznaczony w 2026r. Vide zrzut ze slajdów opublikowanych przez Ministerstwo pod koniec 2025 r. (link <- uwaga, link uruchamia pobieranie pliku).
II filar ewaluacji to szansa dla instytucji, które chcą mądrze zarządzać swoim wpływem społecznym. Haczyk jest jeden – o strategii Instytucji, w tym w obszarze 3 kryterium trzeba pomyśleć już… wczoraj.
Kryteria oceny w II filarze
Na ministerialnym slajdzie dotyczącym II kryterium (powyżej) znajdziemy misz-masz elementów, które mogą podlegać ocenie. Są punkty, które istotnie łączą się z potencjałem jednostki oraz poddają się ocenie kształtującej (formative assessment). Przede wszystkim:
posiadanie strategii rozwoju podmiotu oraz sposób jej wdrażania (czyli konkretne procedury)
rozwój naukowy kadry
mobilność pracowników
Są też elementy, które według mnie mniej pasują w tym elemencie:
raporty i ekspertyzy dla jednostek państwowych, samorządowych i innych
Jeśli wywołały wpływ społeczny, mogą być spokojnie uwzględnione w 3 kryterium w I filarze. Jeśli nie wywarły wpływu – czemu miałby być oceniane?
Wydawanie czasopism i
Pełnienie przez pracowników funkcji redaktorów naczelnych czasopism
Te dwa elementy będą „dziedziczyły” wszystkie problemy związane z naszą ukochaną listą czasopism punktowanych. Domyślam się, że te elementy znalazły się w II filarze jako „wrzutki”, tj. dezyderaty środkowisk naukowych, które wypadało uwzględnić, a które nie bardzo było gdzie upchnąć w 1 filarze. Podobny jest skądinąd rodowód „interdyscyplinarności”, która wbrew intuicji oceniana jest jako element wpływu społecznego.
Zostawiając na boku powyższe wątpliwości, skupmy się na clue wprowadzenia II filaru oceny. Co on oznacza w praktyce?
Wpływ społeczny oraz budowanie potencjału instytucjonalnego przestaną być miłym „efektem ubocznym” pracy naukowej. Staną się jej pełnoprawnym, strategicznie ocenianym elementem.
Rok 2026 to Twój akademicki „punkt zero”
Na slajdzie znajduje się kluczowe zdanie, które powinno elektryzować każdego dziekana, dyrektora instytutu czy prorektora ds. nauki:
ocena podmiotu po 5 latach (w 2031) rozwój: wobec samej siebie (wyznaczenie punktu w 2026).
Tłumacząc to z języka urzędowego na praktyczny: rok 2026 to moment zero. To właśnie teraz instytucja wyznacza „punkt wyjścia”, od którego mierzony będzie jej rozwój przez najbliższe pięć lat. W 2030 roku eksperci nie będą jedynie pytać o to, co udało się zrobić na koniec. Ocenią, czy jako podmiot zrobiliście krok naprzód w stosunku do tego, gdzie znajdujecie się dzisiaj. Zarówno w odniesieniu do samych siebie, jak i w kontekście pozycji międzynarodowej.
Wniosek? Jeśli nie zaczniecie pracować nad systemową strategią w obszarze wpływu społecznego i rozwoju potencjału naukowego teraz, w 2030 roku możecie obudzić się z pięknym opisem pojedynczych sukcesów (czyli opisami wpływu), ale bez twardych dowodów na instytucjonalny rozwój.
KPI, których nie da się „wymyślić” na koniec kadencji
W pierwszym cyklu ewaluacyjnym wielu kierowników jednostek brało się za tworzenie opisów wpływu na sam koniec 2020r, na krótko przed „deadlinem” (pisałam o tym w 2021r. tu). Niektóre teksty powstawały niemalże „na kolanie”. Gorączkowo poszukiwano dowodów. W niedawno zakończonym cyklu ewaluacji (2021-2025) byliśmy już lepiej przygotowani. Wiele jednostek przyglądało się potencjalnym „przypadkom” wpływu już na kilka lat przed ewaluacją.
Jednak Filar II oceny wprowadza zupełnie nowe wyzwanie. Nie wystarczy fakt, że kilkorgu z naszych badaczy w sposób mniej lub bardziej zaplanowany udało się pozytywnie wpłynąć na otaczające środowisko.
Skoro oceniane będą procedury i ciągłość wdrażania strategii, jedyną bezpieczną drogą stanie się systematyczne realizowanie wcześniej wyznaczonych celów.
Będziemy więc potrzebować mądrych wskaźników efektywności (KPI), które:
Odzwierciedlają realną specyfikę i misję dyscypliny.
Pozwalają na bieżąco, rok do roku, monitorować postępy.
Będą regularnie rewidowane, by w 2030 roku stanowić podstawę spójnej opowieść o wzroście.
Tylko w ten sposób za pięć lat będziecie mogli z pełnym spokojem pokazać ekspertom: Zobaczcie, w 2026 roku startowaliśmy z poziomu X, wdrożyliśmy takie mechanizmy wsparcia i procedury, a dziś systematycznie realizujemy cele na poziomie Y. Na tym właśnie polega ocena kształtująca, o której mówi ministerstwo.
Czas ucieka (ale to dobra wiadomość)
Nie musimy czekać na czerwcową kropkę nad „i” ze strony Ministerstwa, by zacząć działać. Kierunek zmian jest czytelny: wygrają te podmioty, które odejdą od reaktywnego „gaszenia pożarów” na rzecz świadomego zarządzania posiadanym potencjałem.
Jeśli w Twojej instytucji temat wpływu społecznego wciąż jest w sferze planów lub pobożnych życzeń – czas przyjrzeć się Strategii. Na szczęście, istnieje wiele sprawdzonych modeli planowania wsparcia wpływu społecznego. W Wielkie Brytanii to oddzielny sektor administracji. Moje badania dotyczące wsparcia oferowanego w tym zakresie przez brytyjskie jednostki podsumowałam tu.
Strategia wpływu społecznego dla Twojej jedostki
Nie wiesz gdzie zacząć? Zapraszam do kontaktu. Możemy przyjrzeć się potencjałowi Waszego zespołu, przełożyć ministerialne wytyczne na praktyczne procedury i zaprojektować strategię wpływu. To zapewni Wam spokojny sen podczas ewaluacji w 2031 roku, ale przede wszystkim pomoże Waszym badaniom realnie zmieniać świat.
I o to tak naprawdę w tym chodzi!
Napisz do mnie lub umów się na krótką rozmowę. Dane kontaktowe znajdziesz w zakładce Kontakt.
By popular demand, publikuję ✨mój opis wpływu społecznego✨.
– Jaka jest jego przewaga nad opisami udostępnionymi w RADON?
– Jest przygotowany na formularzu KEN dla ewaluacji 2025/2, zgodnie z zasadami Przewodnika „Jak napisać opis wpływu społecznego”. Zawiera także dowody📁.
– Czy opis jest o prawdziwych badaniach i wpływie?
– Tak, o moich własnych👩🔬.
– Czy ten opis będzie złożony w ewaluacji 2025/26?
– Nie, to wariant jednego z możliwych opisów, służy do celów edukacyjnych.
– Czy to przykład „wzorcowego”💯 opisu, który otrzymałby max ocenę – 120 pkt?
– Uważam, że jest całkiem dobry, ale sama nie przyznałabym mu 120 pkt. Agent AI Impact przyznał mu 90/120 i ja się z nim zgadzam. W końcu to mój uczeń (który nie przerósł nauczyciela – jeszcze).
– Co to za agent?
– Projekt, który testuję. Część inicjatywy związanej z rozwinięciem AI do wsparcia (nie zastąpienia) ekspertów i autorów w procesach ewaluacji🧠. Stay tuned.
Opis jest dostępny w całości, z dowodami, w sumie 14 str. tekstu. Jest dostępny bez opłaty, ale żeby pobrać, trzeba wpisać swój e-mail🖋️✉️.
Warto – nie spamuję, ale otrzymasz wiadomość o moim nadchodzącym ebooku: ✨”Jak napisać wniosek o grant”✨.
Zasięg, znaczenie, interdyscyplinarność, skala KEN, skala MNISW. Ocena opisów wpływu jest dość skomplikowana. Pisałam o tym we wpisie o „spłaszczaniu ewaluacji„.
Żeby ułatwić przygotowanie ocen „wewnętrznych” i wszelkich symulacji oceny przygotowałam Formularz excel.
Filmik pokazujący jak działa formularz na Youtube.
Polecam używać formularza w zestawieniu z moim Poradnikiem „Jak napisać opis wpływu społecznego”.
O tym, że ocenianie opisów wpływu z formularzem KEN jest nudne, żmudne, a sama ocena ma w połowie charakter para-formalny.Na koniec zaś wyniki oceny zostają spłaszczone.
Przeprowadziłam ostatnio próbną ocenę kilku opisów wpływu używając formularza z nowego Przewodnika KEN. W efekcie tego ciekawego ćwiczenia:
Uświadomiłam sobie, do jakiego stopnia skomplikowane są obecne zasady oceny wpływu społecznego. Z początku przeliczałam wszystko ręcznie. Wydawałoby się, że przy operacjach do 100-120 pkt to niewielki kłopot. A jednak wciąż się gubiłam, głównie ze względu na konieczność operowania dwiema oddzielnymi skalami. Ostatecznie stworzyłam formularz Excel, który wszystko zlicza, „przeskalowuje” i podsumowuje.
Przypomniałam sobie, co mi się nie podobało w Przewodniku KEN. Przez dążenie do precyzyjnego „owskaźnikowania” miękkiej i subiektywnej materii, jaką jest wpływ społeczny, otrzymuje się sprzeczne ze zdrowym rozsądkiem absurdy. To dla mnie esencja „polskiej szkoły ewaluacji”, charakteryzującej się obsesją na punkcie wskaźników i punktów. W ewaluacji wpływu społecznego są one równorzędne z jakościową oceną ekspertów. Ci mają niemal związane ręce (a nie musi tak być – o czym piszę w ostatnim akapicie).
Zdałam sobie sprawę, że dominacja kryteriów „para-formalnych”, a potem osobliwy proces „przeskalowywania” prowadzą do efektu „spłaszczenia oceny”. W efekcie, ocena istoty rzeczy (wpływu społecznego badań) ma stosunkowo małe przełożenie na końcowy wynik (50%, jak wykażę dalej).
Post-punktoza: it’s not as cool as it sounds
W ewaluacji w 2021 r. opisy były oceniane pod kątem znaczenia i zasięgu – każdy z tych wymiarów miał równą wagę 50%. W bieżącej ewaluacji kryteria pozostały te same. Ale łączna pula została rozdzielona pomiędzy szczegółowe pytania, za które przysługuje określona liczba punktów.
Sęk w tym, że pytania te w większości nie odnoszą się w ogóle do oceny merytorycznej samego wpływu. Stanowią raczej rodzaj rozbuchanej oceny formalnej. Teoretycznie wiedziałam to już po lekturze Przewodnika. Ale dopiero wykonanie ćwiczenia uświadomiło mi jak powolną, nużącą i nieinspirującą pracą jest oceniane opisów wpływu według tych punktów.
Czy właśnie tym powinny zajmować się najtęższe umysły polskiej nauki? Czy ten żywy i fascynujący obszar akademickiej działalności (współpraca z otoczeniem! zmienianie świata na lepsze!) trzeba było koniecznie wtłoczyć w tak sztywny gorset?
Wszyscy jesteśmy ekpsert(k)ami
To was nie zraża i chcecie wczuć się w rolę eksperta oceniającego wniosek? Przejdźmy razem przez formularz KEN (str. 25) oceniając wymyślony opis wpływu. Załóżmy, że jest to opis złożony przez Centralny Uniwersytet. Dotyczy on opracowania i wprowadzenia do produkcji, we współpracy z producentem, ulepszonych nakrętek do lakierów do paznokci. Zacznę od moich uwag do każdego punktu, a poniżej pokażę, jak mogłaby wyglądać przykładowa ocena.
Tytuł opisu wpływu: Lżejsze, bardziej ekologiczne zakrętki lakierów do paznokci i trwalszy lakier – rewolucja w salonach kosmetycznych
Ocena ZNACZENIA wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki
W jakim stopniu działalność naukowa przyczyniła się do zaistnienia wpływu społecznego? (max 15 pkt)
Działalność naukowa była niezbędna do zaistnienia wpływu społecznego (15)
Działalność naukowa była w dużym stopniu konieczna do zaistnienia wpływu społecznego (10)
Działalność naukowa tylko w nieznacznym stopniu przyczyniła się do zaistnienia wpływu społecznego (5)
Działalność naukowa nie jest powiązana z przedstawionym opisem wpływu społecznego (0)
Komentarz do podpunktu 1.1
Zastanawia mnie, czemu to pytanie jest elementem oceny znaczenia wpływu? Czemu nie zasięgu?
Według mnie, jest to zagadnienie z porządku oceny formalnej. Powinno być raczej warunkiem wstępnym oceny (czy działalność naukowa była niezbędna do zaistnienia wpływu – TAK/NIE).
W praktyce, w 100% opisów, które oceniałam, przyznałam maksymalną pulę punktów. Nigdzie nie miałam wątpliwości czy opisany wpływ jest związany z badaniami. Nic dziwnego – w końcu to naukowcy opisują wpływ społeczny SWOICH badań. Liczba opisów wpływu, w których tego aspektu nie da się ocenić na binarnej skali TAK/NIE, jest moim zdaniem minimalna. Po co nam więc specjalna skala do oceny związku badań z wpływem?
I cóż by to miało znaczyć, że działalność naukowa była w dużym stopniu konieczna (10 pkt), ale nie niezbędna (15 pkt)?!
Ocena w podpunkcie:
Punkty
Uwagi
15
Centralny Uniwersytet sam przeprowadził badania, był jedyną jednostką zaangażowaną w proces opracowania innowacyjnych zakrętek do lakieru.
Czy ewaluowany podmiot był (max 15 pkt):
Kluczową jednostką w tej działalności naukowej (15)
Jednostką pomocniczą (5)
Jednostką marginalną (0)
Komentarz do podpunktu 1.2
Znów, to pytanie 1) nie ma związku z zasięgiem wpływu, 2) ma charakter formalny, 3) powinno być oceniane na skali binarnej TAK/NIE.
Wykorzystanie skali mogłoby mieć sens w przypadkach, gdzie deklarowany wpływ powstał na podstawie badań prowadzonych przez konsorcjum. Wówczas zadaniem ekspertów byłoby ocenić, czyj wkład w badania był ważniejszy. A w konsekwencji – kto jest „właścicielem” wpływu. W praktyce, każda jednostka składająca opis wpływu będzie przedstawiać własną rolę jako kluczową. Wątpię natomiast, by eksperci mieli czas i narzędzia, by śledzić przypadki, w których złożono opisy dotyczące tych samych badań przeprowadzonych przez różne jednostki. A potem rozstrzygać, kto miał większy wpływ… Są to nieliczne, by nie powiedzieć, hipotetyczne przypadki. W REF w UK istnieją dość szczegółowe wytyczne co do tego „czyj” jest wpływ (np. w przypadku badań konsorcjum, zmiany ośrodka przez naukowca), a zatem kto ma prawo złożyć opis.
W 100% opisów, które oceniałam, przyznałam tu maksymalną liczbę punktów.
Ocenianie tego aspektu na skali jest dlatego w mojej ocenie nadmiarowe.
Ocena w podpunkcie:
15
Centralny Uniwersytet był jedyną instytucją badawczą zaangażowaną w opisane działania.
3. W jakim stopniu dowody wpływu społecznego potwierdzają jegodeklarowane znaczenie? (max 20 pkt)
Wymagany co najmniej jeden dowód, nie więcej niż 5, łączna punktacja za wszystkie dowody – 0-20 pkt.
Komentarz do podpunktu 1.3
Pytanie sformułowano tak, że dotyczy tego, na ile zgodna jest treść opisu wpływu z załączonymi dowodami. A więc w zasadzie nie ma znaczenia, co konkretnie jest treścią zdania, które podlega logicznemu testowi. Załóżmy, że w naszym opisie napisano, że znaczenie wpływu polega na tym, że lakiery mają wesołe kolory, które poprawiają klientkom nastrój. Jeśli załączona ankieta przeprowadzona wśród użytkowniczek by to potwierdzała, w tym punkcie przysługiwałaby maksymalna ocena. Bo dowody potwierdzałyby deklarowane znaczenie (choćby było ono samo w sobie trywialne).
To kolejne pole, w którym prawie zawsze przyznaję 100% punktów. Autorzy, co logiczne, przedstawiają w opisach stwierdzenia, które znajdują potwierdzenie w załączonych plikach. Czasem zdarza się, że pojedynczy dokument trzeba odrzucić, gdyż np. nie wpisuje się w wymagany okres. Wówczas obniżam ocenę o 5 pkt. Niekiedy też nie wszystkie stwierdzenia o znaczeniu mają potwierdzenie w dowodach. Przykładowo, autorzy deklarują znaczenie polegające na wzroście obrotów firmy oraz poziomu motywacji jej pracowników. Ale w dowodach nie ma mowy o tej drugiej kwestii. W takim wypadku również obniżam punkty.
Jest to jednak kolejny element, w którym wykwalifikowany ekspert sprowadzany jest do roli detektywa weryfikującego, czy stwierdzenia z opisu pokrywają się 1:1 z tymi z dowodów. W większości przypadków ocena wypada pozytywnie.
Kolejny wątek to odziedziczony z poprzedniej ewaluacji koncept dowodów „samoistnych”. Przewodnik precyzuje: „dowody, które powstały samoistnie lub niezależnie od ocenianej jednostki będą ocenione wyżej niż dowody powstałe z inicjatywy podmiotu ewaluowanego”.
Z moich obserwacji wynika, że przeważająca większość załączanych dowodów to dokumenty uzyskane od współpracujących firm czy organizacji. Do rzadkości należą dowody “prawdziwie samoistne” jak niezależne raporty, dane w publicznych bazach, czy nawet wpisy dziękczynne w mediach społecznościowych. Po prostu rzadko się zdarza, że ktoś niezależnie od nas monitoruje i skrupulatnie dokumentuje wpływ naszych badań. Lub że firma sama z siebie dzieli się wdzięcznością wobec wspierających ją naukowców. Prawdziwe dowody samoistne są więc jednorożcami. Jeśli przyjmiemy taką restrykcyjną interpretację, mało kto uzyska w tym polu maksymalną liczbę punktów.
Z kolei przyglądając się zaświadczeniom od współpracujących podmiotów, nie jesteśmy w stanie ocenić, które z nich były przez te podmioty wystawione z własnej nieprzymuszonej woli, a które zostały „wyżebrane” (jak to obrazowo określiła pewna badaczka).
W związku z tym, ja ignorowałam rozróżnienie między samoistnymi i niesamoistnymi dowodami.
Ocena w podpunkcie:
15
Znaczenie wpływu opisano w pliku jako wprowadzenie nowego produktu do sprzedaży. Zwiększyło to konkurencyjność firmy, podniosło obroty, a także miało pozytywne skutki ekologiczne. Jednym z dowodów jest zaświadczenie wystawione przez prezesa firmy potwierdzające dwie pierwsze informacje. Drugim, ekspertyza instytutu zajmującego się ekologicznymi kosmetykami. Potwierdza ona, że nowe zakrętki są lżejsze, dzięki czemu ich transport generuje mniej CO2. Wreszcie, zaświadczenie wystawione przez sieć salonów kosmetycznych potwierdza, że lakiery są o 20% trwalsze, co ogranicza marnowanie produktu. W związku z tym, można uznać, że dowody w pełni potwierdzają stwierdzenia dotyczące znaczenia wpływu.
4. Podsumowanie. Proszę wskazać, czy na podstawie powyższych informacji(pkt 1-3) znaczenie opisanego wpływu na społeczeństwo i gospodarkę można uznać za… (max 50 pkt)
Przełomowe (50)
Istotne (25)
Ograniczone (10)
Znikome (0)
Komentarz do podpunktu 1.4
Dochodzimy (wreszcie) do właściwej oceny jakościowej znaczenia wpływu.
Wyzwaniem dla ekspertów jest fakt, że nie określono, na jakiej skali oceniać znaczenie. Czy powinniśmy ocenić znaczenie wpływu w kontekście innych badań z tej samej dyscypliny, z tej samej uczelni? Czy, na przykładzie ocenianego opisu, interesuje nas znaczenie wpływu dla producentów lakieru do paznokci, branży kosmetycznej czy gospodarki in largo?
Co właściwie uważamy za wpływ? Jak ocenić jego wagę? Jakiego wpływu można oczekiwać w konkretnych dyscyplinach? Takie merytoryczne pytania powinny być według mnie tematem szerszej dyskusji, nie tylko między ekspertami oceniającymi opisy, ale w całym środowisku akademickim.
W praktyce, większość opisów, które oceniałam, otrzymało tu ocenę 10 lub 25. Większość opisów dotyczy zagadnień na tyle wąskich, że trudno mówić o „przełomie”. Pamiętajmy też, że ocena ma miejsce co 4 lata (od nowej rundy ewaluacji co 5). Zatem liczba „przełomów”, które mogą się wydarzyć w tym okresie, jest siłą rzeczy ograniczona.
25
Dowód wskazuje, że producent lakierów ocenia znaczenie wpływu jako istotne. Trudno mówić o wpływie przełomowym. Nie mamy tu do czynienia z całkowitą zmianą paradygmatu produkcji, a raczej z usprawnieniem i ulepszeniem istniejącego produktu.
Podsumowanie wymiaru znaczenia
Oceniany opis w wymiarze znaczenia otrzymał 15+15+15+25 = 70 punktów (na skali KEN):
Pamiętajmy, że teraz musimy ten wynik „przeskalować”. Dzielimy wynik przez 2 (70/2= 35) i sprawdzamy, gdzie plasuje się w tabeli (poniżej).
Widełki są na tyle szerokie, że przy spełnieniu większości formalnych wymagań, opis ma największą szansę otrzymać ocenę 25 pkt (znaczenie istotne). Przez proces przeskalowania „spłaszczamy” ocenę. Końcową ocenę 25 pkt (skala MNISW) otrzymają zarówno opisy, które uzyskały 25 jak i 37 pkt w ocenie (skala KEN).
Co więcej, może się zdarzyć (jak w jednym ze scenariuszy powyżej), że w ocenie merytorycznej ekspertów znaczenie jest „ograniczone”, a po „przeskalowaniu” i tak wyjdzie „istotne” (ocenę podwyższają spełnione „punkty formalne” 1-3).
2. Ocena ZASIĘGU wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki
Przejdźmy do zasięgu. Tu mamy tylko dwa pytania „pomocnicze”.
W jakim stopniu dowody wpływu społecznego potwierdzają jego deklarowany zasięg? (max 30 pkt)
Wymagany co najmniej jeden dowód, nie więcej niż 5, łączna punktacja za wszystkie dowody – 0-30 pkt. Przyznanie 0 pkt spowoduje narzucenie przez system SEDN „marginalnego” zasięgu wpływu, czyli 0 pkt w części II formularza.
Komentarz do podpunktu 2.1.
Nie ufaj, sprawdzaj 😉
Zwróćmy uwagę, że w tym punkcie dowody oceniane są po raz wtóry (wcześniej w pyt. 1. w kryterium znaczenia).
Raz jeszcze ekspert musi wcielić się w detektywa i prześwietlić opisu wpływu, weryfikując czy (i w jakiej mierze!) zawarte w nim twierdzenia są zgodne z dowodami. Tu też, w każdym ocenianym przeze mnie przypadku, przyznałam 100% punktów. Opis zazwyczaj klarownie (i zgodnie z załączonymi dowodami) przedstawia, w jakich regionach czy krajach była podjęta interwencja.
Przewodnik KEN precyzuje „Niska wiarygodność dowodów obniża wiarygodność osiągniętego wpływu społecznego” (str. 13). Trudno mi jednak wyobrazić sobie, na czym miałaby polegać niska wiarygodność dowodów! Zazwyczaj są to np. zaświadczenia wystawione przez firmy i organizacje – w jakiej sytuacji ekspert podważyłby wiarygodność takiego dokumentu? Czy chodzi o to, że dokument jest podrobiony? Czy może o to, że wystawca jest osobą mało wiarygodną? Czy istnieje jakaś hierarchia instytucji i osób, którym z zasady ufamy i innych, w których prawdomówność wątpimy?
W zasadzie nie spotkałam się z przypadkiem dowodu, który uznałabym za niewiarygodny. No dobrze, był jeden przypadek zaświadczenia, które badacz wystawił sam sobie (działając jako własna firma), ale to naprawdę rodzynek! Nie widziałabym podstaw do podważenia wiarygodności dowodów będących wpisami czy komentarzami w mediach społecznościowych. Ważne, że potwierdzają one korzyści odniesione przez beneficjentów.
W przewodniku nie określono, na czym polegają dowody wiarygodne, a na czym niewiarygodne. Wyobrażam sobie więc, że obniżenie oceny z powodu mało wiarygodnego dowodu będzie dla jednostki mocną podstawą do odwołania.
Z mojej perspektywy ten punkt można by zespolić z punktem 3 w ramach elementu zasięgu. Być może mogłoby to być kryterium formalne na zasadzie: TAK/ CZĘŚCIOWO/ NIE.
Ocena w podpunkcie:
30
W opisie stwierdzono, że beneficjentem wpływu jest producent lakierów (większe obroty, zwiększona przewaga konkurencyjna). Sa nim także właściciele salonów kosmetycznych (większa trwałość produktu). Producent i sieć salonów działają na rynku ogólnopolskim. Istnieją też korzyści środowiskowe. Dowody (vide opis powyżej) potwierdzają te stwierdzenia.
Jaki zasięg można przypisać do opisanego wpływu na podstawie załączonych dowodów?
Międzynarodowy (70)
Krajowy (50)
Regionalny (30)
Lokalny (15)
Marginalny (0)
Komentarz do podpunktu 2.2.
Choć w formularzu w „Przewodniku” przedstawiona jest skala geograficzna, funkcjonuje jeszcze druga. Dotyczy ona „stopnia, w którym dane zjawisko jest objęte wpływem”. Ta skala to: 1. Całkowity (70), 2. Znaczny (50), 3. Częściowy (30), 4. Ograniczony (15), 5. Marginalny (0). Eksperci będą sami wybierali odpowiednią skalę. Zwróćmy uwagę, że o ile ta druga skala jest jakościowa, to skala geograficzna daje ekspertom znikomą swobodę.
W toku mojego ćwiczenia zauważyłam, że zazwyczaj łatwiej wypaść dobrze na skali geograficznej. Wyobraźmy sobie, że z ulepszonych lakierów skorzystały też salony w innym kraju, choćby w jednej przygranicznej miejscowości. Wówczas już można by mówić o zasięgu międzynarodowym. Choć byłaby to specyficzna “lokalna” międzynarodowość. Znacznie trudniej wykazać objęcie wpływem całości zjawiska (całego rynku lakierów, wszystkich salonów kosmetycznych?).
Ocena w podpunkcie:
50
Lakiery dystrybuowane są w całej Polsce, jedno z zaświadczeń mówi o korzyściach odniesionych przez właścicieli ogólnopolskiej sieci salonów kosmetycznych.
Podsumowanie wymiaru zasięgu
Opis otrzymał 30+50 = 80 punktów (na skali KEN).
Żeby „przeskalować”, dzielimy sumę przez 2 (80/2=40) i sprawdzamy, gdzie wynik plasuje się w tabeli .
Czy deklarowana interdyscyplinarność miała miejsce i czy była kluczowa dla powstania wpływu?
Tak/Nie (+ 20% punktów przy ocenie TAK)
Komentarz do podpunktu:
I mój faworyt: interdyscyplinarność. Nigdy nie rozumiałam, czemu wpływ społeczny wynikający z interdyscyplinarnych badań miałby być bardziej wartościowy? Wyobraźmy sobie, że korzystamy z nowej technologii, połykamy pigułkę, bierzemy udział w festiwalu literackim. Czy zadajemy sobie wówczas pytanie, czy badacze, którzy to umożliwili, współpracowali z przedstawicielami innych dyscyplin?
Ministerstwo zdaje się podzielać te wątpliwości. Poinformowano, że interdyscyplinarność nie będzie już oceniania w ramach 3. kryterium.
Na dziś oceniam, że 99% opisów wpływu zawiera (fakultatywny) opis interdyscyplinarności. To jasne: każdy chce być interdyscyplinarny, by móc uzyskać premię 20%. I w większości przypadków istotnie da się badania przedstawić tak, by trudno było odrzucić twierdzenie o interdyscyplinarności. Spodziewam się, że w efekcie większość autorów, którzy fachowo przygotują opisy, otrzyma premię 20%. I niewykluczone, że to „dodatkowe” kryterium, już na wylocie, okaże się najbardziej różnicującym czynnikiem w skądinąd „płaskiej” ocenie.
Ocena w podpunkcie:
+ 20% (13 pkt)
Przedstawiciele inżynierii materiałowej współpracowali przy opracowaniu innowacyjnych zakrętek z chemikami. Korzystano z metod i narzędzi obu dyscyplin, przekonująco wykazano, że współpraca ta była kluczowa do powstania wpływu.
Podsumowanie dwóch wymiarów + interdyscyplinarność SUMA PUNKTÓW (skala MNISW) (Wymiar 1 + Wymiar 2) X 1,2 =
(25+ 40) x 1,2 = 78
1/2 wolności
Podsumowując, na 6 „pytań pomocniczych”, którymi mają kierować się eksperci, 4 mają w zasadzie charakter oceny formalnej. Merytoryczne kryteria to jedynie 1.4 i 2.2 (chociaż to drugie należałoby liczyć w połowie – jedna z dwóch skal). Jeśli jednak policzymy w całości, wyjdzie nam, że kryteria merytoryczne odpowiadają za 50+70 = 120 pkt. Przy suficie 240 punktów (skala KEN, z uwzględnieniem interdyscyplinarności) wychodzi, że kryteria merytoryczne odpowiadają za 50% oceny (120/240). A 1/2 to aspekty formalne i poboczne.
Ekspertom pozostaje 1/2 swobody by ocenić, czy dana interwencja rzeczywiście miała wpływ na otaczającą rzeczywistość. I czy aby był on pozytywny! Polskie podejście do oceny wpływu społecznego może służyć jako koronny przykład „fiksacji parametrycznej”.
Ale co zamiast parametryzacji?!
Czy istnieje alternatywa?
Często tak mocno tkwimy w naszej kulturze akademickiej i paradygmacie ewaluacyjnym, że trudno nam sobie wyobrazić ocenę bez wskaźników, parametrów, widełek punktowych, wielostronicowych wskazówek dla ekspertów…
Co ciekawe, w brytyjskim REF wpływ społeczny jest oceniany również w wymiarach zasięgu i znaczenia. Nie ma jednak ani podziału 50/50 na te dwa wymiary, ani dodatkowych pytań prowadzących ekspertów za rękę. Jest zaufanie. Do autorów: że nie będą przypisywać sobie wpływu cudzych badań i załączać całkiem niewiarygodnych dowodów. Do ekspertów: że nieraz już pełnili rolę recenzentów, więc będą wiedzieć co robić.
Ale czy w polskiej kulturze ewaluacyjnej jest przestrzeń na takie podejście?
Nie jestem przekonana.
Red. Bartosz Hamarowski
W moim sklepiku Naffy dostępny jest formularz opisu wpływu (doc), formularz oceny excel z automatycznymi formułami (wkrótce) oraz poradnik „Jak napisać opis wpływu„.
Obecna wersja poradnika „Jak napisać opis wpływu społecznego” jest trzecim wydaniem. Ukazuje się osiem miesięcy po wydaniu drugim, w odpowiedzi na pojawienie się dwóch dokumentów: zaktualizowanego Rozporządzenia ws. ewaluacji jakości działalności naukowej oraz Przewodnika “Przygotowanie i ocena opisów wpływu…” Komisji Ewaluacji Nauki.
Poradnik dostępny jest na platformie Naffy oraz w sprzedaży bezpośredniej (kontakt małpa martawroblewska.pl) w czterech typach licencji. Indywidualna, dla małej, średniej i dużej jednostki. Szczegóły cen na platformie Naffy. Wystawiam FV.
Uwaga! Aktualizacja dla jednostek, które kupiły poprzednie wydanie w cenie 5-10% wartości nowej edycji. Vide mailing z promocją lub proszę o kontakt.
Ważniejsze zmiany, które wprowadza bieżące wydanie:
• uzgodnienie rozumienia “zasięgu” wpływu z aktualnymi regulacjami,🗺️
• aktualizacja treści Rozporządzenia zgodnie z wersją z 2025 r., 📚
• aktualny formularz oceny z komentarzami, 💬
• dodany rozdział “Jak są oceniane opisy wpływu” 👨🔬👩
• więcej informacji o dobrych dowodach
• więcej informacji o SMOK-u 🐉
• dłuższa i bardziej przejrzysta checklista dla autorów opisów wpływu 📋.
Szczególnie przydatne dla autorów opisów wpływu do nadchodzącej ewaluacji. mogą być Checklista (str. 137) i Formularz oceny (str. 146).
Powoli wyłania się kształt regulacji dotyczących ewaluacji wpływu społecznego po 2025r.
Na razie wiemy tyle, ile Ministra Karolina Zioło-Pużuk zdradziła na spotkaniu online zorganizowanym 29.07.25 przez Ministerstwo (niestety nienagrywanym) i w wywiadzie dla Gazety Wyborczej z 16.08.25.
Poniżej skrót najważniejszych zapowiedzianych zmian i moje komentarze.
Wzrost wagi kryterium (o 5 %)
To oznacza wzrost z 20 do 25% dla nauk ścisłych i humanistycznych oraz z 15 do 20% dla nauk inżynieryjnych. Dwadzieścia pięć procent to waga tego kryterium w brytyjskim REF. Mogłoby tak być i u nas, gdyby tylko w ewaluacji panował porządek.
Co mam na myśli?
Gdyby kryteria i sposób oceny były znane od początku okresu ewaluacji i nie ulegały większym zmianom w jej toku.
Gdybyśmy zbudowali wspólne rozumienie wpływu społecznego (na razie wciąż mylonego z popularyzacją, o czym dalej) i jego wymiarów.
Gdybyśmy stworzyli model oceny eksperckiej, któremu możemy zaufać.
Gdyby w instytucjach istniała wiedza, kompetencje i narzędzia pozwalające tworzyć i śledzić wpływ przez cały okres ewaluacji, a nie składać opisy naprędce na ostatniej prostej.
Wymaganych więcej opisów wpływu
Poniżej tabelka pokazująca jak ma wzrosnąć liczba wymaganych opisów wpływu w zależności od pracowników naukowych jednostki (liczba n).
Moim zdaniem, zwiększenie jest niepotrzebne. Jednostki ledwo radzą sobie z przygotowaniem dwóch opisów (a właśnie taka liczba dotyczy większości z nich). W moim Banku rekomendacji postulowałam obniżenie wymagań dla jednostek liczących do 50 pracowników do 1.
To prawda, że w REF obowiązuje reguła jednego opisu na 10 pracowników, ale – vide powyższa uwaga o porządku.
Mniej wymaganych dowodów wpływu
3 zamiast 5 – myślę, że to niewiele zmieni. Podczas spotkania z Ministrą jeden z uczestników zwrócił uwagę, że to za mało miejsca, gdy wpływ jest dobrze udokumentowany. Teoretycznie obecna zasada jest prosta: 1 dowód = 1 plik. Ale czymże właściwie jest dowód? Czy dwa zaświadczenia z jednej instytucji można połączyć w jeden plik? A dwa podobne zaświadczenia (np. o organizacji warsztatów) z dwóch instytucji? A co z dowodami, które liczą po kilkadziesiąt lub nawet ponad 100 stron (raporty etc.)? Trudno je porównywać z jednostronicowymi zaświadczeniami. Myślę, że w tym zakresie należałoby ustalić jakieś sensowne „widełki”.
Brak premii za interdyscyplinarność
Super, lobbowałam za tym w moim Banku rekomendacji. Co nie znaczy, że interdyscyplinarność nie jest ważna – po prostu ta cecha badań słabo łączy się z wpływem społecznym.
Nie tylko wpływ działalności naukowej, ale też popularyzacja nauki?
Po spotkaniu online z Ministrą w eter poszła informacja, że w trzecim kryterium, obok wpływu społecznego, oceniana będzie również popularyzacja. A więc ewaluowana byłaby nie tylko pozytywna zmiana powiązana z badaniami, lecz także sam fakt popularyzowania ich wyników. Wystąpienia w telewizji, prowadzenie popularnych blogów czy nieszczęsne (bo szybko podchwycone i bezlitośnie wyśmiewane) akademickie tik-toki.
Cytując Ministrę (za Forum Akademickim, tu i poniżej), uwzględniane miały być:
innowacje społeczne, ekspertyzy dla instytucji centralnych i samorządowych, liczące się nagrody za badania i popularyzację, organizacja konferencji międzynarodowych, recenzowanie grantów European Research Council, prowadzenie znaczących czasopism, udział w pracach międzynarodowych grup badawczych. Punkty będzie też można zdobyć za transfer nauki do dydaktyki, a więc osiągnięcia naukowe studentów i kół naukowych czy tworzenie podręczników (…)
Co za tym idzie, szersza byłaby też pula dowodów:
raporty dotyczące projektów czy działań o charakterze popularyzatorskim, dokumenty potwierdzające osiągnięcia dydaktyczne związane z transferem osiągnięć naukowych do dydaktyki, obecność w mediach, zaświadczenia od podmiotów z otoczenia społeczno-gospodarczego.
Ta lista częściowo obejmowała działania, które już teraz można zgłaszać do ewaluacji (innowacje społeczne, ekspertyzy dla instytucji centralnych i samorządowych). Częściowo zawiera elementy, które można uznać raczej za dowody owego wpływu (nagrody za badania i popularyzację). Częściowo zaś wskazuje działania, które są ewidentnie nastawione na wpływ wewnątrz akademii (organizacja konferencji międzynarodowych, recenzowanie grantów European Research Council, prowadzenie znaczących czasopism, udział w pracach międzynarodowych grup badawczych).
W mieszaniu wpływu i popularyzacji widzę spore ryzyko. Popularyzacja, która istotnie ma pozytywne, udokumentowane efekty już teraz może być zgłaszana jako przykład wpływu społecznego. Natomiast sama popularyzacja, nieprzekładająca się na zmiany w wiedzy, świadomości czy postawach, bywa „sztuką dla sztuki”, przekonywaniem już przekonanych albo karmieniem własnego narcyzmu.
Popularyzacja i wpływ jednak oddzielne
Z radością przeczytałam więc w niedawnym wywiadzie, że Ministra wycofała się z tego pomysłu:
Początkowo byłam bardzo przywiązana do pomysłu, żeby w trzecim kryterium, które mówi o społecznym wpływie badań, elementem dominującym była popularyzacja. I zrezygnowałam z tego. Zrozumiałam, że to dwa odrębne porządki.
A więc temat dowartościowania popularyzacji na razie spadł z agendy. Niewykluczone jednak, że „wrzutkę” w postaci zrównania wpływu społecznego z akademickimi tik-tokami przyjdzie nam jeszcze długo odkręcać. Kolejne zadanie w ramach budowania „polskiej szkoły ewaluacji wpływu społecznego”.
Oto szybki podgląd danych z obecnie prowadzonych w ramach projektu NCN OPUS badań dotyczących wsparcia oferowanego przez brytyjskie uczelnie w obszarze tworzenia i dokumentowania wpływu społecznego.
Czy widziałyście ogłoszenie o publikacji Przewodnika KEN ws. przygotowania do ewaluacji tzw. trzeciego kryterium? Ja też nie! A jednak już jest! I znowu jest o czym pisać.
Tu możecie pobrać Przewodnik z mojej strony. Tu jest link do pliku na stronie MNISW (uwaga! po kliknięciu od razu ściąga się dokument). Tu publikacja na stronie UKSW (z podglądem). Zamieszczam trzy linki, bo plik nie ma nigdzie własnej strony w domenach gov. (vide poniżej).
Przewodnik potrzebny od zaraz
Chciałam o tym Przewodniku napisać dobrze. Jak najszybsza publikacja Przewodnika była wysoko na mojej liście rekomendacji ws. ewaluacji wpływu społecznego z 20.03.2025. Liczyłam, że dokument rozwieje niektóre wątpliwości interpretacyjne, wypełni luki.
Ewaluacja wpływu to mój konik, więc na lekturę Przewodnika cieszyłam się jak na nowy album ulubionego artysty. Pierwsze akordy były w porządku, ale z czasem zaczęły pojawiać się zgrzyty, aż wreszcie całość zlała się w rozczarowującą kakofonię.
O wszystkich punktach, złych i dobrych, piszę szczegółowo poniżej.
Lektura tego dokumentu zachwiała moją wiarą w sens nadchodzącej ewaluacji wpływu. Słabe strony dokumentu oraz jego wewnętrze niespójności są liczne i mogą położyć się cieniem na całej koncepcji wpływu społecznego w polskiej ewaluacji nauki. Byłaby to szkoda, gdyż Ministerstwo ogłosiło, że dowartościowanie trzeciego kryterium jest wśród głównych kierunków właśnie opracowywanej „nowej” ewaluacji (2026-2031). Pojawiają się nawet głosy, że wpływ społeczny ma odpowiadać za 1/3 oceny jednostki.
Ale sama modyfikacja kryteriów ewaluacji przyniesie jedynie powierzchowne efekty bez zmiany kulturowej (więcej w moim artykule w Research Evaluation). Nie wierzę, żeby wpływ społeczny w rozumieniu przedstawionym w Przewodniku, niespójnym i nadmiernie sformalizowanym, mógł być zaakceptowany przez polską wspólnotę akademicką.
Ale po kolei.
Pozytywy Podręcznika
Definicja wpływu
Mamy to! Wreszcie w dokumentacji wpływ został zdefiniowany wprost. Trudno ewaluować coś, co do czego nie ma zgody, czym jest. A sprawa nie zawsze jest oczywista – nagminnie myli się wpływ społeczny z pokrewnymi, ale nie równoważnymi pojęciami popularyzacji nauki, komercjalizacji, współpracy z biznesem etc.
Definicja z Przewodnika jest w mojej ocenie odpowiednio szeroka i zwraca uwagę na kluczowy aspekt zaistnienia KORZYSTNEJ ZMIANY. To jest wyróżnik wpływu społecznego – chodzi nie o proces czy zamiar wprowadzenia zmiany, ale jej realne zaistnienie. Wydaje się jednak, że autorzy Przewodnika sami nie używają pojęcia wpływu w tym rozumieniu spójnie w całym dokumencie (vide pkt. wypaczone rozumienie „znaczenia” wpływu).
Odejście od geograficznego rozumienia zasięgu wpływu
W ewaluacji w 2022 r. zasięg wpływu społecznego był ujmowany stricte geograficznie, a w dodatku aby osiągnąć maksymalną ocenę należało wykazać „międzynarodowy” zasięg. Obecnie przyjęte rozumienie: geograficzne bądź odnoszące się do kompletności oddziaływania, jest szersze i bardziej adekwatne do oceny różnorodnych typów wpływu.
Bardziej realistyczna lista dowodów na wpływ
Przewodnik z 2021 r. zawierał zdawkową informację, że dowody wpływu mają mieć „w szczególności formę raportów, publikacji naukowych i cytowań w innych dokumentach lub publikacjach”. Po przeczytaniu kilkaset już opisów wpływu mogę stwierdzić, że dowody tego typu są wyjątkowo rzadkie. Obecny katalog dowodów (Przewodnik…, 2025, str 12-13) jest zdecydowanie bardziej otwarty i realistyczny.
Niedociągnięcia Podręcznika
„Pokątny” tryb publikacji dokumentu
O tym, że Przewodnik już jest w sieci dowiedziałam się z „branżowej” rozmowy. Nie z odpowiedniej podstrony KEN lub MNISW, bo takiej nie ma. Google znajduje stronę MEIN z Podręcznikiem z 2021 r. Nowy Przewodnik można ściągnąć, ale jedynie jako bezpośredni link, prosto z wyszukiwarki. Zaciągnęły go też niektóre uczelnie. Najstarszy link jaki znalazłam jest z 3 kwietnia 2025.
Jedna rzecz to publikacja bez odpowiedniej „oprawy” – jakiegoś komunikatu MNISW czy KEN. Druga – kolejność. Czy nie powinniśmy jednak wpierw mieć nowego Rozporządzenia? W jaki sposób jest „umocowany” prawnie Podręcznik?
Niedopracowany kształt dokumentu (zły UX)
Przewodnik dla autorów dokumentu, który ma mieć cztery strony długości ma… czterdzieści dwie strony. Tekst obfituje w niepotrzebne powtórzenia tej samej treści. W pewnym miejscu pojawia się ramka:
Czy zamiast dodawać taką ramkę, nie można było po prostu zaprezentować informacji w tej samej kolejności, co w systemie? Nie będę pastwić się nad schematami na ostatnich stronach, gdzie ta sama treść powtórzona jest z zasady dwa razy. Jeszcze dziwniejsza jest skala oceny opisu wpływu pod kątem zasięgu, gdzie najpierw eksperci przyznają 100 punktów, a następnie te są dzielone („przeskalowywane”), żeby uzyskać sumę 50 pkt. Zdaje się, że można było po prostu użyć skali 1-50 (str. 25-26)? Myślę, że sprawny redaktor wychwyciłby te rzeczy i znacząco zredukował i uprościł tekst. Że redaktora nie było, świadczą niespójności typograficzne (np. w pisowni mojego ulubionego odtąd rzeczownika „podmioto-dyscyplina”).
Ostatnie 13 stron Przewodnika to karty z przykładami opisów wpływu (a raczej ich synopsisów) dla różnych dyscyplin. Rozumiem intencję autorów, którzy chcieli rozwiać wątpliwości autorów, jak wygląda „dobry” opis wpływu. Ja sama lobbowałam za tym, żeby opublikować oceny opisów wpływu z poprzedniej ewaluacji, choćby w zbiorczej formie, dla całych dyscyplin. To pozwoliłoby uzyskać jakieś pojęcie o tym, jak wygląda przekonujący opis wpływu. Co innego jednak realny, wysoko oceniony przez ekspertów, przypadek, co innego „wizja” autorów Przewodnika.
W moim odczuciu przedstawione „kejsy” są mało realistyczne. Poczynając od pierwszego „koronnego” opisu wpływu dotyczącego diagnostyki raka, przez liczne przykłady opisów wpływu mających zastosowanie w całych sektorach na całym świecie, po opis platformy do nauki języka polskiego, która w niewiadomy sposób ostatecznie skutkuje lepszą integracją cudzoziemców z polskim społeczeństwem. Wisienką na torcie jest przykład wystawy historycznej, która budowała na interdyscyplinarności, bo… wykorzystano do jej przygotowania AI (każdy kto generował „historyczne” ilustracje przez AI wie, ile efekty mają wspólnego z wiernością historyczną i naukowością).
Wpływ „wyjątkowy” zamiast „normalnego”?
Podane przykłady przysparzają w mojej ocenie więcej szkody niż korzyści. Przedstawiają wyjątkowe, wybitne osiągnięcia (takie jak „rozwiązania… stosowane w praktyce klinicznej na całym świecie”) jako „typowy” przykład wpływu społecznego. Dla takiego rozumienia wpływu ukuto nawet w literaturze oddzielne określenie – „ekstraordinary impact”. Badacze ewaluacji argumentują, że tego rodzaju wpływ jest, no właśnie, wyjątkowy i nie powinno się go promować jako miary, którą powinniśmy się mierzyć wszyscy. Bo powiedzmy sobie szczerze, nie wszyscy wynajdziemy lekarstwo na raka.
Przeczytawszy kilkaset „prawdziwych” opisów wpływu z UK i Polski, mogę potwierdzić, że katalog przypadków wpływu z Podręcznika nie odzwierciedla charakteru większości raportowanych osiągnięć. Co więcej, problem nie leży w zbyt mało ambitnych osiągnięciach badaczy, a niedocenianiu precyzyjnych, nastawionych na konkretne wyzwanie interwencji.
Zdecydowanie wolę dokument, który realistycznie i szczerze przedstawia zaistniały wpływ, który wprawdzie nie uleczył raka ani nawet nie pomógł w „programowaniu … polityk z zakresu rynku pracy i systemu edukacji przez instytucje polskie i europejskie”, ale rozwiązał realny, lokalny problem. Promowanie „nadzwyczajnego” wpływu będzie skutkowało dalszym „pompowaniem” opisów wpływu, w których badacze będą na siłę przypisywać sobie wpływ na cały świat. Bo tego się od nich oczekuje, nawet jeśli pracują w małej, niedofinansowanej, prowincjonalnej jednostce.
Niby odchodzimy od „geograficznego” rozumienia zasięgu wpływu, ale ślad tej nieco megalomańskiej ambicji przebija przez wybór przypadków wpływu.
Hołdowanie logice punktozy
Kiedy doszłam do strony 25 Przewodnika, zamarłam. To było jak zły sen.
Wszyscy, od naukowców, przez administrację, po samo Ministerstwo zgodnie wołają „precz z punktozą! nie chcemy już punktozy!” (np. było to m.in. głównym hasłem ministra Wieczorka w stosunku do ewaluacji).
Co znajdujemy w Formularzu do oceny opisów wpływu w nowym Przewodniku? Zgadłeś, Czytelniku. Więcej punktozy.
Odrobina kontekstu, gwoli budowania grozy. W brytyjskim REF, który jest pierwowzorem polskiej ewaluacji wpływu, panel ekspercki otrzymuje opisy wpływu złożone w ramach dyscypliny, a w zamian zwraca liczbę od 0 do 4 gwiazdek (mogą być cząstkowe), która odzwierciedla jakość złożonych opisów. Ta liczba stanowi średnią z ocen opisów z danej dyscypliny. Nie upublicznia się ocen pojedynczych opisów. Nie rozbija tych ocen na mniejsze „podoceny”. Dokumenty explicite mówią, że dwa kryteria, zasięg i znaczenie (te same co u nas), oceniane są zbiorczo. Nie publikuje się uzasadnień.
W polskiej ewaluacji w 2021, zasięg i znaczenie odpowiadały za 50% końcowej oceny wpływu, zaś poszczególnym widełkom punktów przypisano ocenę opisową.
Już w 2022 polscy eksperci byli bardziej skrępowani regulacjami niż ich brytyjscy odpowiednicy. Autorzy Przewodnika z 2025 dodatkowo rozczłonkowali te podziały.
Ale to nie wszystko. Rozpisano też każdy punkcik wewnątrz owych pięćdziesięciu. Pokażę to poniżej. Ekspertom zalecono pisane uzasadnień ocen – w sumie dla każdego opisu powstaną trzy (dwie oddzielne i wspólna ekspertów).
Już po ewaluacji w 2022 r. opisowe uzasadnienia ocen opisów wpływu dotyczyły w dużej części spełnienia formalnych kryteriów (publikacje powstały we wskazanym okresie, autorzy są pracownikami jednostki etc.). Teraz zniknie jakakolwiek przestrzeń na refleksję merytoryczną (czy rzeczywiście badania i związane z nimi działania wpłynęły pozytywnie na świat pozaakademicki?), pozostanie rodzaj opisowej checklisty dotyczącej spełnienia formalnych wymogów.
NB. Trzy górne linijki w tekście na ilustracji to ignorowanie zasad prostej polszczyzny i ortografii (przypis naturalnie do niczego nie prowadzi).
Wypaczone rozumienie „znaczenia” wpływu
Wyobraźmy sobie, że jesteśmy ekspertami, którzy oceniają opis wpływu. Przyglądamy się wymiarowi znaczenia. Mamy do dyspozycji 50 pkt. Chcemy je precyzyjnie rozdysponować, więc stosujemy formularz z Przewodnika.
Załóżmy, że nasz opis wpływu dotyczy opracowania nowego typu zakrętki do lakieru paznokci (autentyczny przypadek grantu B+R). Jednostka badawcza sama przeprowadziła badania nad zakrętkami lakierów i opracowała innowacyjny nowy kształt, który opatentowała. W pytaniu 1 przyznajemy 15 pkt. Jednostka wskazała, że prowadziła badania nad zakrętkami lakierów do paznokci sama, nie ma wątpliwości co do jej kluczowej roli. W pytaniu 2 przyznajemy również 15 pkt . Jednostka dołączyła 5 dowodów, które potwierdzają, że 5 firm zakupiło patent i dzięki temu produkują tańsze zakrętki lakierów do paznokci, które jednocześnie przedłużają trwałość produktu. Dowody są czytelne, opatrzone datą i wystawione przez duże, znane przedsiębiorstwa. Nie powstały wprawdzie „samoistnie”, ale nie otwierajmy tej puszki Pandory. W pytaniu 3 przyznajemy więc 20 pkt. W ten oto sposób, przyznaliśmy opisowi wpływu dotyczącemu innowacyjnych zakrętek do lakierów do paznokci maksymalną ocenę – 50 pkt. Wpływ innowacyjnych zakrętek do lakierów ma zatem przełomowe znaczenie.
Żadne z powyższych pytań nie odnosi się do istoty rzeczy, czyli pytania o ZNACZENIE tego wpływu (przypomnijmy, że taka jest nazwa tego „wymiaru” oceny). Nie ma tu miejsca na refleksję czy w wyniku tego działania powstała „korzystna zmiana w społeczeństwie i gospodarce”? I czy jest to zmiana, którą określilibyśmy jako „przełomową”?
W tym czasie, kolega przy biurku obok ocenia opis wpływu dotyczący przysłowiowego leku na raka. Niestety, uznał, że działalność naukowa nie była niezbędna, a jedynie „w dużym stopniu konieczna”, więc opis stracił 5 punktów. Dodatkowo uznał jeden dowód za mało przekonujący – tu opis farmaceutów stracił kolejne 10. W efekcie znalezienie lekarstwa na raka okazało się „istotne”, ale nie tak „przełomowe” jak innowacyjne zakrętki do lakierów.
Ogon macha psem
Gdybym chciała na serio oceniać takie opisy musiałabym zadać pytania z zakresu etyki i aksjologii. Zastanowić się nad wartością życia ludzkiego i wartością dodaną nowego produktu na rynku. Ocena wpływu społecznego jest często przyczynkiem do takich trudnych pytań. Bo dotykamy tu delikatnej materii wartości społecznych, w której nie ma łatwych i jednoznacznych odpowiedzi. Ale rozwiązaniem nie jest na pewno unikanie zadania samego pytania, przez zastąpienie go biurokratycznym formularzem.
W obecnym rozwiązaniu to „ogon macha psem”. Parę kryteriów formalnych, które miały przeciwdziałać rzadkim, być może hipotetycznym sytuacjom przypisywania sobie „cudzego” wpływu lub „fabrykowania” dowodów urosło ponad miarę i przesłoniło istotę całej oceny.
Podskórna podejrzliwość w stosunku do ekspertów
Przewagą oceny wpływu społecznego w kształcie przyjętym w Wielkiej Brytanii, Holandii czy Norwegii jest to, że zakłada ufność w stosunku do ekspertki. To ona, bazując na swojej wiedzy i doświadczeniu, we współpracy z innymi ekspertami, ustala ocenę opisu wpływu. System przyjmuje, że twórcy ewaluacji oraz podmioty biorące w niej udział wierzą w uczciwość, bezstronność i kompetencje ekspertki.
Te cnoty nie zawsze muszą przekładać się na jednomyślność i jednogłośność ekspertów. Subiektywność jest wpisana w proces ewaluacji jakościowej. Budzi to protest wielu naukowców, ale przecież akceptujemy tę niedookreśloność, kiedy przesyłamy do recenzji nasze teksty naukowe. Myślę, że większość naukowców zgodzi się, że „doskonałości naukowej” nie da się sprowadzić do sumy punktowanych rubryczek, choćbyśmy dodawali kolejne widełki, przeskalowywali etc. Tak samo jest z wpływem społecznym.
Wydaje się, że autorzy Przewodnika niechętnie na to przystaną. Prezentują długą listę pouczeń dla ekspertów (pisać uprzejmie, unikać lekceważących stwierdzeń, „niezrozumiałego stylu” i personalnej oceny autorów wpływu, uważać na konflikt interesów etc. – str. 22). Wyznaczają im za pomocą formularzy oceny sztywne ramy, nakazują przygotowywać kolejne uzasadnienia ocen (najpierw każdy z dwóch ekspertów oceniających opis wpływu osobno, a potem razem). To wszystko są próby ujęcia w sztywny gorset rzeczywistości miękkiej, zmiennej, subiektywnej.
W moim artykule o ocenie wpływu społecznego w UK, Norwegii i Polsce, opublikowanym w Research Evaluation (2025) pisałam:
Jeśli pierwotnym celem wprowadzenia tego elementu ewaluacji w Polsce było stymulowanie innowacyjności (jak zadeklarowano w Białej Księdze, w której po raz pierwszy zapowiedziano ewaluację — Wróblewska 2017a), trudno sobie wyobrazić, jak mogłoby to się ziścić. Podczas gdy w sferze deklaracji nowa ewaluacja miała zrywać z poprzednią logiką „punktozy”, jak opisuje ją Kulczycki (2017), w rzeczywistości stanowi jej logiczną kontynuację. Domyślne podejście „parametryczne” do ewaluacji, które dominowało w Polsce przez ostatnie dekady, prowadzi decydentów do poszukiwania „mierzalnych” i „obiektywnych” miar dla elementu rzeczywistości akademickiej, który nie wpisuje się w tak wąskie metody pomiaru. Jak mówią badacze i praktycy zarządzania: „kultura zjada strategię na śniadanie”.
Oj zjada.
Niespójne używanie pojęcia wpływu
Przypomnijmy, że przyjęta w dokumencie definicja wpływu to: ogół korzystnych zmian zachodzących w społeczeństwiei gospodarce wywodzących się ze zdobyczy działalności naukowej obejmującej badanianaukowe, twórczość artystyczną oraz prace rozwojowe (zbiorczo zwanych dalejdziałalnością naukową).
Przyjrzyjmy się schematowi obrazującemu przykład (zakładam, że dobry) opisu wpływu w dyscyplinie sztuki plastyczne i konserwacja dzieł sztuki.
Kolumna po lewej to etap, a kolumna po prawej – potwierdzające go informacje. Czy któreś z zawartych tu punktów wskazuje na „zmianę zachodzącą w społeczeństwie i gospodarce wywodzącą się ze zdobyczy działalności naukowej / twórczości artystycznej”?
Gdybym oceniała opis oparty o ten schemat, wskazałabym autorom, że „nawiązanie relacji/współpracy”, „publikacja materiałów, które mogą trafić do odbiorców na całym świecie”, zapraszanie się nawzajem instytucji czy planowanie imprez, to wszystko elementy tego, co nazywam „ścieżką do wpływu”. Nawet wzrost frekwencji w galerii nie świadczy przecież o „zmianie w rozwiązaniach praktycznych” czy „sposobie myślenia” (typy zmiany wskazane na str. 18 Poradnika). Wpływ społeczny mógłby być w tym przypadku udokumentowaną zmianą np. zwiedzający wystawę w grupie focusowej potwierdzili, że wystawa zmieniła ich sposób postrzegania problemu ukazanego na wystawie (np. migracji).
Prezentowanie takich „miałkich” przykładów „potencjalnego” wpływu jako wzorców wpływu z Sèvres zachęci autorów do bajkopisarstwa (pozyskiwania „listów intencyjnych” z obietnicą przyszłej współpracy). Taki opis rzeczywiście będzie nadawał się tylko do oceny pod kątem czytelności dowodów etc, bo samo znaczenie takich działań jest znikome.
Quo vadis, ewaluacjo?
Nie byłam bezkrytyczną fanką regulacji przyjętych w Rozporządzeniu z 2019 r. ani wszystkich wskazówek z Przewodnika z 2021. Wierzyłam jednak, że stosunkowo niewielkie korekty mogą wyprowadzić na prostą „polską szkołę ewaluacji wpływu społecznego”.
Polska jako jeden z pierwszych krajów na świecie ujęła w swoim systemie ewaluacji kryterium wpływu i ma szansę być jednym z liderów tego ważnego trendu (pisałam o tym w innym wpisie). Jednak obecny Przewodnik robi z tej ważnej społecznie ewaluacji coś w rodzaju „matury pisanej pod klucz”, traktując protekcjonalnie autorów i ekspertów. I podmioto-dyscypliny.
Zegar do końca ewaluacji tyka. Wśród uczelni są prymusi, którzy już, na siedem miesięcy przed terminem, mają gotowe szkice opisów wpływu. W tych instytucjach jedynym zmartwieniem jest wybranie najmocniejszych przypadków i szlifowanie ich opisów. W takich szczęśliwych portach koordynatorzy dyscyplin mogą spać spokojnie. Inaczej niż koledzy i koleżanki, którzy zostawili kwestię wpływu społecznego na ostatni moment.
Ewaluacja last minute
Przygotowania do ewaluacji przebiegają znacznie sprawniej jeśli się dbało o generowanie i dokumentowanie wpływu na bieżąco. Nadal jednak, na etapie drugiej edycji ewaluacji wpływu społecznego, niewiele uczelni to robi. O publikacjach i efektach finansowych myślimy przez cały okres ewaluacji, wpisujemy dane do odpowiednich baz. Wpływ społeczny najczęściej nie jest w żaden centralny sposób śledzony ani dokumentowany. W efekcie kiedy przychodzi czas ewaluacji, koordynatorzy dyscyplin w pośpiechu szukają jakichkolwiek tropów wpływu społecznego.
Jak je zatem pozyskać? Co ma czynić koordynator dyscypliny, w której opisy wpływu to nadal „tabula rasa”. Od czego zacząć? W tej sytuacji są trzy rozwiązania.
Trzy drogi do wybrania mocnego przypadku wpływu społecznego
Istnieją trzy drogi do wybrania mocnego przypadku wpływu społecznego:
1) Robimy kwerendę szukając istniejących lecz niezgłoszonych, nieudokumentowanych przykładów wpływu. Wymagałoby to wyjścia do naukowców z wiedzą o wpływie społecznym. Badacze nadal często nie wiedzą co to jest. Zdarza się więc, że dysponują potencjalnymi przykładami wpływu, a nawet nie zdają sobie z tego sprawy. Nieodmiennie polecam jako zasób mój Poradnik.
2) Na podstawie istniejących badań zastanawiamy się jaki wpływ możemy w pozostałym, bardzo krótkim, czasie wygenerować. Pytamy się badaczy jakie opublikowali wyniki badań, które mogłyby potencjalnie się stać przykładem wpływu. Często takie potencjalne zastosowania są opisane w końcowej części publikacji. Na podstawie tych informacji zastanawiamy się, jak to można jeszcze teraz zastosować owe wyniki. W przypadku badań edukacyjnych może to być np. współpraca ze szkołą. W przypadku badań ekonomicznych, organizacja warsztatów, publikacja zasobów online etc. Analogicznie w przypadku innych dziedzin. Na współpracę z dużymi instytucjami może być za późno, ale wciąż są szanse na efektywne działania na poziomie lokalnym czy w sieci.
3) A rebours. Mamy wpływ, uzupełniamy publikacje. Czasem zdarza się, że wiemy o zaistniałym wpływie (np. korzystnej współpracy naukowców z biznesem), ale brakuje związanych z tym obszarem publikacji. Pozostało bardzo niewiele czasu, żeby jeszcze uzupełnić tę lukę, coś publikując. Czasem takie okienka możliwości się otwierają np. w związku z wolnym slotem w numerze tematycznym. Czasem kwestię tę można rozwiązać odpowiedniego przedstawiając w narracji prace całego zespołu naukowców .
Nie ma uniwersalnych rozwiązań, wszystko zależy od zasobów w danej instytucji. Podstawą jak zawsze pozostaje edukowanie w zakresie tego, czym jest wpływ społeczny i jak o nim pisać.
„Oderwanie” wpływu od konkretnych badań naukowca / naukowczyni to rekomendacja, która do mnie dotarła już dwa razy, dwoma różnymi kanałami.
O co chodzi? Obecnie musimy w opisie wpływu wykazać, że zaistniały wpływ (pozytywna zmiana w otaczającym świecie) łączy się w wyraźny sposób z przeprowadzonymi badaniami. Klasyczny przykład: badania farmaceutyczne nad substancją doprowadziły do stworzenia leku, który obecnie wykorzystywany jest przez pacjentów leczących określoną chorobę. Badania edukacyjne ostatecznie doprowadziły do wprowadzenia nowych, ulepszonych metod, które lepiej odpowiadają na potrzeby uczniów. Badania historyczne, spopularyzowane przy pomocy wystawy pozwoliły wzbogacić tożsamość kulturową mieszkańców danej miejscowości. I tak dalej.
Nie zawsze jednak ścieżka jest tak prosta. Czasem wpływ wynika z działalności popularyzatorskiej (np. eseistyka), czy biznesowej (np. tworzenie spółek spin-off), która luźno bazuje na wiedzy dyscyplinarnej badacza, ale nie ma ugruntowania w konkretnych badaniach.
To częsta sytuacja w naukach inżynieryjnych. Wyobraźmy sobie inżyniera lądowego, który specjalizuje się w budowie mostów i na ten temat publikuje. Jednocześnie w ramach zainteresowania materiałoznawstwem był też zaangażowany w tworzenie rozwiązania w zakresie inżynierii materiałowej. Obecnie rozwiązanie to ma zastosowanie w lotnictwie. Taki przykład jest trudniejszy do wykazania w ewaluacji. Trzeba się nagimnastykować, żeby znaleźć połączenie między publikacjami naszego inżyniera o konstrukcji mostów, a materiałem, który trafił do przemysłu lotniczego. Być może takie połączenie istnieje. Jeśli go nie ma, ewaluacja może wypaść negatywnie.
Niektórzy argumentują, że w związku z sytuacjami podobnymi do powyższej powinniśmy w ogóle zrezygnować z wymogu wskazania konkretnych publikacji, w których ma „początek” dany wpływ. Wystarczyłoby ogólne zarysowanie sylwetki badaczki i jej kompetencji.
Czemu ścieżka do wpływu musi uwzględniać badania
Osobiście, po pewnym namyśle, nie poparłabym tego pomysłu. Co prawda, oderwanie wpływu społecznego od konkretnych badań „uratowałby” część przypadków prawdziwych „ludzi renesansu”. Takich, którzy prowadzą badania w jednej dziedzinie, a w innej (w której również dysponują wiedzą) wywierają wpływ. Z drugiej strony jednak, otworzyłby drzwi osobom, które wywierają wpływ, ale taki, który nie jest oparty na realnej wiedzy, kapitalizując na statusie zdobytym w innym obszarze.
Przychodzą do głowy przypadki medyków, którzy przeszli na ciemną stronę mocy firmując swoją twarzą rozmaite szemrane suplementy. Pomyślmy też o naukowcach, którzy angażują się w politykę (na poziomie znacznie szerszym lub zupełnie innym niż wynika z ich badań). Nie zapominajmy o celebrytach, którzy mają stanowiska naukowe (są tacy). Często wywierają oni realny, udokumentowany wpływ (zdarza się, że nawet pozytywny), jednak zwykle nie jest on oparty na konkretnych badaniach na tematy związane z tymże wpływem.
Co więc ma zrobić nasz inżynier, który chciałby jednak napisać opis wpływu dokumentujący opracowane rozwiązanie? To proste: opublikować recenzowany artykuł o tym rozwiązaniu! Publikacje stanowiące bazę wpływu nie muszą wszak wcale pochodzić sprzed powstania wpływu. Często zdarza się, że prowadzimy badania, jednocześnie angażujemy się w działalność popularyzatorską czy współpracę z otoczeniem, zaś publikacja ukazuje się później (po wszystkich procesach redakcyjnych, recenzjach etc.). W niektórych wypadkach, może więc być warto „uzupełnić” brakującą naukową bazę zaistniałego wpływu, składając tekst do recenzowanego czasopisma. Gdy tekst się ukaże, będziemy mogli wykazać, że nasz wpływ istotnie ma naukowe podstawy (a nie bazuje na domysłach, przypuszczeniach, czy wręcz poglądach).
Jest to trudna droga, ale jedyna prowadząca do sukcesu, jeśli chodzi o wpływ społeczny. Per aspera ad astra.
