6 grzechów głównych autorów opisów wpływu. Co punktowali eksperci i czego nas to uczy?

W ostatnich miesiącach miałam okazję intensywnie pracować warsztatowo z decyzjami ewaluacyjnymi dotyczącymi III kryterium. Wiele jednostek, z którymi pracowałam nad szkicami uzyskało planowane, wysokie oceny.

Te, które były rozczarowane oceną, często składały odwołania. Praca nad odwołaniami dała mi okazję do głębokiego wczytania się w uzasadnienia decyzji dot. oceny autorstwa ekspertów KEN.

Lektura dziesiątek uzasadnień i analiz ocen eksperckich pozwoliła mi na stworzenie klasyfikacji najczęściej pojawiających się uwag i zarzutów. Poniżej przedstawiam sześć głównych kategorii uchybień, przez które jednostki traciły punkty w ewaluacji działaności jakości naukowej za lata 2022–2025.

Uwaga: Zaprezentowane w cytatach przykłady stanowią autentyczne uwagi ekspertów pochodzące z oficjalnych decyzji MNiSW. Zostały jednak przeze mnie sparafrazowane, aby oddać ich sedno i zachować zwięzłość.


6 głównych grzechów w opisach wpływu według ekspertów

1. Zastrzeżenia do dorobku i publikacji (podstawa wpływu)

Eksperci bardzo skrupulatnie weryfikowali same publikacje stanowiące fundament wpływu. Zdecydowanie najczęstszym zarzutem był brak walorów naukowych, błędy metodologiczne oraz dyskwalifikacja niektórych form dorobku.

  • „Abstrakt przedstawionej publikacji nie pozwala na ocenę jej wartości naukowej z uwagi na brak wyraźnego sprecyzowania luki badawczej, metodyki oraz osiągniętych rezultatów.”
  • „Przedłożone prace mają charakter wyłącznie przeglądowy lub stanowią jedynie streszczenia z konferencji, przez co z przyczyn formalnych nie mogą zostać uznane za dowód autorskich badań naukowych.”
  • „Sformułowane w opracowaniu zagadnienia badawcze – mimo że nawiązują do dydaktyki biologii – w rzeczywistości mieszczą się w metodologii właściwej dla nauk pedagogicznych, a nie biologicznych.”

2. Wady i słabości dowodów wpływu

Dokumentacja mająca potwierdzać realne oddziaływanie często okazywała się najsłabszym ogniwem opisu. Eksperci masowo odrzucali dowody uznane za nieobiektywne, ogólnikowe lub błędne formalnie.

  • „Przedstawiony dokument został wytworzony wewnątrz ocenianej jednostki i opisuje jedynie jej własne działania, a nie niezależną ocenę ze strony zewnętrznych interesariuszy.”
  • „Załączone oświadczenie partnera ma charakter czysto deklaratywny i ogólny, przez co nie pozwala na zweryfikowanie faktycznej skali oraz znaczenia wdrożenia.”
  • „Część przedłożonych opinii została przygotowana na bezpośrednie zamówienie uczelni, nie posiada daty wystawienia lub przekracza ramy czasowe ewaluowanego okresu.”

Niejednokrotnie pisałam krytycznie o oczekiwaniu przedstawiania „samoistnych” dowodów (co jest często w naszej kulturze pracy trudne, lub wręcz niemożliwe). Z pozostałymi zarzutami ekspertów często musiałam się, chcąc nie chcąc, zgodzić. Nie mamy jako naukowcy nawyku zbierania jakościowych dowodów ścieżki do wpływu i samego wpływu. Jest to niezbędny fundament opisu wpływu, którego nie da się pospiesznie uzupełnić na ostatni moment. Nie da się też od niego odwrócić uwagi kwiecistymi opisami (czym czasem próbują salwować się autorzy).

Dlatego na wszystkich prowadzonych szkoleniach podkreślam istotność strategicznego planowania wpływu i skrupulatnego zbierania adekwatnych do typu wpływu dowodów. Dotyczy to zarówno jednostek naukowych jak i poszczególnych naukowców i naukowczyń.

3. Zaburzenia ścieżki przyczynowo-skutkowej

Eksperci rygorystycznie oceniali logiczny ciąg łączący wyniki badań z ich zastosowaniem. Wszelkie luki chronologiczne lub braki w wykazaniu bezpośredniego przełożenia kończyły się obniżeniem punktacji.

  • „Wykazany w dokumentacji wpływ wyprzedza chronologicznie czas powstania publikacji naukowych, co wskazuje na odwróconą kolejność. Najpierw wystąpił efekt, a dopiero później przeprowadzono badania.”
  • „Z opisu i załączników nie wynika jednoznacznie, czy i w jaki sposób w wygenerowanym wpływie wykorzystano konkretne wyniki badań pracowników jednostki.”
  • „Rola podmiotu w projekcie sprowadzała się jedynie do pomocniczego, rutynowego przetestowania gotowego produktu komercyjnego, co nie pozwala uznać go za wiodącego twórcę wpływu.”

4. Brak skwantyfikowanych danych i niedowiedzenie trwałej korzyści

Eksperci nie dawali wiary samym deklaracjom. Nadal często powtarzającym się błędem jest utożsamianie działań promocyjnych czy np. liczby wyświetleń strony internetowej z realną korzyścią społeczną lub gospodarczą.

  • „Mimo zdeklarowania obniżenia kosztów wdrożenia, w materiałach nie przedstawiono żadnych konkretnych, skwantyfikowanych danych finansowych ani analiz porównawczych.”
  • „Wysoka liczba odsłon bazy internetowej oraz udział w wydarzeniach popularnonaukowych potwierdzają jedynie zasięg informacyjny, ale nie stanowią dowodu na powstanie trwałej zmiany społecznej.”

5. Ograniczony zasięg oraz znaczenie wpływu

Powszechną praktyką było uznawanie zasięgu lub znaczenia za reprezentujący niższy poziom niż ten deklarowany przez jednostkę zasięgu (np. lokalny lub regionalny zamiast ogólnopolskiego czy międzynarodowego).

  • „Pojedyncza prelekcja wygłoszona za granicą lub zagraniczne wizyty na stronie internetowej nie są wystarczające do potwierdzenia międzynarodowego zasięgu oddziaływania.”
  • „Opisane efekty mają charakter wyłącznie lokalny i odnoszą się do bardzo wąskiej, bezpośrednio zainteresowanej tematem grupy odbiorców.”

6. Brak kluczowego znaczenia interdyscyplinarności

W większości analizowanych decyzji eksperci odrzucali wniosek o przyznanie dodatkowych punktów za interdyscyplinarność, uznając ją za powierzchowną. Tak musiało się to skończyć, gdyż niemal wszyscy deklarowali interdyscyplinarność. Opisy wpływu bez takiej deklaracji to w moim doświadczeniu prawdziwe jednorożce.

  • „W opisie nie udowodniono, aby zastosowanie metodologii innych dyscyplin miało rozstrzygające i kluczowe znaczenie dla wygenerowania opisanego wpływu.”
  • „Realizowane prace mieściły się w granicach jednej dyscypliny, a ich interdyscyplinarny charakter miał jedynie wymiar ogólno-syntetyzujący.”

Krótka pamięć systemu: Między fetyszem parametrów a rozczarowaniem

Lektura tych decyzji prowadzi do gorzkiego wniosku.

Uzasadnienia w wielu przypadkach skupiały się niemal wyłącznie na aspektach technicznych, formalnych i biurokratycznych, podczas gdy właściwa, pogłębiona ocena jakościowa została zredukowana do absolutnego minimum. To smutne dziedzictwo naszej krajowej „szkoły ewaluacji” – głęboko zakorzenionego podejścia parametrycznego i dążenia do ucieczki od niepewności za wszelką cenę. Szerzej pisałam o tym zjawisku na łamach Forum Akademickiego w artykule Ucieczka od niepewności w ramiona punktozy.

Zdarzały się też oceny nieprofesjonalne, np. odwoływania się do kryteriów całkowicie nieobecnych w oficjalnym przewodniku po ewaluacji, jak status finansowy firmy, z którą współpracowała jednostka (informacje spoza opisu wpływu). Moja ulubiona anegdota, to ocena osiągnięcia artystycznego (dziedzina sztuki): „dzieło może i jest wybitne, ale jest brzydkie”. Powszechną praktyką było bezwzględne wymaganie wąsko rozumianej kwantyfikowalności każdego typu dowodu wpływu społecznego (oparte na surowszej intepretacji pojęcia wpływu społecznego, niż ta przyjęta w Przewodniku KEN) .

Jednostki naukowe, które zainwestowały ogromne zasoby w przygotowanie do ewaluacji – w faktyczne generowanie wpływu, budowanie relacji z otoczeniem, zbieranie dowodów i skrupulatne opisywanie case studies – często przeżywały głębokie rozczarowanie jakością ocen eksperckich.


Jak przygotować jednostkę na nowe rozdanie?

Aby uniknąć powielania tych samych błędów i skutecznie odeprzeć krytyczne uwagi ekspertów – zwłaszcza te dotyczące jakości dowodów oraz logicznego powiązania badań i wpływu – warto już teraz zainwestować w profesjonalne szkolenia i warsztaty dla pracowników badawczych oraz zespołów wsparcia.

Dobre przygotowanie w tym zakresie będzie miało kluczowe znaczenie nie tylko dla Kryterium III, ale również dla nowego II filaru ewaluacji, który w sposób szczególny skupi się na strategii jednostki oraz warunkach pracy badawczej tworzonych przez władze uczelni czy instytutu.

💡 Chcesz przygotować swój zespół na wyzwania nadchodzącej ewaluacji i nauczyć się budować mocne opisy wpływu?
Prowadzę dedykowane szkolenia i warsztaty dla wydziałów, instytutów oraz władz uczelni. Pomagam przełożyć realne osiągnięcia naukowe na język dowodów, który broni się przed krytyką ekspertów. Skontaktuj się ze mną (kontakt@martawroblewska.pl) aby omówić program szkolenia szytego na miarę potrzeb Twojej jednostki!

Mój opis wpływu społecznego do pobrania

By popular demand, publikuję ✨mój opis wpływu społecznego✨.

– Jaka jest jego przewaga nad opisami udostępnionymi w RADON?

– Jest przygotowany na formularzu KEN dla ewaluacji 2025/2, zgodnie z zasadami Przewodnika „Jak napisać opis wpływu społecznego”. Zawiera także dowody📁.

– Czy opis jest o prawdziwych badaniach i wpływie?

– Tak, o moich własnych👩‍🔬.

– Czy ten opis będzie złożony w ewaluacji 2025/26?

– Nie, to wariant jednego z możliwych opisów, służy do celów edukacyjnych.

– Czy to przykład „wzorcowego”💯 opisu, który otrzymałby max ocenę – 120 pkt?

– Uważam, że jest całkiem dobry, ale sama nie przyznałabym mu 120 pkt. Agent AI Impact przyznał mu 90/120 i ja się z nim zgadzam. W końcu to mój uczeń (który nie przerósł nauczyciela – jeszcze).

– Co to za agent?

– Projekt, który testuję. Część inicjatywy związanej z rozwinięciem AI do wsparcia (nie zastąpienia) ekspertów i autorów w procesach ewaluacji🧠. Stay tuned.

Opis jest dostępny w całości, z dowodami, w sumie 14 str. tekstu. Jest dostępny bez opłaty, ale żeby pobrać, trzeba wpisać swój e-mail🖋️✉️.

Warto – nie spamuję, ale otrzymasz wiadomość o moim nadchodzącym ebooku: ✨”Jak napisać wniosek o grant”✨.

https://www.naffy.io/marta-wroblewska/opis-wplywu-spolecznego-z-dowodami-przyklad-YLS

Jak pozyskać przypadki wpływu społecznego? Poradnik dla spóźnialskich

napis impact w zeszycie

Zegar do końca ewaluacji tyka. Wśród uczelni są prymusi, którzy już, na siedem miesięcy przed terminem, mają gotowe szkice opisów wpływu. W tych instytucjach jedynym zmartwieniem jest wybranie najmocniejszych przypadków i szlifowanie ich opisów. W takich szczęśliwych portach koordynatorzy dyscyplin mogą spać spokojnie. Inaczej niż koledzy i koleżanki, którzy zostawili kwestię wpływu społecznego na ostatni moment.

Ewaluacja last minute

Przygotowania do ewaluacji przebiegają znacznie sprawniej jeśli się dbało o generowanie i dokumentowanie wpływu na bieżąco. Nadal jednak, na etapie drugiej edycji ewaluacji wpływu społecznego, niewiele uczelni to robi. O publikacjach i efektach finansowych myślimy przez cały okres ewaluacji, wpisujemy dane do odpowiednich baz. Wpływ społeczny najczęściej nie jest w żaden centralny sposób śledzony ani dokumentowany. W efekcie kiedy przychodzi czas ewaluacji, koordynatorzy dyscyplin w pośpiechu szukają jakichkolwiek tropów wpływu społecznego.

Jak je zatem pozyskać? Co ma czynić koordynator dyscypliny, w której opisy wpływu to nadal „tabula rasa”. Od czego zacząć? W tej sytuacji są trzy rozwiązania.

Trzy drogi do wybrania mocnego przypadku wpływu społecznego

Istnieją trzy drogi do wybrania mocnego przypadku wpływu społecznego:

1) Robimy kwerendę szukając istniejących lecz niezgłoszonych, nieudokumentowanych przykładów wpływu. Wymagałoby to wyjścia do naukowców z wiedzą o wpływie społecznym. Badacze nadal często nie wiedzą co to jest. Zdarza się więc, że dysponują potencjalnymi przykładami wpływu, a nawet nie zdają sobie z tego sprawy. Nieodmiennie polecam jako zasób mój Poradnik.

2) Na podstawie istniejących badań zastanawiamy się jaki wpływ możemy w pozostałym, bardzo krótkim, czasie wygenerować. Pytamy się badaczy jakie opublikowali wyniki badań, które mogłyby potencjalnie się stać przykładem wpływu. Często takie potencjalne zastosowania są opisane w końcowej części publikacji. Na podstawie tych informacji zastanawiamy się, jak to można jeszcze teraz zastosować owe wyniki. W przypadku badań edukacyjnych może to być np. współpraca ze szkołą. W przypadku badań ekonomicznych, organizacja warsztatów, publikacja zasobów online etc. Analogicznie w przypadku innych dziedzin. Na współpracę z dużymi instytucjami może być za późno, ale wciąż są szanse na efektywne działania na poziomie lokalnym czy w sieci.

3) A rebours. Mamy wpływ, uzupełniamy publikacje. Czasem zdarza się, że wiemy o zaistniałym wpływie (np. korzystnej współpracy naukowców z biznesem), ale brakuje związanych z tym obszarem publikacji. Pozostało bardzo niewiele czasu, żeby jeszcze uzupełnić tę lukę, coś publikując. Czasem takie okienka możliwości się otwierają np. w związku z wolnym slotem w numerze tematycznym. Czasem kwestię tę można rozwiązać odpowiedniego przedstawiając w narracji prace całego zespołu naukowców .

Nie ma uniwersalnych rozwiązań, wszystko zależy od zasobów w danej instytucji. Podstawą jak zawsze pozostaje edukowanie w zakresie tego, czym jest wpływ społeczny i jak o nim pisać.