W ostatnich miesiącach miałam okazję intensywnie pracować warsztatowo z decyzjami ewaluacyjnymi dotyczącymi III kryterium. Wiele jednostek, z którymi pracowałam nad szkicami uzyskało planowane, wysokie oceny.
Te, które były rozczarowane oceną, często składały odwołania. Praca nad odwołaniami dała mi okazję do głębokiego wczytania się w uzasadnienia decyzji dot. oceny autorstwa ekspertów KEN.
Lektura dziesiątek uzasadnień i analiz ocen eksperckich pozwoliła mi na stworzenie klasyfikacji najczęściej pojawiających się uwag i zarzutów. Poniżej przedstawiam sześć głównych kategorii uchybień, przez które jednostki traciły punkty w ewaluacji działaności jakości naukowej za lata 2022–2025.
Uwaga: Zaprezentowane w cytatach przykłady stanowią autentyczne uwagi ekspertów pochodzące z oficjalnych decyzji MNiSW. Zostały jednak przeze mnie sparafrazowane, aby oddać ich sedno i zachować zwięzłość.
6 głównych grzechów w opisach wpływu według ekspertów
1. Zastrzeżenia do dorobku i publikacji (podstawa wpływu)
Eksperci bardzo skrupulatnie weryfikowali same publikacje stanowiące fundament wpływu. Zdecydowanie najczęstszym zarzutem był brak walorów naukowych, błędy metodologiczne oraz dyskwalifikacja niektórych form dorobku.
- „Abstrakt przedstawionej publikacji nie pozwala na ocenę jej wartości naukowej z uwagi na brak wyraźnego sprecyzowania luki badawczej, metodyki oraz osiągniętych rezultatów.”
- „Przedłożone prace mają charakter wyłącznie przeglądowy lub stanowią jedynie streszczenia z konferencji, przez co z przyczyn formalnych nie mogą zostać uznane za dowód autorskich badań naukowych.”
- „Sformułowane w opracowaniu zagadnienia badawcze – mimo że nawiązują do dydaktyki biologii – w rzeczywistości mieszczą się w metodologii właściwej dla nauk pedagogicznych, a nie biologicznych.”
2. Wady i słabości dowodów wpływu
Dokumentacja mająca potwierdzać realne oddziaływanie często okazywała się najsłabszym ogniwem opisu. Eksperci masowo odrzucali dowody uznane za nieobiektywne, ogólnikowe lub błędne formalnie.
- „Przedstawiony dokument został wytworzony wewnątrz ocenianej jednostki i opisuje jedynie jej własne działania, a nie niezależną ocenę ze strony zewnętrznych interesariuszy.”
- „Załączone oświadczenie partnera ma charakter czysto deklaratywny i ogólny, przez co nie pozwala na zweryfikowanie faktycznej skali oraz znaczenia wdrożenia.”
- „Część przedłożonych opinii została przygotowana na bezpośrednie zamówienie uczelni, nie posiada daty wystawienia lub przekracza ramy czasowe ewaluowanego okresu.”
Niejednokrotnie pisałam krytycznie o oczekiwaniu przedstawiania „samoistnych” dowodów (co jest często w naszej kulturze pracy trudne, lub wręcz niemożliwe). Z pozostałymi zarzutami ekspertów często musiałam się, chcąc nie chcąc, zgodzić. Nie mamy jako naukowcy nawyku zbierania jakościowych dowodów ścieżki do wpływu i samego wpływu. Jest to niezbędny fundament opisu wpływu, którego nie da się pospiesznie uzupełnić na ostatni moment. Nie da się też od niego odwrócić uwagi kwiecistymi opisami (czym czasem próbują salwować się autorzy).
Dlatego na wszystkich prowadzonych szkoleniach podkreślam istotność strategicznego planowania wpływu i skrupulatnego zbierania adekwatnych do typu wpływu dowodów. Dotyczy to zarówno jednostek naukowych jak i poszczególnych naukowców i naukowczyń.
3. Zaburzenia ścieżki przyczynowo-skutkowej
Eksperci rygorystycznie oceniali logiczny ciąg łączący wyniki badań z ich zastosowaniem. Wszelkie luki chronologiczne lub braki w wykazaniu bezpośredniego przełożenia kończyły się obniżeniem punktacji.
- „Wykazany w dokumentacji wpływ wyprzedza chronologicznie czas powstania publikacji naukowych, co wskazuje na odwróconą kolejność. Najpierw wystąpił efekt, a dopiero później przeprowadzono badania.”
- „Z opisu i załączników nie wynika jednoznacznie, czy i w jaki sposób w wygenerowanym wpływie wykorzystano konkretne wyniki badań pracowników jednostki.”
- „Rola podmiotu w projekcie sprowadzała się jedynie do pomocniczego, rutynowego przetestowania gotowego produktu komercyjnego, co nie pozwala uznać go za wiodącego twórcę wpływu.”
4. Brak skwantyfikowanych danych i niedowiedzenie trwałej korzyści
Eksperci nie dawali wiary samym deklaracjom. Nadal często powtarzającym się błędem jest utożsamianie działań promocyjnych czy np. liczby wyświetleń strony internetowej z realną korzyścią społeczną lub gospodarczą.
- „Mimo zdeklarowania obniżenia kosztów wdrożenia, w materiałach nie przedstawiono żadnych konkretnych, skwantyfikowanych danych finansowych ani analiz porównawczych.”
- „Wysoka liczba odsłon bazy internetowej oraz udział w wydarzeniach popularnonaukowych potwierdzają jedynie zasięg informacyjny, ale nie stanowią dowodu na powstanie trwałej zmiany społecznej.”
5. Ograniczony zasięg oraz znaczenie wpływu
Powszechną praktyką było uznawanie zasięgu lub znaczenia za reprezentujący niższy poziom niż ten deklarowany przez jednostkę zasięgu (np. lokalny lub regionalny zamiast ogólnopolskiego czy międzynarodowego).
- „Pojedyncza prelekcja wygłoszona za granicą lub zagraniczne wizyty na stronie internetowej nie są wystarczające do potwierdzenia międzynarodowego zasięgu oddziaływania.”
- „Opisane efekty mają charakter wyłącznie lokalny i odnoszą się do bardzo wąskiej, bezpośrednio zainteresowanej tematem grupy odbiorców.”
6. Brak kluczowego znaczenia interdyscyplinarności
W większości analizowanych decyzji eksperci odrzucali wniosek o przyznanie dodatkowych punktów za interdyscyplinarność, uznając ją za powierzchowną. Tak musiało się to skończyć, gdyż niemal wszyscy deklarowali interdyscyplinarność. Opisy wpływu bez takiej deklaracji to w moim doświadczeniu prawdziwe jednorożce.
- „W opisie nie udowodniono, aby zastosowanie metodologii innych dyscyplin miało rozstrzygające i kluczowe znaczenie dla wygenerowania opisanego wpływu.”
- „Realizowane prace mieściły się w granicach jednej dyscypliny, a ich interdyscyplinarny charakter miał jedynie wymiar ogólno-syntetyzujący.”
Krótka pamięć systemu: Między fetyszem parametrów a rozczarowaniem
Lektura tych decyzji prowadzi do gorzkiego wniosku.
Uzasadnienia w wielu przypadkach skupiały się niemal wyłącznie na aspektach technicznych, formalnych i biurokratycznych, podczas gdy właściwa, pogłębiona ocena jakościowa została zredukowana do absolutnego minimum. To smutne dziedzictwo naszej krajowej „szkoły ewaluacji” – głęboko zakorzenionego podejścia parametrycznego i dążenia do ucieczki od niepewności za wszelką cenę. Szerzej pisałam o tym zjawisku na łamach Forum Akademickiego w artykule Ucieczka od niepewności w ramiona punktozy.
Zdarzały się też oceny nieprofesjonalne, np. odwoływania się do kryteriów całkowicie nieobecnych w oficjalnym przewodniku po ewaluacji, jak status finansowy firmy, z którą współpracowała jednostka (informacje spoza opisu wpływu). Moja ulubiona anegdota, to ocena osiągnięcia artystycznego (dziedzina sztuki): „dzieło może i jest wybitne, ale jest brzydkie”. Powszechną praktyką było bezwzględne wymaganie wąsko rozumianej kwantyfikowalności każdego typu dowodu wpływu społecznego (oparte na surowszej intepretacji pojęcia wpływu społecznego, niż ta przyjęta w Przewodniku KEN) .
Jednostki naukowe, które zainwestowały ogromne zasoby w przygotowanie do ewaluacji – w faktyczne generowanie wpływu, budowanie relacji z otoczeniem, zbieranie dowodów i skrupulatne opisywanie case studies – często przeżywały głębokie rozczarowanie jakością ocen eksperckich.
Jak przygotować jednostkę na nowe rozdanie?
Aby uniknąć powielania tych samych błędów i skutecznie odeprzeć krytyczne uwagi ekspertów – zwłaszcza te dotyczące jakości dowodów oraz logicznego powiązania badań i wpływu – warto już teraz zainwestować w profesjonalne szkolenia i warsztaty dla pracowników badawczych oraz zespołów wsparcia.
Dobre przygotowanie w tym zakresie będzie miało kluczowe znaczenie nie tylko dla Kryterium III, ale również dla nowego II filaru ewaluacji, który w sposób szczególny skupi się na strategii jednostki oraz warunkach pracy badawczej tworzonych przez władze uczelni czy instytutu.
💡 Chcesz przygotować swój zespół na wyzwania nadchodzącej ewaluacji i nauczyć się budować mocne opisy wpływu?
Prowadzę dedykowane szkolenia i warsztaty dla wydziałów, instytutów oraz władz uczelni. Pomagam przełożyć realne osiągnięcia naukowe na język dowodów, który broni się przed krytyką ekspertów. Skontaktuj się ze mną (kontakt@martawroblewska.pl) aby omówić program szkolenia szytego na miarę potrzeb Twojej jednostki!
Discover more from Impact Ninja
Subscribe to get the latest posts sent to your email.