Jak pozyskać przypadki wpływu społecznego? Poradnik dla spóźnialskich

napis impact w zeszycie

Zegar do końca ewaluacji tyka. Wśród uczelni są prymusi, którzy już, na siedem miesięcy przed terminem, mają gotowe szkice opisów wpływu. W tych instytucjach jedynym zmartwieniem jest wybranie najmocniejszych przypadków i szlifowanie ich opisów. W takich szczęśliwych portach koordynatorzy dyscyplin mogą spać spokojnie. Inaczej niż koledzy i koleżanki, którzy zostawili kwestię wpływu społecznego na ostatni moment.

Ewaluacja last minute

Przygotowania do ewaluacji przebiegają znacznie sprawniej jeśli się dbało o generowanie i dokumentowanie wpływu na bieżąco. Nadal jednak, na etapie drugiej edycji ewaluacji wpływu społecznego, niewiele uczelni to robi. O publikacjach i efektach finansowych myślimy przez cały okres ewaluacji, wpisujemy dane do odpowiednich baz. Wpływ społeczny najczęściej nie jest w żaden centralny sposób śledzony ani dokumentowany. W efekcie kiedy przychodzi czas ewaluacji, koordynatorzy dyscyplin w pośpiechu szukają jakichkolwiek tropów wpływu społecznego.

Jak je zatem pozyskać? Co ma czynić koordynator dyscypliny, w której opisy wpływu to nadal „tabula rasa”. Od czego zacząć? W tej sytuacji są trzy rozwiązania.

Trzy drogi do wybrania mocnego przypadku wpływu społecznego

Istnieją trzy drogi do wybrania mocnego przypadku wpływu społecznego:

1) Robimy kwerendę szukając istniejących lecz niezgłoszonych, nieudokumentowanych przykładów wpływu. Wymagałoby to wyjścia do naukowców z wiedzą o wpływie społecznym. Badacze nadal często nie wiedzą co to jest. Zdarza się więc, że dysponują potencjalnymi przykładami wpływu, a nawet nie zdają sobie z tego sprawy. Nieodmiennie polecam jako zasób mój Poradnik.

2) Na podstawie istniejących badań zastanawiamy się jaki wpływ możemy w pozostałym, bardzo krótkim, czasie wygenerować. Pytamy się badaczy jakie opublikowali wyniki badań, które mogłyby potencjalnie się stać przykładem wpływu. Często takie potencjalne zastosowania są opisane w końcowej części publikacji. Na podstawie tych informacji zastanawiamy się, jak to można jeszcze teraz zastosować owe wyniki. W przypadku badań edukacyjnych może to być np. współpraca ze szkołą. W przypadku badań ekonomicznych, organizacja warsztatów, publikacja zasobów online etc. Analogicznie w przypadku innych dziedzin. Na współpracę z dużymi instytucjami może być za późno, ale wciąż są szanse na efektywne działania na poziomie lokalnym czy w sieci.

3) A rebours. Mamy wpływ, uzupełniamy publikacje. Czasem zdarza się, że wiemy o zaistniałym wpływie (np. korzystnej współpracy naukowców z biznesem), ale brakuje związanych z tym obszarem publikacji. Pozostało bardzo niewiele czasu, żeby jeszcze uzupełnić tę lukę, coś publikując. Czasem takie okienka możliwości się otwierają np. w związku z wolnym slotem w numerze tematycznym. Czasem kwestię tę można rozwiązać odpowiedniego przedstawiając w narracji prace całego zespołu naukowców .

Nie ma uniwersalnych rozwiązań, wszystko zależy od zasobów w danej instytucji. Podstawą jak zawsze pozostaje edukowanie w zakresie tego, czym jest wpływ społeczny i jak o nim pisać.

Czy wpływ społeczny musi wynikać z konkretnych badań? Na marginesie zmian w ewaluacji wpływu społecznego

We wpisie Bank rekomendacji dot. ewaluacji wpływu społecznego (trzeciego kryterium) wymieniam (i uzasadniam) zmiany, które należałoby wprowadzić w ocenie wpływu społecznego. Zachęcam też do dzielenia się rekomendacjami, które uwzględnię w „Banku”.

Oderwać wpływ od badań?

„Oderwanie” wpływu od konkretnych badań naukowca / naukowczyni to rekomendacja, która do mnie dotarła już dwa razy, dwoma różnymi kanałami.

O co chodzi? Obecnie musimy w opisie wpływu wykazać, że zaistniały wpływ (pozytywna zmiana w otaczającym świecie) łączy się w wyraźny sposób z przeprowadzonymi badaniami. Klasyczny przykład: badania farmaceutyczne nad substancją doprowadziły do stworzenia leku, który obecnie wykorzystywany jest przez pacjentów leczących określoną chorobę. Badania edukacyjne ostatecznie doprowadziły do wprowadzenia nowych, ulepszonych metod, które lepiej odpowiadają na potrzeby uczniów. Badania historyczne, spopularyzowane przy pomocy wystawy pozwoliły wzbogacić tożsamość kulturową mieszkańców danej miejscowości. I tak dalej.

Nie zawsze jednak ścieżka jest tak prosta. Czasem wpływ wynika z działalności popularyzatorskiej (np. eseistyka), czy biznesowej (np. tworzenie spółek spin-off), która luźno bazuje na wiedzy dyscyplinarnej badacza, ale nie ma ugruntowania w konkretnych badaniach.

To częsta sytuacja w naukach inżynieryjnych. Wyobraźmy sobie inżyniera lądowego, który specjalizuje się w budowie mostów i na ten temat publikuje. Jednocześnie w ramach zainteresowania materiałoznawstwem był też zaangażowany w tworzenie rozwiązania w zakresie inżynierii materiałowej. Obecnie rozwiązanie to ma zastosowanie w lotnictwie. Taki przykład jest trudniejszy do wykazania w ewaluacji. Trzeba się nagimnastykować, żeby znaleźć połączenie między publikacjami naszego inżyniera o konstrukcji mostów, a materiałem, który trafił do przemysłu lotniczego. Być może takie połączenie istnieje. Jeśli go nie ma, ewaluacja może wypaść negatywnie.

Niektórzy argumentują, że w związku z sytuacjami podobnymi do powyższej powinniśmy w ogóle zrezygnować z wymogu wskazania konkretnych publikacji, w których ma „początek” dany wpływ. Wystarczyłoby ogólne zarysowanie sylwetki badaczki i jej kompetencji.

Czemu ścieżka do wpływu musi uwzględniać badania

Osobiście, po pewnym namyśle, nie poparłabym tego pomysłu. Co prawda, oderwanie wpływu społecznego od konkretnych badań „uratowałby” część przypadków prawdziwych „ludzi renesansu”. Takich, którzy prowadzą badania w jednej dziedzinie, a w innej (w której również dysponują wiedzą) wywierają wpływ. Z drugiej strony jednak, otworzyłby drzwi osobom, które wywierają wpływ, ale taki, który nie jest oparty na realnej wiedzy, kapitalizując na statusie zdobytym w innym obszarze.

Przychodzą do głowy przypadki medyków, którzy przeszli na ciemną stronę mocy firmując swoją twarzą rozmaite szemrane suplementy. Pomyślmy też o naukowcach, którzy angażują się w politykę (na poziomie znacznie szerszym lub zupełnie innym niż wynika z ich badań). Nie zapominajmy o celebrytach, którzy mają stanowiska naukowe (są tacy). Często wywierają oni realny, udokumentowany wpływ (zdarza się, że nawet pozytywny), jednak zwykle nie jest on oparty na konkretnych badaniach na tematy związane z tymże wpływem.

Co więc ma zrobić nasz inżynier, który chciałby jednak napisać opis wpływu dokumentujący opracowane rozwiązanie? To proste: opublikować recenzowany artykuł o tym rozwiązaniu! Publikacje stanowiące bazę wpływu nie muszą wszak wcale pochodzić sprzed powstania wpływu. Często zdarza się, że prowadzimy badania, jednocześnie angażujemy się w działalność popularyzatorską czy współpracę z otoczeniem, zaś publikacja ukazuje się później (po wszystkich procesach redakcyjnych, recenzjach etc.). W niektórych wypadkach, może więc być warto „uzupełnić” brakującą naukową bazę zaistniałego wpływu, składając tekst do recenzowanego czasopisma. Gdy tekst się ukaże, będziemy mogli wykazać, że nasz wpływ istotnie ma naukowe podstawy (a nie bazuje na domysłach, przypuszczeniach, czy wręcz poglądach).

Jest to trudna droga, ale jedyna prowadząca do sukcesu, jeśli chodzi o wpływ społeczny. Per aspera ad astra.

2025: Bank rekomendacji dot. ewaluacji wpływu społecznego (trzeciego kryterium)

Pierwsza ewaluacja wpływu społecznego badań nie spełniła początkowych aspiracji twórców polityk. Nie ma dowodów by ewaluacja stymulowała innowacyjność, ani zapoczątkowała jakąkolwiek zmianę kulturową bądź wzrost świadomości badaczy w zakresie możliwego wpływu ich badań na otoczenie społeczne i gospodarcze. Trzecie kryterium wpisało się w logikę „punktozy”, stając się nielubianym i „podejrzanym” dodatkiem do ewaluacji. Fakt, że ewaluacja ma charakter cykliczny, a prace nad nowymi przepisami regulującymi ocenę są w toku, stwarza okazję do udoskonalenia polskiego podejścia do ewaluacji wpływu społecznego.

To fragment mojego najnowszego artykułu „One size fits all? A comparative review of policy-making in the area of research impact evaluation in the UK, Poland and Norway”, który ukaże się w 2025 r. w czasopiśmie Research Evaluation. Manuskrypt przesłałam na początku marca 2025 do Ministra Nauki i Szkolnictwa Wyższego, polecając jego uwadze rekomendacje dotyczące ewaluacji wpływu społecznego w Polsce. Moment na taką refleksję jest właśnie teraz – Ministerstwo zapowiedziało prace nad (kolejnymi) zmianami w systemie ewaluacji jakości działalności naukowej. W mediach już zaczęła się debata nad kierunkami zmian, ale jak zwykle gros uwagi przyciąga proces oceny publikacji. Tymczasem, przemilcza się tzw. trzecie kryterium, które w wielu przypadkach może przeważyć szalę (jeden opis wpływu waży wielokrotnie więcej niż pojedyncza publikacja).

W tym wpisie zbiorę rekomendacje dla Ministerstwa oraz zespołu, który będzie pracował nad nowymi wytycznymi dot. ewaluacji. Rekomendacje te wynikają z moich dziesięcioletnich badań nad ewaluacją wpływu społecznego. Część opiera się na zastrzeżeniach i obserwacjach zgłoszonych przez pracowników uczelni, z którymi współpracuję. W nawiasie podaję czy dana rekomendacja wiąże się z Ustawą, Rozporządzeniem czy dobrymi praktykami.

Poniżej lista rekomendacji z linkami do dłuższych opisów. Publikuję je w kolejności od ważniejszych do mniej ważnych.

Zachować trzecie kryterium

Zachować dotychczasową punktację trzeciego kryterium

Ujawnić wyniki

Przeprowadzić analizy

Włączyć kwestię wpływu społecznego do debaty

Zmodyfikować wymaganą liczbę opisów wpływu

Zlikwidować premię 20% za interdyscyplinarność

Opublikować Podręcznik KEN

Zmodyfikować opis dowodu

Dodać formułę niejawnego opisu wpływu

Skrócić opinie opisowe

Zapraszam do dzielenia się Państwa sugestiami w komentarzach albo na kontakt@martawroblewska.pl

Zachować trzecie kryterium

Żeby było o czym rozmawiać w temacie ewaluacji wpływu społecznego, „wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki” musi pozostać kryterium ewaluacji. Docenianie (i ocenianie) wpływu nauki na społeczeństwo to międzynarodowa tendencja w ewaluacji (vide mapka poniżej).

Polska jest wsród pionierów jeśli chodzi o kryterium wpływu. Stad nasz model jest obiektem zainteresowania naukowców i twórców polityk za granica (vide np. mój artykuł w Research Professional News). Zaraz będziemy dysponować danymi z dwóch tur ewaluacji. Więcej danych o wpływie społecznym swoich naukowców maja tylko Brytyjczycy! Dlatego zdziwiło mnie, że w jednym z pierwszych udzielonych wywiadów wiceminister nauki wskazała na przykład Hiszpanii jako kraju adekwatnie doceniającego popularyzację. Według mojej wiedzy, hiszpańska ewaluacja uwzględniająca aspekt popularyzacji zaplanowana na 2018 została zbojkotowana, i obecnie trwają poszukiwania nowego rozwiązania. Co ważne, w istniejącym w Polsce systemie skupiamy się nie na popularyzacji, a właśnie na konkretnym wpływie z niej. O rozróżnieniu między tymi kwestiami piszę sporo w moim Poradniku. Mam wrażenie, że ta absolutnie kluczowe rozgraniczenie nie wybrzmiało do końca w polskiej akademii (stąd liczę na debatę o rozumieniu wpływu społecznego na polskim gruncie).

Uwzględnienie wpływu nauki w ewaluacji wpisuje się też w trend Responsible Research Assessment. Kładzie on nacisk na szerszy horyzont, w którym powstaje „doskonałość” naukowa. Wpisują się więc w niego kwestie związane z otwartym dostępem, kulturą pracy (czyli brytyjskie „people culture and environment”), inkluzywność, sustainability, reprodukcja siły intelektualnej (promowanie doktorantów)…

Ta rekomendacja dotyczy Ustawy o Szkolnictwie Wyższym i Nauce.

Zachować dotychczasową punktację trzeciego kryterium

Porozumienie Akademickich Centrów Transferu Technologii (PACTT), jedyne środowisko które w debacie upomina się o trzecie kryterium, postuluje zwiększenie jego procentowego udziału w ocenie dyscypliny. Obecny poziom (15-20% w zależności od dyscypliny) jest rzeczywiście niższy niż w brytyjskim REF (tam impact to obecnie już 25%). Wydaje się jednak, że w naszym kontekście ważniejsze niż zwiększenie wagi kryterium jest zwiększenie jego widoczności. Chodziłoby o debatę o definicji i kryteriach wpływu w środowisku, przeanalizowanie wyprodukowanych w procesie ewaluacji danych, wpisanie współpracę z otoczeniem w karierę naukowca, zwiększenie widoczności istniejących opisów wpływu.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej .

Ujawnić wyniki

Mimo, że złożone w poprzedniej turze oceny opisy wpływu są dostępne w bazie RADON, nie znamy ich ocen. Ani punktowych, ani opisowych. Ani dla indywidualnych opisów wpływu, ani zbiorczo (np. dla dyscypliny w ramach uczelni). Jeżeli nie mamy informacji zwrotnej (poza tą dotyczącą opisów ocenionych w poprzedniej ewaluacji w naszej jednostce, jeśli mamy do nich dostęp), skąd mamy wiedzieć jak wygląda mocny opis wpływu?

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej oraz dobrych praktyk.

Przeprowadzić analizy

Punkt powiązany z poprzednim (ujawnić wyniki). „Siedzimy” na danych, których nikt nie używa. No bo tak: setki jednostek naukowych przez cztery lata gromadzą dane o tysiącach pracowników (publikacje, afiliacje, patenty, wyniki finansowe, opisy wpływu), przez ostatnie pół roku pracochłonnie wprowadzają je do systemu, a potem na podstawie wszystkich tych informacji otrzymujemy… literkę. Po jednej dla jednostki. I do widzenia.

Czy ta literka, reprezentująca przyznaną kategorię naukową, rzeczywiście do czegoś służy (poza jej kwestionowaniem w procesie odwołania)? Co nam mówi o jednostce: jakości prowadzonych prac, środowisku badawczym, potencjale badawczym, zasobach finansowych instytucji, kierunkach rozwoju, strategii, umiędzynarodowieniu, kluczowych partnerstwach? Nic.

A tymczasem dane w systemie pozwoliłyby przeprowadzić fascynujące badania na wszystkie te tematy! Byłoby to z korzyścią dla ewaluowanych jednostek, które otrzymałyby bogatsze informacje o swojej jednostce – jak wypadają w różnych kategoriach w porównaniu z „konkurencyjnymi” jednostkami? Ministerstwo i środowisko miałoby ogląd sytuacji bieżącej: które jednostki najlepiej publikują, jaka grupa „wiekowa” badaczy generuje najlepsze wyniki finansowe, jakie dyscypliny są dobre w generowaniu wpływu społecznego i w jakich obszarach ten wpływ występuje. Skorzystaliby też badacze : wiedzielibyśmy kto jest „mocny” w obszarze, w którym pracujemy, bądź chcemy pracować (np. zależy mi by być członkiem jednostki, która prowadzi socjologię z wyróżniającym się wpływem społecznym). Moglibyśmy się porównać ze „średnią” w zakresie publikacji. Pomimo całego sceptycyzmu wobec naszego „parametrycznego” podejścia do liczenia publikacji, byłabym ciekawa jak zebrane przeze mnie „punkty publikacyjne” wypadają na tle średniej dla mojej uczelni, dla mojej dyscypliny, mojego poziomu kariery.

Analizy i raporty: jak robią to w UK i Francji

Wzorem jest dla mnie UK, gdzie organizator ewaluacji (HEFCE a potem UKRI) zleca bardzo ciekawe badania na wszystkie powyższe tematy (i więcej). Dla przykładu poniżej często pokazywany diagram z raportu Kings College obrazujący związek dyscypliny (w 4 blokach po prawej) z obszarami wpływu społecznego (np. ekologia, prawo etc. po lewej).

Również w Francji w wyniku ewaluacji ukazują się rekomendacje obejmujące badania prowadzone w kraju w podziale na dyscypliny oraz wskazujące na pozycję naukową Francji na świecie . Zwracają na to uwagę w niedawnym tekście członkowie Komisji ds. Międzynarodowych Rady Głównej Nauki i Szkolnictwa Wyższego.

A zatem? Plan minimum: wszystkie możliwe dane (w tym oceny liczbowe i opisowe opisów wpływu) opublikować w dostępnej formie w RADON, tak by badacze mogli buszować w nich we własnym zakresie. Plan maksimum: po każdej ewaluacji zlecać przekrojowy raport o stanie nauki na podstawie zebranych danych ewaluacyjnych. Opracować rekomendacje i plan ich wdrożenia.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej i dobrych praktyk.

Włączyć kwestię wpływu społecznego do debaty

Niezależnie od tego jak ukształtują się kryteria w „nowej” ewaluacji, dobrze, żeby tym razem temat ewaluacji wpływu społecznego wybrzmiał na forum. Jak piszę w moim artykule z Research Evaluation (2025, forthcoming):

Twórcy polityk publicznych powinni zachować ostrożność przy wdrażaniu modeli opracowanych w innych systemach naukowych: mechaniczne „przeszczepianie” rozwiązań z innych kontekstów bez inwestycji w stymulowanie debaty lub budowę infrastruktury przyniesie powierzchowne efekty i nie doprowadzi do istotnych zmian w kulturze akademickiej.

Zmodyfikować wymaganą liczbę opisów wpływu

Rekomendacja podwójna: zmniejszyć wymaganą liczbę opisów wpływu dla małych dyscyplin i zrezygnować z „dodatkowych” opisów.

Obecnie dla dyscyplin liczących do 100 osób wymagane są 2 opisy wpływu. Każde kolejne 100 pracowników to jeden dodatkowy wymagany opis.

To oznacza, że przy liczbie 100 badaczy wymagany jest 1 opis na 50 osób, przy liczbie 200 jeden na 66 osób etc. Wydaje się, że nie jest to zawrotna liczba. Ale przy małych dyscyplinach ta liczba wzrasta. Przy 12 osobach – jeden opis na 6 osób. Proponowałabym wprowadzić dodatkowy próg – 1 opis wpływu w dyscyplinie liczącej do 50 pracowników.

Zgodnie z rozporządzeniem w określonych przypadkach ewaluowane jednostki mogą złożyć obok wymaganych opisów wpływu także dodatkowe.

Motywacja do pisania dodatkowych opisów jest jednak wątpliwa. Ocena jednostki to średnia z wszystkich złożonych opisów. W praktyce „najmocniejsze” opisy wpływu wystarczy złożyć w ramach liczby wymaganej. Wydaje się więc, że składanie „dodatkowych” opisów to tylko dodatkowa praca dla autorów i ewaluatorów… A jednak w 2021 r. złożono ich sto (na 1000 obowiązkowych).

Oczywiście, są sytuacje, kiedy składanie dodatkowych opisów może się opłacić, tu już wchodzimy na grunt „optymalizacji”…

Ponieważ dodatkowe opisy wpływu stanowią sztuczny dodatek, proponowałabym usunąć §23. 1 mówiący o dodatkowych opisach.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Zlikwidować premię 20% za interdyscyplinarność

Obecnie ocena każdego opisu wpływu zwiększana jest o 20% w przypadku gdy autorzy zamieszczą opis uzasadniający, że badania lezące u podstawy wpływu były interdyscyplinarne, a eksperci uznają tę argumentację. Jest to sztuczny dodatek niemający istotnego związku z tym, co jest przedmiotem ewaluacji. Czy wpływ (np. oszczędność w danym procesie produkcyjnym, skuteczność leku, atrakcyjność metody edukacyjnej) zwiększa się w zależności od tego czy wygenerowali go badacze z różnych dziedzin? Raczej nie. Równie dobrze moglibyśmy przyznać premię za inkluzywny zespół, umiędzynarodowienie czy inne cechy projektu leżącego u podłoża wpływu. Kryterium to generuje tylko szpalty pustosłowia (widziałam niewiele opisów, które NIE deklarowały interdyscyplinarności) i dodatkową pracę dla ekspertów.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Opublikować Podręcznik KEN (na czas)

Obok Ustawy i Rozporządzenia w ewaluacji, która odbyła się w 2022r. funkcjonował „Podręcznik dla ekspertów oraz ewaluowanych podmiotów w zakresie opisu wpływu…” wydany przez KEN. Regulował on (chociaż w niestandardowy „powielaczowy” sposób) szczegóły ewaluacji takie, jak oczekiwana treść poszczególnych pól dokumentu, charakter załączonych dowodów, proces oceny przez ekspertów. Te informacje istotnie wpływały na kształt przygotowywanych opisów wpływu. „Podręcznik” opublikowany 29.07.2021 r. jest już nieaktualny. Biorąc pod uwagę, że roztropne jednostki naukowe już (marzec 2025) pracują nad opisami wpływ, nowy Podręcznik powinien się ukazać… przedwczoraj.

W przyszłej ewaluacji wszystkie istotne zagadnienia związane z ewaluacją powinny być klarowane z dużym wyprzedzeniem, by umożliwić sensowne planowanie pracy.

Ta rekomendacja dotyczy dobrych praktyk.

Zmodyfikować opis dowodu

Rozporządzenie obecnie określa, że: „ocenę wpływu działalności naukowej… przeprowadza się na podstawie opisów związku między wynikami badań naukowych… a gospodarką sporządzonych na podstawie dowodów tego wpływu mających w szczególności formę raportów, publikacji naukowych i cytowań w innych dokumentach lub publikacjach.

Chociaż ten zapis nie wyklucza innych form dowodu, to jednak wymienione przykładowe typy dowodów należą w praktyce do rzadkich. Zakładają bowiem, że poza cyklem badania->publikacja->współpraca z otoczeniem->wpływ zaistniał dodatkowy cykl badania (na temat wpływu)->publikacja. To w moim doświadczeniu nietypowe. Zazwyczaj dowody na wpływ przyjmują formę dokumentów wystawionych przez instytucje współpracujące czy mediów (zwykle internetowych). Wysokiej jakości dowodem są też ankiety.

Obecny opis dowodu może zniechęcać naukowców do samodzielnego dokumentowania wpływu (a nawet do dążenia do wpływu w ogóle). Proponowałabym szeroką i otwartą definicję dowodu, a w praktyce uznawanie wszystkich wiarygodnych typów dowodu (również np. wywiadów z beneficjentami).

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Dodać formułę niejawnego opisu wpływu

Zdarza się, że naukowcy rezygnują ze zgłoszenia określonych działań jako przypadku wpływu gdyż są związani umową typu NDA z beneficjentem albo innym typem tajemnicy handlowej bądź gospodarczej. Ten problem może dotyczyć też innych wrażliwych danych np. w badaniach medycznych czy tych z obszaru obronności. Formuła niejawnego opisu wpływu, który po ocenie nie trafia do bazy Radon (lub trafia częściowo) pozwoliłby uniknąć tego problemu.

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Skrócić opinie opisowe

W brytyjskim systemie przyznaje się opisom wpływu jedynie punkty, w norweskim – ewaluatorzy przedstawiają tylko opis. W polskim systemie oceniana jednostka otrzymuje zarówno ocenę liczbową, jak i opis. To dobrze.

Problem polega na tym, że opinie są niezwykle długie (min. 800 znaków ze spacjami!).

Ewaluatorzy są więc zmuszeni do pisania elaboratów (które i tak zwykle dotyczą spełnienia aspektów formalnych). A dodatkowo nie są jawne (vide Ujawnić wyniki).

Ta rekomendacja dotyczy Rozporządzenia ws. Ewaluacji Jakości Działalności Naukowej.

Będę uzupełniać wpis. Zapraszam do dzielenia się Państwa sugestiami koniecznych zmian w „polskiej szkole” ewaluacji wpływu społecznego w komentarzach albo na kontakt@martawroblewska.pl

2025: co nowego ws. oceny wpływu społecznego? Zmiany w Rozporządzeniu

Journey of Progress theory of change cards

Jestem chyba jedną z nielicznych osób zadowolonych ze zmian proponowanych w rozporządzeniu ws. sprawie ewaluacji jakości działalności naukowej (projekt zmian z 14.03.2025).

W aspekcie ewaluacji wpływu społecznego ma zmienić się jedna rzecz, za to kluczowa. „Zasięg” (czyli jedno z kryteriów oceny) nie będzie już rozumiany geograficznie. Finally! Za takim rozwiązaniem lobbowałam już od 2018 r (vide mój list z uwagami do projektu rozporządzania z dnia 30 lipca 2018 do MNiSW). Kropla drąży skałę! Gdyby ktoś z KEN lub Ministerstwa potwierdził „ścieżkę wpływu” od moich publikacji do zmiany w rozporządzeniu miałabym piękny przykład wpływu społecznego!

W uzasadnieniu tej zmiany dotyczącej zasięgu wpływu społecznego mowa o tym, że „pozwoli … na docenienie w ewaluacji wpływu, który nie jest rozległy w znaczeniu terytorialnym, ale obejmuje całą potencjalną grupę odbiorców”. Problem z geograficznym rozumieniem zasięgu dotyczył wszystkich przypadków, gdy wpływ jest skierowany do konkretnej, lokalnej grupy beneficjentów (jak np. w przypadku choroby endemicznej, problemu środowiskowego dotyczącego określonego obszaru etc.) Jak czytamy w uzasadnieniu: „Zasięg wpływu może być bowiem ograniczony terytorialnie, ale równocześnie może być kompletny, jeżeli objął całkowicie swoim oddziaływaniem zjawisko, którego dotyczy, albo częściowy, jeżeli objął częściowo dane zjawisko itd. „

Nowe progi punktowe to:

50 pkt – w przypadku wpływu o międzynarodowym albo całkowitym zasięgu,

40 pkt – w przypadku wpływu o krajowym albo szerokim zasięgu,

30 pkt – w przypadku wpływu o regionalnym albo częściowym zasięgu,

20 pkt – w przypadku wpływu o lokalnym albo ograniczonym zasięgu,

0 pkt – w przypadku wpływu o marginalnym zasięgu

Geograficzne rozumienie zasięgu wpływu społecznego było jednym z najbardziej rażących niedociągnięć polskiego modelu oceny. Swoją drogą, pozostawało w jaskrawym kontraście z rozumieniem brytyjskim (z którego polski system ewaluacji wpływu społecznego czerpie). Wspaniale, że Ministerstwo dostrzegło konieczność zmiany w tym zakresie.

To jednak nie koniec pracy. W kontekście nadchodzącej „rewolucji” w ewaluacji (od cyklu zaczynającego się w 2026r.) warto przyjrzeć się też innym problemom. Stay tuned!

Ps. Jest też zła wiadomość: będę musiała przygotować poprawione (w tym aspekcie) wydanie Poradnika!

Na obrazku: karty Journey of Progress pomocne przy warsztatach dot. wpływu społecznego.

Jeden opis wpływu „waży” w ewaluacji tyle co 7 artykułów. Dlaczego więc wciąż debatujemy o publikacjach?

text impact written in pencil

Rok 2025 zamyka kolejny okres ewaluacji jakości działalności naukowej (2022-2025). To czas podsumowań, uzupełniania brakujących kawałków układanki, dopinania dokumentacji na ostatni guzik.

Oczywiście, nie mogło obyć się bez głosów wzywających do zaniechania ewaluacji lub zmiany jej formy na dobrowolną (na zasadzie „sprawdzianu na szóstkę, dla chętnych”).

Jestem daleka od bezwarunkowego entuzjazmu wobec obecnych przepisów ewaluacji, jednak nietrudno zauważyć że:

  1. Kształt ewaluacji został wypracowany w toku partycypacyjnego i bardzo czasochłonnego procesu jako część Ustawy 2.0. Kasowanie całej ewaluacji po jednej rundzie to wylewanie dziecka z kąpielą (pisałam o tym dla Times Higher Education – uwaga, paywall).
  2. Trochę późno na takie postulaty. Jakby moi studenci na przedostatnich zajęciach poprosili o odwołanie egzaminu lub zmianę jego charakteru na dobrowolny, przypomniałabym im zasady określone od początku semestru w syllabusie. Zdaje się, że tak samo działa prawo (w tym wypadku Ustawa o Szkolnictwie Wyższym i Nauce i Rozporządzenie Dz.U. 2019 poz. 392). Gdybym mimo wszystko się zgodziła na postulat grupy studentów, mogłabym się spodziewać problemów ze strony Dziekanatu i reszty studentów, którzy przez cały semestr rzetelnie przygotowywali się do egzaminu zgodnie z pierwotnie określonymi zasadami.

Paper mills – problem marginalny

Jednym z argumentów na rzecz zaniechania ewaluacji jest działalność paper mills. Dzięki nim, niektórzy naukowcy potrafili wygenerować dziesiątki lub nawet setki nieźle punktowanych publikacji poza prawidłową naukową ścieżką. Choć naganna, ta działalność ma jednak ostatecznie ograniczony wpływ na wyniki ewaluacji. Każdy naukowiec ma przypisane maksymalnie cztery „sloty”, więc nawet jeśli naprodukuje kilkaset artykułów, ostatecznie w danym okresie może wysłać do ewaluacji raptem cztery. Zakładając, że papierowych młynarzy jest mimo wszystko w gronie akademików mniejszość, te „szemrane” publikacje raczej nie przeważą szali ewaluacji. Za to inne dokumenty mogą uczynić to stosunkowo łatwo.

Wpływ społeczny, głupcze!

Nieodmiennie dziwi mnie, że wszystkie dyskusje dotyczące krytyki systemu ewaluacji skupiają się wyłącznie na publikacjach. A przecież kryterium „poziom naukowy lub artystyczny” (za który odpowiadają publikacje) to raptem jedno z trzech kryteriów oceny. Jego waga waha się od 50% dla dyscyplin inżynieryjnych, technicznych, rolniczych do 80% dla artystycznych. Niemało. A jednak każda zgłoszona w ramach ewaluacji publikacja odpowiada maksymalnie za 1% końcowej oceny danej dyscypliny. Tymczasem…

Każdy opis wpływu złożony w ramach trzeciego kryterium jest „wart” od 7 do nawet 67 razy tyle co pojedyncza publikacja! Pamiętajmy przy tym, że opisy wpływu to krótkie dokumenty (ok. 4 stron). A więc strona opisu wpływu „waży” w ewaluacji znacznie więcej (nawet 300 razy!) niż strona publikacji.

Wklejam obliczenia poniżej (zrzut z Excela).

Jaki z tego wniosek? Nie powinniśmy drzeć szat (jedynie) nad pierwszym kryterium. Zamiast tego warto porozmawiać serio o tym, jak ewaluowane jest kryterium trzecie. A jednak na ten moment (12.02.2025):

  • Nie opublikowano poszczególnych ocen opisów wpływu z poprzedniej ewaluacji ani ich uzasadnień. Skąd mamy wiedzieć, jak wygląda dobry opis wpływu?
  • Brak aktualnego „Podręcznika” zawierającego wskazówki dla ewaluowanych podmiotów (jeśli KEN planuje publikację analogiczną do tej z poprzedniej ewaluacji).

Są jeszcze inne problemy, o których pisałam w poprzednim wpisie i dodatkowe, które opiszę w kolejnym.

Inaczej niż wielu krytyków algorytmu oceny publikacji, nie uważam, że ewaluację należy „zaorać”. Wierzę w to, że trzecie kryterium ma szansę być elementem kształtującym pozytywne i przyszłościowe postawy w akademii. Jednak, żeby tak się stało, trzeba ewaluację wpływu społecznego w Polsce solidnie stuningować.

Instytucjom przygotowującym się do ewaluacji polecam zaś mój Poradnik.

Poniżej zrzuty z Excela obliczeń wagi pojedynczej publikacji i opisu wpływu (OW). Założenia: wszystkie publikacje jednoautorskie, długość standardowego opisu wpływu 4 strony, długość standardowej publikacji 20 stron. Dla dyscyplin artystycznych nie obliczam wagi poszczególnej strony publikacji, gdyż tu „sloty” można zapełnić również osiągnięciami artystycznymi.

Jak napisać opis wpływu. Poradnik

Druga edycja poradnika „Jak napisać opis wpływu” już jest!

Jeśli:

  • piszesz “opis wpływu”,
  • zajmujesz się przygotowaniem do ewaluacji III  kryterium od strony administracyjnej,
  • chcesz wiedzieć, dlaczego w każdej dobrej opowieści o wpływie badań musi być SMOK,
  • chciałbyś/chciałabyś, żeby twoje badania miały większy wpływ na rzeczywistość,

ten poradnik jest dla Ciebie!

Poradnik do nabycia w moim sklepiku na Naffy.io: https://www.naffy.io/marta-wroblewska

Poradnik „Jak napisać opis wpływu” to ponad 100 stron o wpływie społecznym: czym jest, jak się go ewaluuje i jak przygotować się do nadchodzącej ewaluacji. Autorka zajmuje się tematem ewaluacji wpływu społecznego od 10 lat, poświęciła mu doktorat i liczne publikacje naukowe i popularnonaukowe.

Opisy wpływu będą podstawą oceny w ramach tzw. “trzeciego kryterium” w Ewaluacji Jakości Działalności Naukowej 2022-2025. Zgodnie z Prawem o szkolnictwie wyższym i nauce z 2018 r., “wpływ społeczny” jest jednym z trzech kryteriów oceny jednostek naukowych. Odpowiada za nawet 20% wyniku ewaluowanej jednostki. “Wpływ społeczny” to innymi słowy realny wpływ na rzeczywistość prowadzonych przez naukowców badań. 

Przygotowanie “opisu wpływu” stanowi niemałe wyzwanie. Trudność sprawia zrozumienie pojęcia “wpływu”, wybranie najbardziej przekonujących jego przykładów oraz ujęcie ich w formę nowego gatunku tekstu, jakim jest “opis wpływu”.

“Wpływ społeczny” będzie w 2026 r. ewaluowany w Polsce po raz drugi. Poprzednia wersja tego ebooka, opublikowana w 2021 r., została pobrana ze strony internetowej autorki setki razy, dystrybuowano ją też w wielu uczelniach jako materiał pomocniczy. Obecna wersja wzbogacona jest o wnioski z poprzedniej ewaluacji.

Poradnik można kupić w moim sklepiku na platformie Naffy w czterech wersjach: licencja indywidualna, licencja dla małej jednostki (do 15 osób), licencja dla jednostki średniej wielkości (do 35 osób), licencja dla dużej jednostki (35 – 4000 osób).

Wersję promocyjną – pierwszych 20 stron – można pobrać za darmo (po rejestracji).

Poniżej zrzuty wybranych stron.

Okładka ebooka Jak napisać opis wpływu społecznego
Screenshot

Pisanie pracy pod moją opieką

Jestem obecnie zatrudniona na stanowisku adiunkta na Uniwersytecie SWPS w Warszawie. Pracuję na Katedrze Anglistyki ale zdarza mi się też prowadzić zajęcia dla studentów innych kierunków.

Prowadzone zajęcia:

  • Women’s writing. Reading old and new classics – seminarium (2022-23)
  • Academic Writing B.A. 1/2 – ćwiczenia (2021-23)
  • Writing Lab – ćwiczenia (2021/22)
  • Translation Theory – wykład (zaoczni, dzienni) – 2021-23
  • Language, discourse and the making of self – konwersatorium (2021-23)
  • Fakultet humanistyczny/psychologiczny: Język, dyskurs i techniki siebie (dzienni/zaoczni) (2022/23)
  • B.A. Seminar – seminarium dyplomowe (dzienni/zaoczni) (2021-23)

Zrealizowane dyplomy:

Jako promotorka wspieram studentów i studentki piszące pracę z zakresu analizy dyskursu, socjolingwistyki, teorii przekładu i innych obszarów. Szczególnie interesuje mnie społeczne konstruowanie znaczenia.

2023:

  • The Problem of Equivalence in the Polish translation of “The Peculiar Tales” by Ransom Riggs
  • Comparative discourse analysis of press articles on abortion rights in the United States after Dobbs v. Jackson Women’s Health Organization case (of 23 June 2023)
  • Violence in male-female relations in Colleen Hoover’s novels
  • The Witch Motif in Contemporary Culture on the Example of Florence and the Machine
  • Difficulties faced by beginning translators – a survey-based study
  • Anne or Andzia? Analysis of the 1912 and 2022 Translations of ‘Anne of Green Gables’ by Lucy Maud-Montgomery
  • Translation of queer slang in „Rupaul’s Drag Race”
  • Portrayal of Asians and Asian Americans in the movie „Crazy Rich Asians”
  • English borrowings in modern Polish language – a case study of women’s lifestyle and fashion magazines
  • „The modern Elizabeth Bennet. The impact of Jane Austen’s “Pride and Prejudice” on contemporary culture”
  • Discourse analysis of marketing campaigns of Apple “Think Different” and “Shot on iPhone” focused on elements of individuality
  • Gender in Translations: Analysis of the Translation of the Book „Girl, Woman, Other” by Bernardine Evaristo
  • Discourse Analysis of the Body Positivity Movement on TikTok: body positive vs body neutral accounts
  • Disco Elysium – A video game as a cracked mirror of our world
  • Women in movies of the 1960s. Analysis of portrayal of main figures in „Repulsion” and „Beata”
  • Content analysis of Melanie Martinez’s songs – adult themes through a child’s eyes

2022:

  • Shame and shaming in American TV shows
  • Omission in films adapted from American literature – a case study of three blockbusters
  • Language Barrier in the Condition of Relocation
  • The use of abbreviations and loanwords- language evolution
  • Ukrainian Employees in Polish Companies. Multilingual Communication
  • Parents’ attitudes to bilingual education: a survey amongst parents in Warsaw 2022
  • Non-binary and gender-neutral language – analysis of translation techniques employed by Polish audiovisual translators
  • Language learning motivation techniques used by teachers of young learners in the Teddy Eddie and Savvy Ed methods
  • The importance of linguistic correctness in English language used on the Internet and social media
  • Seeing beyond the binary – an exploration of attitudes and experiences of Polish queer teenagers who use non-binary pronouns
  • Analysis of Translation Strategies Applied in the Polish Dubbed Version of the Animated Film „The Cars”
  • A discourse analysis of a social movement on Instagram: #normalizenormalbodies
  • „Mansplaining” and “Manterruption” as a Reflection of Socio-Cultural Phenomenon
  • Communication strategies in sports – based on a case study of two local multilingual football clubs
  • A comparative analysis of Lewis Carroll’s Alice in Wonderland and its three screen adaptation

Jeśli jesteś zainteresowany/a studiowaniem ze mną – zapraszam na anglistykę SWPS w Warszawie!

Co dalej z ewaluacją wpływu społecznego? AD 2024

Jest nowy rząd, odżyła więc dyskusja o Ustawie o Szkolnictwie Wyższym. Na jej marginesie mówi się też o polskim modelu ewaluacji jakości działaności naukowej. Niektórzy wskazują na patologie systemu i wzywają do jego całkowitego „zaorania” [1, 2]. Nowy minister nauki zapowiada jednak, że nie będzie rewolucji [3]. To dobrze – bo pośród wielu palących potrzeb sektora nauki jest też potrzeba stabilizacji i przewidywalności systemu.

Nie ma dla mnie wątpliwości, że tzw. listy czasopism punktowanych bronić nie warto. Jej związek z realnymi akademickimi standardami, nawet bez kuriozalnych dopisków, był nader luźny. Nie specjalizuję się w bibliometrii, więc nie mam pomysłu, jak optymalnie mierzyć jakość publikacji. Jestem jednak przekonana, że nieunikniona dyskusja o modelu ewaluacji jakości działalności naukowej jest szansą, żeby naprawić element „wpływu społecznego”. Poniżej kilka kluczowych, moim zdaniem, punktów do rozważenia.

[Moje wprowadzenie do tematyki wpływu społecznego można znaleźć tu].

Czy „wpływ społeczny” powinien być utrzymany w nowym modelu ewaluacji?

Tak.

Uwzględnienie w ewaluacji jakości działalności naukowej wpływu społecznego jest trendem międzynarodowym, niewykluczone, że najważniejszym w ostatnich latach.

Odkąd ewaluację wpływu społecznego wprowadzili w REF 2014 Brytyjczycy, fala „impactowa” zatacza coraz szersze kręgi. „Wpływ” ewaluują w Europie Holendrzy, Włosi, Norwegowie, Irlandczycy. Ewaluację wzorowaną na brytyjskiej ma też Hongkong. Intensywnie możliwością wprowadzenia ewaluacji zajmują się RPA, Kanada, Australia.

Poniżej mapa stanu prac nad politykami w obszarze wpływu społecznego na rok 2023 (opracowanie MW w oparciu o [4]).

Fakt że Polska wprowadziła ewaluację wpływu już w 2018 r. (wraz z Ustawą 2.0) i że mamy za sobą już jedną rundę ewaluacji, wysuwa nasz system na pozycję awangardy, jeśli chodzi o doświadczenie w ewaluacji wpływu społecznego. Jeśli moje badania nad polskim systemem wzbudzają zainteresowanie w Wielkiej Brytanii, Irlandii i Chinach, jest to głownie za sprawą elementu wpływu społecznego – wszyscy chcą wiedzieć jak to robimy, i co z tego wynika.

Problem polega na tym, że robimy to nie najlepiej i na ten moment niewiele z naszego doświadczenia wynika…

Co należy zmienić?

Po pierwsze: dodać (oficjalną) definicję

W Rozporządzeniu [5] brakuje definicji wpływu społecznego analogicznej do tej funkcjonującej w brytyjskim kontekście. Poniżej wyimek z Rozporządzenia (wszystkie ilustracje poniżej są fragmentami cytowanego Rozporządzenia).

Wpływ społeczny nieco dokładniej opisano w Podręczniku dla ekspertów [6]…, ale wciąż nie jest to definicja jednoznaczna, rozwiewająca wszystkie wątpliwości. W dodatku sam Podręcznik firmowany przez KEN jest dokumentem funkcjonującym „bez żadnego trybu” – nie ma statusu rozporządzenia. Stąd w zasadzie trudno byłoby wymagać, żeby jednostki stosowały się do zapisów Podręcznika. Nie wiemy też, czy treść Podręcznika dotyczy ewaluacji, która miała miejsce w 2021/22 r., czy też będą obejmowały kolejną ewaluację.

Definiowanie pojęcia „impact” w Wielkiej Brytanii było długim, kolektywnym procesem (który de facto wciąż trwa). Musimy wiedzieć „co” i dlaczego właściwie ewaluujemy.

Po drugie: debata

Tak dochodzimy do kolejnego punktu: konieczności szerszej debaty i dyskusji wokół „wpływu” przed kolejną ewaluacją. Hektolitry atramentu wylano na temat nieszczęsnej listy czasopism, a o wpływie społecznym (który odpowiada wszak za 20% oceny ewaluowanej jednostki) mało kto się zająknął.

W efekcie wiele jednostek do samego końca poprzedniego okresu ewaluacyjnego (albo i jeden dzień dłużej) nie miało pojęcia czym ów „wpływ” jest. To marnowanie czasu ewaluatorów, którzy muszą czytać opisy wpływu dotyczące de facto samych badań, a w najlepszym wypadku ich popularyzacji…

Żeby „wpływ społeczny” zagościł w polskiej kulturze akademickiej jako istotny element oceny wartości pracy naukowców, musimy odbyć debatę o tym, jak na naszym gruncie zdefiniujemy to pojęcie.

Po trzecie: elastyczność

W toku prac nad nowym elementem oceny, pracownicy ministerstwa podkreślali otwartość na szeroką definicję „wpływu”. Tymczasem, zapisy rozporządzenia, a jeszcze bardziej Podręcznika, bezlitośnie dookreślają kryteria oceny w zakresie „zasięgu” i „znaczenia”. W mojej ocenie katastrofalne jest przypisanie tym pojęciom sensu geograficznego.

W efekcie maksymalną liczbę punktów za opis wpływu można uzyskać jedynie, jeśli przedstawi się „opis wpływu o międzynarodowym zasięgu i znaczeniu”. Dla porównania, w Wielkiej Brytanii kryteria „zasięgu” i „znaczenia” pozostają niedookreślone (zaś explicite zabrania się interpretowania ich geograficznie). W rezultacie brytyjski naukowiec może otrzymać maksymalną ocenę opisu wpływu, który dotyczy wartościowego działania lokalnego, zaś polski naukowiec musiałby uzyskać międzynarodowy zasięg. Wydaje mi się to megalomanią i hybris.

A zatem należy zrezygnować ze sztywnego przydzielania punktów w tych dwóch kategoriach na rzecz bardziej jakościowego podejścia, niezwiązanego z aspektem geograficznym.

Po czwarte: jawność ocen

Jednostki naukowe wprawdzie otrzymują ocenę opisową, ale ani ocena opisowa ani punktowa nie jest upubliczniana w bazie RAD-ON. Skąd mamy więc wiedzieć, które opisy zostały przez ewaluatorów ocenione wysoko, a które nisko?

Moje obserwacje na ten temat zawrę w nowej wersji „Poradnika: Jak napisać opis wpływu”.

Wydaje mi się jednak wskazane, żeby te informacje (choćby zbiorczo, dla całych jednostek) były upubliczniane, byśmy jako wspólnota akademicka mogli uczyć się na błędach (i sukcesach).

Na razie zaufanie do procesu oceny jest na niskim poziomie. Użytkownicy X pisali o „cudach nad urną”, i trudno się dziwić biorąc pod uwagę liczbę złożonych i pozytywnie rozpatrzonych odwołań – odwoływała się co druga ewaluowana jednostka [vide 7], a Minister obiecywał pozytywnie rozpatrzyć większość odwołań [8].

Po piąte: zrezygnować z „dodatkowych” opisów

Zgodnie z rozporządzeniem w określonych przypadkach ewaluowane jednostki mogą złożyć obok wymaganych opisów wpływu także dodatkowe.

Tylko po co? Ocena jednostki to średnia z wszystkich złożonych opisów. W praktyce „najmocniejsze” opisy wpływu wystarczy złożyć w ramach liczby wymaganej. Wydaje się więc, że składanie „dodatkowych” opisów to tylko dodatkowa praca dla autorów i ewaluatorów… A jednak w 2021 r. złożono ich sto (na 1000 obowiązkowych).

Po szóste: zrezygnować z „dodatkowych” punktów za interdyscyplinarność

Zgodnie z rozporządzeniem można ubiegać się o 20% „premii” w przypadku opisu wpływu dotyczącego interdyscyplinarnych badań naukowych lub prac rozwojowych o przełomowym znaczeniu dla rozwoju nauki.

Z mojej perspektywy „interdyscyplinarność” jako element oceny opisu wpływu to kwiatek do kożucha. Nie rozumiem dlaczego wpływ oparty na badaniach interdyscyplinarnych miałby być bardziej wartościowy od tego wynikającego z badań w obrębie dyscyplin (czy lek stworzony przez farmaceutów we współpracy z artystami będzie lepiej leczył niż ten, który przygotowali sami farmaceuci?).

No i dlaczego w kryterium „wpływu społecznego” mielibyśmy w ogóle oceniać jakość samych badań?

Po siódme: skrócić opinie opisowe

W brytyjskim systemie przyznaje się opisom wpływu jedynie punkty, w norweskim – ewaluatorzy przedstawiają tylko opis. W polskim systemie ewaluowana jednostka otrzymuje zarówno ocenę liczbową, jak i opis. To dobrze.

Problem polega na tym, że opinie są niezwykle długie.

Ewaluatorzy są więc zmuszeni do pisania elaboratów (które i tak zwykle dotyczą spełnienia aspektów formalnych).

A zatem…

Obserwacja systemu brytyjskiego wskazuje, że wprowadzenie elementu ewaluacji wpływu społecznego ma pozytywny efekt stymulujący.

Po początkowym szoku, naukowcy raportują pozytywne nastawienie do elementu „impact” – mówią o dowartościowaniu zaangażowanych, mających wpływ na świat badań, o dodatkowych środkach na ich wsparcie, o pewnym „przetasowaniu” w hierarchiach. Pozytywny efekt w postaci zmiany „kultury akademickiej” występuje jednak dopiero przy długotrwałej spójnej ewaluacji (nie wystarczy „wpływu” ocenić raz).

W Wielkiej Brytanii odbyły się już dwie tury ewaluacji uwzględniające element wpływu społecznego (w 2014 i 2021), pełną parą idą przygotowania do kolejnej. Waga tego elementu oceny wzrosła w tym czasie z 20 do 25%, podczas gdy waga publikacji spadła z 70 do 50%.

Podsumowując: nie potrzebujemy kolejnej rewolucji, a mądrej ewaluacji podejścia do wpływu.

Cytowane teksty:

[1] Aleksander Temkin https://www.onet.pl/informacje/onetwiadomosci/uczelnie-po-ministrze-czarnku-wymagaja-pilnych-zmian/mzy0d85,79cfc278

[2] Marcin Miłkowski https://miesiecznik.forumakademickie.pl/czasopisma/fa-11-2023/hodowla-szczurzych-ogonow%E2%80%A9/?fbclid=IwAR0Qo0FTjVVGODZVUNv7gnAoUiJFaJjcDHj8t3Ta7MF_MerHYWTtRG2Mz3U

[3] https://naukawpolsce.pl/aktualnosci/news%2C99781%2Cminister-nauki-nie-planuje-zadnych-dzialan-rewolucyjnych-ewolucyjne.html

[4] Reed, M. S., Ferré, M., Martin-Ortega, J., Blanche, R., Lawford-Rolfe, R., Dallimer, M., & Holden, J. (2021). Evaluating impact from research: A methodological framework. Research Policy, 50(4), 104147. https://doi.org/10.1016/j.respol.2020.104147

[5] Dziennik Ustaw Rzeczypospolitej Polskiej. (2019). Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 22 lutego 2019 w sprawie ewaluacji jakości działalności naukowej (Dz. U. 2019, poz. 392). https://isap.sejm.gov.pl/isap.nsf/DocDetails.xsp?id=WDU20190000392

[6] Komisja Ewaluacji Nauki. (2021). Podręcznik dla ekspertów oraz ewaluowanych podmiotów w zakresie opisu wpływu działalności naukowej na funkcjonowania społeczeństwa i gospodarki. https://polon.nauka.gov.pl/pomoc/knowledge-base/podrecznik-dla-ekspertow-oraz-ewaluowanych-podmiotow-w-zakresie-opisu-wplywu-dzialalnosci-naukowej-na-funkcjonowania-spoleczenstwa-i-gospodarki/

[7] https://serwisy.gazetaprawna.pl/edukacja/artykuly/8536603,ewaluacja-szkolnictwo-wyzsze-mein-przemyslaw-czarnek.html

[8] https://perspektywy.pl/portal/index.php?option=com_content&view=article&id=7510:ewaluacja-wiekszosc-odwolan-bedzie-rozpatrzona-pozytywnie&catid=24&Itemid=119

Dydaktyka

Jestem obecnie zatrudniona jako pracownik naukowo-dydaktyczny na Uniwersytecie SWPS w Warszawie. Pracuję na Katedrze Anglistyki ale prowadzę też zajęcia dla studentów innych kierunków.

Prowadzone zajęcia:

2021-2023:

Wykłady/konwersatoria:

Women’s writing. Reading old and new classics (2022-24)

Translation Theory (2021-24)

Fakultet humanistyczny/psychologiczny: Język, dyskurs i techniki siebie (2022/23)

Language, discourse and the making of self (2021-23)

Ćwiczenia/warsztaty:

Academic Writing (2021-24)

Writing Lab (2021/22)

B.A. Seminar – seminarium dyplomowe (dzienni/zaoczni) (2021-24)

Zrealizowane dyplomy:

Jako promotorka wspieram studentów i studentki piszące pracę z zakresu analizy dyskursu, socjolingwistyki, teorii przekładu i innych obszarów. Szczególnie interesuje mnie społeczne konstruowanie znaczenia.

2023:

  • English borrowings in modern Polish language – a case study of women’s lifestyle and fashion magazines
  • The modern Elizabeth Bennet. The impact of Jane Austen’s “Pride and Prejudice” on contemporary culture
  • Translation of queer slang in Rupaul’s Drag Race
  • Comparative discourse analysis of press articles on abortion rights in the United States after Dobbs v. Jackson Women’s Health Organization case
  • Violence in male-female relations in Colleen Hoover’s novels
  • Portrayal of Asians and Asian Americans in the movie „Crazy Rich Asians”
  • Discourse analysis of marketing campaigns of Apple “Think Different” and “Shot on iPhone” focused on elements of individuality
  • Difficulties faced by beginning translators – a survey-based study
  • Anne or Andzia? Analysis of the 1912 and 2022 Translations of ‘Anne of Green Gables’ by Lucy Maud-Montgomery
  • The Witch Motif in Contemporary Culture on the Example of Florence and the Machine

2022:

  • Parents’ attitudes to bilingual education: a survey amongst parents in Warsaw 2022
  • Non-binary and gender-neutral language – analysis of translation techniques employed by Polish audiovisual translators
  • Techniki motywacyjne w nauce języków obcych stosowane przez nauczycieli uczących młodych uczniów metodami Teddie Eddie i Savvy Ed
  • Znaczenie poprawności językowej w języku angielskim wykorzystywanym w Internecie i mediach społecznościowych
  • Seeing beyond the binary – an exploration of attitudes and experiences of Polish queer teenagers who use non-binary pronouns
  • Analysis of Translation Strategies Applied in the Polish Dubbed Version of the Animated Film „The Cars”
  • A discourse analysis of a social movement on Instagram: #normalizenormalbodies
  • „Mansplaining” and “Manterruption” as a Reflection of Socio-Cultural Phenomenon
  • Communication strategies in sports – based on a case study of two local multilingual football clubs
  • A comparative analysis of Lewis Carroll’s Alice in Wonderland and its three screen adaptation

Jeśli jesteś zainteresowany/a studiowaniem ze mną – zapraszam na anglistykę SWPS w Warszawie!

Mama na uczelni – blaski i cienie pracy naukowej

Zebra i komputer

Naukowcy pracują dydaktycznie parę godzin w tygodniu. Co robią przez resztę czasu? „Praca naukowa”, czyli gotowanie obiadków i bawienie dzieci.

Powyższe zdanie przeczytałam wiele lat temu na forum gazeta.pl w dyskusji poświęconej pracy na uczelni. Utkwiło mi w pamięci. Jako aspirująca naukowczyni poczułam się wówczas urażona tak prześmiewczą wizją pracy naukowej. Potem jednak, jako zatrudniona na urzędniczym etacie mama czasem wzdychałam do pracy, w której rzeczywiście można sobie zrobić kilkugodzinną przerwę na domowe obowiązki czy nawet kilkudniową (!) przerwę na spędzenie czasu z dzieckiem.

Czy praca na uczelni rzeczywiście oferuje elastyczność i niezależność, tak potrzebną młodym rodzicom?

Właśnie dobiega końca mój pierwszy rok pracy na uczelni. Ta praca to spełnienie marzeń, ale jednocześnie weryfikacja wcześniejszych, może nieco naiwnych, wyobrażeń o tym typie zatrudnienia.

Dziś napiszę o tym, jakie są blaski i cienie łączenia pracy na uczelni z macierzyństwem.

Do blasków zaliczam: elastyczność na codzień, długie wakacje i przywileje dla mam w agencjach grantowych.

Do cieni zaś: pozorność wspomnianej elastyczności i niedostępność urlopów chorobowych.

Blaski

Elastyczność na codzień

Jako pracownik badawczo-naukowy mam pensum wynoszące 240 godzin rocznie (etat). To oznacza, że tyle godzin powinnam spędzić „na sali”. Standardowy wykład ze studentami dziennymi to 30 godzin, ze studentami zaocznymi – 20 godzin. W praktyce oznacza to, że w tygodniu „zjazdowym” prowadzę od 4 do 6 półtoragodzinnych zajęć ze student(k)ami. To 9 godzin pracy w tygodniu. W nowym roku będę też prowadziła ponad pensum dodatkowo 3 godziny zajęć ze student(k)ami innego kierunku. To nadal maksymalnie 16,5 godziny. Jeśli dodać do tego godzinny dyżur dla studentek dziennych i zaocznych, zbliżamy się do połowy klasycznego etatu (czyli 20 godzin tygodniowo). To w roku akademickim – na mojej uczelni od końca września do połowy lipca.

Dwadzieścia godzin pracy w tygodniu przez dziesięć miesięcy w roku? Brzmi to dość lightowo. Jednak podobnie jak w przypadku pensum dydaktycznego nauczyciela (18 godzin przy tablicy) pozory mogą mylić...

W drugiej części wpisu tłumaczę dlaczego.

Wakacje

Można przyjąć, że w okresie wakacyjnym mam dwa miesiące „wolnego” (lub niemal wolnego).

Piszę ten tekst w połowie sierpnia. Odkąd w drugiej połowie lipca skończyły się egzaminy licencjackie mam „wolne”. Zajęcia zaczną się dopiero pod koniec września.

Czy cały ten czas spędzę relaksując się w wiklinowym fotelu, leniwie przerzucając karty „Przekroju”, podczas gdy dziecko pluska się w ogrodowym baseniku?

Otóż nie cały. Muszę też przygotować sylabusy na nowy rok akademicki, pomyśleć o konkursach i projektach, w których chcę jeszcze w tym roku wziąć udział. Od września będę też dostępna dla studentów i studentek, którzy chcą bronić prace licencjackie na jesieni. Gdyby nie to, że w tym roku wysłałam już dwa artykuły do recenzji, zapewne frenetycznie bym teraz pisała.

Tym niemniej, uważam że dwa miesiące w roku, kiedy człowiek nie pracuje lub pracuje całkiem w swoim tempie i z dowolnego miejsca na świecie (działeczka, przyczepa nad morzem) to niezwykły atut tej pracy!

„Przywileje” dla mam w agencjach grantowych

W przypadku kariery naukowej dużym ułatwieniem dla mam (które nie zawsze stosuje się do ojców) są przywileje przy składaniu wniosków grantowych. Najczęściej dotyczy to „wydłużenia” czasu na składanie wniosków w ramach grantów dla „młodych” (stażem) naukowców. Często mamy naukowcy mogą liczyć na dodanie 1,5 roku za każde urodzone lub przysposobione dziecko. Tak jest w przypadku grantu NCN Sonata, czy ERC Starting Grant (obydwa dla naukowców do 7 lat po doktoracie).

Istnieją też stypendia dla mam wracających do pracy naukowej po przerwie związanej z macierzyństwem. Taką formę ma np. MSCA Restart.

W wielu innych zawodach czas spędzony w domu z dzieckiem faktycznie matce „przepada” z perspektywy kariery. Rozwiązania dla mam uważam za (słusznie się należący i) istotny przywilej.

Cienie

(Pozorna) elastyczność

W poprzedniej części wpisu chwaliłam elastyczność pracy na uczelni. Niestety, jak to bywa z elastyczną pracą, przyjmuje ona formę masy (tzw. blob), która rozlewa się na życie prywatne.

Do godzin spędzonych faktycznie na sali dochodzą:

  • czas przygotowania zajęć (od sylabusu, przez zebranie i udostępnienie materiałów, zaplanowanie ćwiczeń, po wystawianie ocen końcowych),
  • sprawdzanie prac (w przypadku quizu online sprawdzenie zadań całej grupy zajmuje parę minut, ale w przypadku esejów czy prac licencjackich czasem trzeba poświęcić godzinę i więcej na jeden tekst),
  • korespondencja ze student(k)ami,
  • zebrania Rady Wydziału i Instytutu, rozmaite sprawy organizacyjne ad hoc,
  • udział w egzaminach licencjackich (w tym czytanie prac studentów i pisanie recenzji),
  • dodatkowa praca związana z byciem promotorką (np. śledzenie tematów badawczych, które mogłyby studentów zainteresować, staranie się o recenzentów złożonych prac).

A to tylko prace związane z dydaktyką. Jako naukowiec mam też obowiązek prowadzić badania, publikować i starać się o granty.

Znajomy naukowiec podsumował tę kondycję:

Na uczelni pracujemy osiemnaście godzin na dobę. Ale za to możemy wybrać, KTÓRE osiemnaście godzin!

Zwolnienie chorobowe – nie dla naukowca!

Pod koniec roku akademickiego rozmawiałam z koleżanką z pracy, która miała objawy wypalenia zawodowego. W nocy stres nie dawał jej spać, rano z trudem wstawała. Zapytała mnie, czy wiem co trzeba zrobić, żeby dostać zwolnienie lekarskie. Powiedziałam, że to nic trudnego – w zasadzie wystarczy zadzwonić do lekarza, powiedzieć jakie występują objawy (u siebie lub dziecka) i poprosić o zwolnienie. Byłam zaskoczona, że tego nie wiedziała – wygląda na to, że przez wiele lat pracy na uczelni nie korzystała ze zwolnienia ani razu… Swoją drogą, ja też przez cały rok pracy nie wzięłam ani dnia zwolnienia.

W przypadku pracownika uczelni zwolnienie lekarskie właściwie nie ma sensu.

Za okres zwolnienia otrzyma się bowiem tylko 80% wynagrodzenia, a zajęcia i tak trzeba będzie odpracować. Nikt nie sprawdzi za nas prac, nikt nie przeczyta prac naszych licencjantów, a już na pewno nikt nie napisze za nas zaległych artykułów. Wykonamy więc 100% pracy, a otrzymamy tylko 80% wynagrodzenia.

Tak więc, o ile nie jesteśmy obłożnie chorzy / chore, zaciskamy zęby i pracujemy.

W mojej poprzedniej pracy w instytucji publicznej, korzystanie ze zwolnienia zdrowotnego (w granicach rozsądku) było postrzegane jako sprawa absolutnie normalna. Kiedy z powodu pandemii zamknięty był żłobek, wzięłam nawet jednorazowo 3 tygodnie zwolnienia! W obecnej pracy nie wykorzystam nawet przysługujących na opiekę nad dzieckiem dwóch dni „opiekuńczych”.

Podsumowując…

Na uczelni nie ma raju mam. Ale nie ma go też nigdzie indziej 🙂