Ewaluacja wpływu społecznego à la polonaise – różnice między ewaluacją wpływu społecznego w Polsce i UK

notepad with word impact

Polska wersja ewaluacji wpływu z wiernej kopii swojego brytyjskiego prototypu wyewoluowała w zupełnie innym kierunku.

Ewaluację wpływu społecznego przeprowadzono w Polsce po raz pierwszy w ramach Ewaluacji Jakości Działalności Naukowej 2021/22. Termin składania opisów wpływu minął 15 stycznia 2022. Obecnie naukowcy niecierpliwie wyglądają wyników ewaluacji. Wyglądają ich też rektorzy i dziekani wydziałów, gdyż wyniki ewaluacji mają bezpośrednie przełożenie na finansowanie jednostek oraz ich prawa.

Wpływ społeczny: import z UK

Pierwsza wzmianka o uwzględnieniu elementu “wpływu społecznego” w polskiej ewaluacji jednostek naukowych pojawiła się w Białej Księdze Innowacji opublikowanej w 2016 przez Ministerstwo Nauki i Szkolnictwa Wyższego. Dokument zapowiadał “wprowadzenie do oceny jednostek – na wzór Wielkiej Brytanii elementu „social impact” – wpływu, jaki uczelnia wywiera na gospodarkę i społeczeństwo”. Wpływu społeczny stał się jednym z trzech kryteriów oceny jednostek naukowych w nowym modelu wprowadzonym na mocy Ustaw 2.0 (i rozporządzenia do niej).

Czym jest owo “brytyjskie podejście do ewaluacji wpływu społecznego”? Jest to element systemu Research Excellence Framework (REF) wdrożony, przy wielkim poruszeniu świata naukowego, w 2014 r. Uwzględnienie wśród kryteriów oceny prac naukowych ich wpływu “poza akademią” zrewolucjonizowało brytyjską ewaluację badań naukowych. Krok ten miał też konsekwencje sięgające daleko poza granice Zjednoczonego Królestwa. Podobnie jak wiele innych nowinek z brytyjskiego systemu nauki, ewaluacja wpływu społecznego była pilnie obserwowana, i często również naśladowana przez decydentów na całym świecie. Stało się tak między innymi w Norwegii i w Polsce.

Epizod norweski wpływu społecznego

W latach 2015-18 Norwegia eksperymentowała z podejściem do ewaluacji wpływu społecznego opartym o metodologię “opisów wpływu” wzorowaną na REF.

Norwegia wprowadziła ewaluację wpływu społecznego do swojego systemu naukowego “na miękko”. W przeciwieństwie do Wielkiej Brytanii wyniku ewaluacji nie był powiązany z późniejszym finansowaniem jednostek. Nie przyznawano też ocen w skali punktowej. W związku z tym niemożliwe było tworzenie “rankingów”. Zamiast tego, norwescy naukowcy otrzymywali opisową informację zwrotną.

Takie podejście, jak wykazały moje badania prowadzone w Norwegii, pozwoliły uniknąć oporu środowiska i nadmiernego obciążenia pracowników odpowiedzialnych za redagowanie opisów wpływu.

Polskie i brytyjskie podejście do wpływu społecznego – podobieństwa

Polskie podejście do “wpływu społecznego” jest na pierwszy rzut oka bliźniaczo podobne do brytyjskiego. Podobieństwa między modelem brytyjskim a polskim obejmują:

  • zastosowanie metodologii opisów wpływu,
  • strukturę pól formularza opisu wpływu,
  • język opisów (obowiązkowe było złożenie angielskiego przekładu tekstu).
  • Podobna jest też “waga” elementu wpływu. W polskiej ewaluacji wynosi ona 20% (dla grupy nauk społecznych i humanistycznych). W REF 2014 było to 20%, zaś w REF 2021 waga wzrosła do 25%.

Wystarczy przyjrzeć się nieco dokładniej dokumentacji, by zrozumieć, że podobieństwa między polskim a brytyjskim podejściem są powierzchowne. Różnice uzmysławiają zaś na jak bardzo zakorzenione jest w polskiej tradycji podejście “parametryczne” do ewaluacji nauki.

Różnica pierwsza: debata (lub jej brak)

Wpływ społeczny wprowadzono do polskiego systemu ewaluacji w ramach Ustawy 2.0. Ustawę wypracowano w toku intensywnego dialogu Ministerstwa ze środowiskiem. Ponieważ Ustawa obejmowała całość kwestii związanych ze szkolnictwem wyższym i badaniami naukowymi (a więc sprawy tak różnorodne, jak kształcenie doktorantów, awans zawodowy naukowców czy właśnie ewaluacja jakości badań )– samemu elementowi oceny wpływu społecznego poświęcono w debacie niewiele uwagi. W rezultacie nie było czasu na “przepracowanie” pojęcia wpływu społecznego przez wspólnotę naukową. Proces ten miał ogromne znaczenie w kontekście brytyjskim – podkreślał to w rozmowie ze mną jeden z “ojców” brytyjskiego modelu ewaluacji wpływu.

Po drugie: pilotaż

Ministerstwo zamówiło badanie pilotażowe opisów wpływu, ale wyniki okazały się niejednoznaczne, zaś samych ocen poszczególnych opisów wpływu nigdy nie opublikowano. Zatem, podczas gdy w Wielkiej Brytanii instytucje mogły przygotować się do włączenia wpływu społecznego do REF 2014 podczas wielu rund konsultacji (poprzedzonych pilotażem), a w Norwegii sama ocena została potraktowana jako “próba”, w Polsce ocena wpływu społecznego spadła na naukowców jak grom z jasnego nieba.

Nawet w ostatnim kwartale 2022r., gdy zbliżał się ostateczny termin składania opisów wpływu, na uczelniach skupiano się przede wszystkim na żonglowaniu publikacjami, które miały zapełnić “sloty”. Nie wszyscy zdawali sobie sprawę, że to złożone opisy wpływu wpłyną na ocenę jednostki bardziej niż jakakolwiek pojedyncza publikacja. Trzeba przyznać, że pojawiające się niemal do ostatniej chwili kuriozalne zmiany w liście publikacji punktowanych skutecznie odciągała uwagę naukowców od innych aspektów ewaluacji.

Po trzecie: brak definicji “wpływu” i zbyt dosłowne stosowanie kryteriów

Oficjalna polska dokumentacja nie podaje explicite definicji wpływu społecznego. Liczne fragmenty wskazują jednak na szeroką interpretację pojęcia, zbliżoną do wersji brytyjskiej. To dobrze.

Niestety, same kryteria oceny są rozumiane bardzo dosłownie.

Wpływ społeczny ocenia się, tak jak w REF, w kategoriach “zasięgu” i “znaczenia”. Inaczej niż w systemie brytyjskim jednak oba pojęcia zostały jednak precyzyjnie zdefiniowane, a każdy z elementów odpowiada za 50% oceny. Zasięg rozumiany jest geograficznie i tylko międzynarodowy zasięg wpływu może uzyskać maksymalną liczbę punktów. W brytyjskim podejściu ewaluatorzy przyglądają się obu kryteriom zbiorczo. Dokumentacja brytyjska podkreśla, że zasięg nie powinien być rozumiany geograficznie.

W UK zatem opis wpływu dotyczący badań, które zmieniły na praktykę zawodową w danym regionie mogą uzyskać maksymalną ocenę. W Polsce na taką ocenę mogą liczyć jedynie badania o wpływie międzynarodowym. Jednym słowem, polskim naukowcom poprzeczkę zawieszono wyżej niż ich brytyjskim kolegom!

Po czwarte: kwiatek do kożucha

Wreszcie, niektóre z różnic między polskim a brytyjskim systemem są po prostu… dziwne. Na przykład, istnieje ścieżka dla dodatkowych opisów wpływu opartych o „wybitne monografie” lub „słowniki biograficzne”. Punktacja każdego opisu wpływu może zostać podwyższona o 20% za interdyscyplinarność prowadzonych prac (jeszcze nie widziałam opisu wpływu, który nie zgłaszałby roszczenia do interdyscyplinarności).

Niemal w ostatniej chwili limit słów w sekcji dotyczącej opisów badań został zwiększony, co sugeruje nieoczekiwany nacisk na jakość samych badań (a nie właściwego przedmiotu oceny, czyli wpływu).

Po piąte: brak specjalistycznego wsparcia na uczelni

Na uczelniach w Wielkiej Brytanii szybko stworzoną tzw. “infrastrukturę wpływu”. Składają się na nią wszystkie elementy, które wspierają generowanie wpływu i jego dokumentowanie. Już w pierwszej rundzie większość autorów i autorek opisów wpływu mogło liczyć na wsparcie wyspecjalizowanych pracowników – impact officers. Obecnie istnieją na uczelniach oddzielne “impact centres” – coś jak centra transferu technologii, ale rozumiane znacznie znacznie szerzej. Działają też komercyjne firmy oferujące doradztwo w tym zakresie (Fast Track Impact, Emerald Impact Services). Dostępne są też podręczniki ułatwiające zrozumienie pojęcia wpływu i zastosowanie go we własnej karierze naukowej. W Polsce jedyną tego typu publikacją jest w tej chwili mój Poradnik.

Ewaluacja wpływu społecznego: co dalej?

Złożone w polskiej ewaluacji opisy wpływu zostały już udostępnione w ramach bazy danych. Wraz z punktacją ewaluatorzy mają przedstawić opisową informację zwrotną (tego elementu nie ma w UK).

Z uwagi na sposób wprowadzenia oceny wpływu społecznego w Polsce, z pominięciem debaty i odpowiedniego wsparcia, sam wpływ społeczny nadal jest ideą słabo rozumianą. To przekłada się na nierówną jakość opisów wpływu. Po przeczytaniu kilkudziesięciu z nich, nie zazdroszczę ewaluatorom (i nie dziwię się, że publikacja wyników wciąż się odwleka).

Powyższy tekst ukazał się oryginalnie 07.04.2022 w j. angielskim pod tytułem “Poland’s impact evaluation gets lost in translation” w czasopiśmie “Research Europe” i na portalu Research Professional News.

“Jak napisać opis wpływu? Poradnik” – mój darmowy e-book

Wpływ społeczny impact

Zapraszam do pobrania darmowego poradnika!

Poradnik powstał na podstawie mojej wieloletniej przyjaźni (a raczej love-hate relationship) z gatunkiem tekstu, jakim jest “opis wpływu”.

Przeskocz do pobrania pliku!

Dla kogo ten poradnik?

“Opisy wpływu” będą podstawą oceny w ramach tzw. “trzeciego kryterium” w Ewaluacji Jakości Działalności Naukowej 2017-2021. Kryterium “wpływu społecznego” odpowiada za 20% końcowej oceny ewaluowanej jednostki.

Przygotowanie “opisu wpływu” stanowi niemałe wyzwanie. Trudności może sprawiać dokładne zrozumienie pojęcia “wpływu”, wybranie najbardziej przekonujących przypadków “wpływu” oraz ujęcie ich specyfiki w formę nowego gatunku tekstu, jakim jest “opis wpływu”.

Jeśli:

• piszesz “opis wpływu”,

zajmujesz się przygotowaniem do ewaluacji III kryterium od strony administracyjnej,

• interesuje Cię nowo powstały gatunek tekstu, jakim jest “opis wpływu”,

ten poradnik jest dla Ciebie.

Co jest w środku?

Czterdzieści trzy strony tekstu w opisach wpływu. Oto spis treści

1. Wstęp – dla kogo ten poradnik

Czym są “opisy wpływu” i dlaczego są ważne?

Poradnik

O autorce

„Disclaimer”

2. Ewaluacja wpływu społecznego – parę słów o historii

Wielka Brytania i świat

Polska

3. Najczęstsze wątpliwości dotyczące ewaluacji „wpływu”

Jaka jest definicja wpływu?

Czy wpływ społeczny to to samo co rozpowszechnianie wyników badań, popularyzacja?

Czy wystąpienia medialne to wpływ?

Czy wpływ społeczny to to samo co “współpraca nauki z biznesem”, komercjalizacja? .

Czy obecność w ciałach doradczych, komitetach, radach to wpływ? .

Czy spowodowanie zmiany w dydaktyce na uczelni można zakwalifikować jako wpływ? .

Co z wpływem naukowców, którzy zmienili miejsce zatrudnienia w okresie podlegającym ewaluacji?

Co z wpływem, który „zaistniał” przed 2017 r., lecz nadal trwa?

Jaka jest relacja między “impact” a “impact factor”?

Jak rozumieć kryteria oceny “zasięg” i „znaczenie”?

Co to jest „ścieżka do wpływu”?

Czy cytowanie w tekście naukowym może stanowić dowód wpływu? .

Czy raport można uznać za „osiągnięcie naukowe”? .

Czy warto składać opis wpływu jako “dodatkowy”? .

Czy liczba mnoga od “wpływ” to “wpływy”?

4. Podstawowe zasady pisania opisów wpływu

Trzy podstawowe zasady pisania opisów wpływu

Zasady prostej polszczyzny

Inne zasady

5. Formularz opisu wpływu – krok po kroku

Tytuł opisu wpływu społecznego

Streszczenie opisu wpływu

Charakterystyka głównych wniosków z badań

Model CARS

Charakterystyka roli podmiotu

Opis bibliograficzny i streszczenie osiągnięć naukowych

Charakterystyka wpływu działalności naukowej

Model SPREE

Szczegółowa charakterystyka nie więcej niż 5 dowodów wpływu działalności naukowej .

Dowody (załączniki)

Informacja, czy wpływ powstał w wyniku interdyscyplinarnych badań naukowych…

6. Checklista

7. Przydatne źródła

Gdzie szukać informacji o wpływie społecznym?

Rozporządzenia i przewodniki

Moje publikacje

Inne źródła:

8. Bibliografia

Pobierz e-book!

 

Wpływ społeczny – deja vu?

Impact case study close up

Tekst ukazał się pierwotnie na blogu London School of Economics (LSE) – Impact of Social Sciences

Wpływ społeczny – z Albionu do Polski

Gdy w 2014 roku przeprowadziłam się do Wielkiej Brytanii, aby rozpocząć studia doktoranckie, hasło „impact” było wszechobecne. Niemal co tydzień na kampusie odbywało się jakieś wydarzenie związane z “wpływem społecznym” (tak obecnie tłumaczy się “impact” na język polski). Warsztaty, szkolenia, wykłady… Wszystko wokół wprowadzonej niewiele wcześniej inicjatywy “Impact Agenda” zakładającej promowanie (i ewaluowanie) wpływu społecznego naukowców.

Ja sama brałam udział w kursach skierowanych do młodych badaczy. Tłumaczono nam, czym jest “wpływ społeczny” i jak od początku uczynić go integralną częścią naszych badań. Widać było ogromny i skoordynowany wysiłek włożony w rozpowszechnianie informacji o “wpływie” we wspólnocie akademickiej.

Dziś wydaje się, że w Wielkiej Brytanii termin „impact” na stałe wszedł do akademickiego słownika.

Nikt nie pyta już, co oznacza pojęcie “impact”. Większości naukowców nie ma też wątpliwości, że o “wpływ” warto się starać.

“Impact” po polsku

Obecnie z zainteresowaniem obserwuję, jak ta historia powtarza się w Polsce. Zbliża się zaplanowana na 2022 r. ewaluacja jednostek naukowych (w poprzednim wcieleniu zwana pieszczotliwie “parametryzacją”). Po raz pierwszy będzie ona zawierała element „wpływu społecznego” (tzw. “trzecie kryterium ewaluacji”). Podejście do ewaluacji wpływu jest wyraźnie wzorowane na brytyjskim modelu Research Excellence Framework (REF).

Polscy naukowcy, a także administratorzy i managerowie uczelni przechodzą obecnie przez te same etapy, przez które przechodzili ich brytyjscy koledzy w okresie poprzedzającym REF 2014. Gorączkowe czytanie dostępnej dokumentacji. Wysiłek klarowania, a potem tłumaczenia innym, czym właściwie jest wpływ społeczny (a czym nie jest). Tropienie naukowców, którzy mogą się wykazać czymś na kształt wpływu społecznego. Przekonywanie ich do napisania opisów wpływu. Kolejne rundy poprawek opisów wpływu.

“Wpływ” – nowa składowa “akademickiej doskonałości”?

Z punktu widzenia lingwistycznego fascynujące jest obserwowanie konsekwencji dodania do słownika ewaluacji akademickiej jednego nowego terminu.

Okazuje się, że taka niewielka zmiana może znacząco wpłynąć na sposób, w jaki naukowcy mówią, piszą, a być może nawet myślą o swojej pracy. “Impact” jest jak jeden składnik, który zmienia charakter całego dania (vide niebieski sznurek użyty do związania warzyw przez Bridget Jones).

W ramach badań doktoranckich analizowałam, w jaki sposób wprowadzenie do ewaluacji nauki elementu “wpływu społecznego” w dłuższej perspektywie kształtuje komunikację naukową.

Bezprecedensowym wydarzeniem jeśli chodzi o sposób komunikowania osiągnięć naukowych jest powstanie oddzielnego gatunku tekstu – “opisu wpływu” (impact case study).

W rozprawie doktorskiej opisałam zmiany spowodowane w komunikacji akademickiej przez wprowadzenie czynnika “impact” z perspektywy teorii rządomyślności (governmentality) Michela Foucaulta. Przy użyciu pojęć z zakresu analizy dyskursu przeanalizowałam wyłanianie się “dyskursu wpływu społecznego”. Więcej o etapach jego tworzenia się i umacniania w oryginalnym, dłuższym wpisie.

Wpływ wpływu

Model ewaluacji czynnika “impact” przyjęty w brytyjskim REF jest najbardziej rozbudowanym i najlepiej zbadanym podejściem do ewaluacji “wpływu”. Podejście brytyjskie jest pilnie śledzone i często kopiowane w systemach akademickich na całym świecie (Hongkong, Norwegia, Polska…).

W Wielkiej Brytanii “impact” przeorał krajobraz ewaluacji naukowej.

W ciągu kilku lat z mglistej, niedookreślonej koncepcji stał się on jednym z niekwestionowanych filarów rzeczywistości akademickiej. Praca nad dokumentowaniem “wpływu” pochłania setki godzin, o jego ocenie napisano tysiące stron. “Wpływ społeczny” może stać się fundamentem kariery naukowej. Jego brak może karierę złamać.

Z fascynacją (i odrobiną niepokoju) czekam na pierwszą polską ewaluację obejmującą element wpływu społecznego.

Jakie będą jej wyniki?

A co ważniejsze, jaki będzie jej wpływ?

Wpis jest oparty na moim artykule naukowym “Research impact evaluation and academic discourse” opublikowanym w Humanities Social Science Communications https://www.nature.com/articles/s41599-021-00727-8

Wpływ społeczny, trzecie kryterium ewaluacji, impact: czym jest i gdzie szukać informacji?

Ewaluacja działalności naukowej w 2022

W związku z pandemią, na mocy tarczy antykryzysowej 2.0 (Dz.Ust 2020, poz. 695) najbliższa polska ewaluacja działalności naukowej została przesunięta o rok. Obejmie lata 2017–2021 i rozpocznie się w dniu 1 stycznia 2022 r (zamiast 1.01.2021). To przesunięcie daje dodatkowy rok na przygotowanie się do zmian w ewaluacji jednostek naukowych, które wprowadziła Ustawa 2.0 (szczegóły w Dz. U. 2019, poz. 392).

Wprowadzenie kryterium “wpływu społecznego” jest jedną z największych zmian w polskim systemie ewaluacji nauki. Jak na element o wadze aż 20%, zaskakująco mało się o nim słyszy…

Przygotowanie się do ewaluacji tego nowego elementu oceny będzie dużym wyzwaniem dla ocenianych jednostek naukowych oraz naukowców. Lecz, jak głosi korpo-wiedza, każdy challenge to też opportunity. Ewaluacja aspektu działalności akademików, który dotąd nie był kompleksowo oceniany, to szansa na wykazanie się dotychczasowym wpływem badań na społeczeństwo, na poprawę w tym zakresie, a także na… “przetasowanie” w rankingach.

Światowe trendy sugerują, że element “wpływu społecznego” na stałe zagości w systemach ewaluacji naukowej, więc warto dowiedzieć się, co kryje się pod tym pojęciem, a nawet z nim zaprzyjaźnić!

Impact evaluation mon amour

Problemem ewaluacji wpływu społecznego interesuję się najprawdopodobniej najdłużej w Polsce 🙂

Od 2014 r. pracowałam nad doktoratem dotyczącym ewaluacji czynnika “impact” (którego odpowiednikiem jest właśnie “wpływ społeczny”) w brytyjskim systemie Research Excellence Framework (REF). Doktorat obroniłam na University of Warwick w 2018 r. W tym samym roku wprowadzono w Polsce Ustawę 2.0, która przewiduje ewaluację czynnika impact explicite modelowaną na brytyjskim REF.

Moje wystąpienie o ewaluacji czynnika impact w EHESS Ecole des Hautes Etudes en Sciences Sociales w Paryżu. Czerwiec 2018.

Jak łatwo się domyślić, śledzę z wielką ciekawością jak “wpływ społeczny” zadomawia się na polskim gruncie. W kontekście wprowadzenia nowego elementu w ewaluacji jednostek naukowych w Polsce można zadać wiele fascynujących pytań. Nie będzie jednak na nie miejsca w tym wpisie 🙂 Tu skupię się bowiem głównie na pytaniu:

Czym jest wpływ społeczny?

Mówiąc krótko, wpływ społeczny to wpływ badań na świat zewnętrzny, poza akademią.

A więc wpływ społeczny to ta słynna (niesławna?) “współpraca nauki z biznesem”? Nie! To coś znacznie więcej! Pojęcie wpływu społecznego oznacza, zgodnie z rozporządzeniem:

związ[ek] między wynikami badań naukowych lub prac rozwojowych albo działalności naukowej w zakresie twórczości artystycznej a gospodarką, funkcjonowaniem administracji publicznej, ochroną zdrowia, kulturą i sztuką, ochroną środowiska naturalnego, bezpieczeństwem i obronnością państwa lub innymi czynnikami wpływającymi na rozwój cywilizacyjny społeczeństwa,

A więc wpływ społeczny to po prostu rozpowszechnianie wyników badań, popularyzacja? Nie! Znowu, to znacznie więcej! Nie wystarczy bowiem wykazać się np. wystąpieniami w radiu, artykułami popularnonaukowymi, czy odczytami w muzeach i bibliotekach. Należałoby jeszcze wykazać, jak te działania wywarły realny wpływ na gospodarkę, funkcjonowanie administracji publicznej etc. Jak to udowodnić? To właśnie jedno z owych fascynujących pytań, na które w tym wpisie nie odpowiem.

“Impact” niejedno ma imię

Kiedy mówiłam znajomym w Polsce, że mój doktorat dotyczy ewaluacji czynnika “impact”, na ogół uznawali, że zajmuję się bibliometrią i “impact factorami” czasopism, w których publikują szanujący się naukowcy i naukowczynie.

Łatwo zrozumieć nieporozumienie, bo pojęcie “impact” w obu przypadkach dotyczy obszaru ewaluacji nauki i stanowi próbę odpowiedzi na pytanie “jak szeroki zasięg mają dane badania?”. O ile jednak rozmaite “impact factory” (czasopism, publikacji) dają pojęcie o zasięgu badań w świecie akademickim (cytowania), o tyle “impact” w znaczeniu “wpływu społecznego” dotyczy właśnie wpływu poza światem akademickim. A więc: jak dane badania zmieniły świat? Jak wpłynęły na systemy, działania, dyskurs, przekonania etc?

Kolejna różnica między “impactem” w znaczeniu bibliometrycznym, a “impactem” w znaczeniu “wpływu społecznego” jest taka, że ten pierwszy ewaluuje się z zasady ilościowo, a ten drugi – jakościowo (w procesie peer-review lub expert-review).

Co ciekawe, obserwuję, że w anglosaskiej kulturze akademickiej pojęcie “impact” kojarzy się obecnie na pierwszym miejscu właśnie z “wpływem społecznym”, a nie wskaźnikami bibliometrycznymi.

Ewaluacja jednostek naukowych a REF

W stosunku do brytyjskiego REF, w Polsce inaczej ujęto relację między “wpływem społecznym”, a “wynikami finansowymi badań”. W Polsce przyjęto trzy kryteria oceny:

1. Poziom naukowy prowadzonej działalności
2. Efekty finansowe badań naukowych lub prac rozwojowych
3. Wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki

W Wielkiej Brytanii również mamy do czynienia z trzema kryteriami, lecz są to:

1.The quality of outputs (e.g. publications, performances, and exhibitions,
2.Their impact beyond academia
3.The environment that supports research. 

A więc dwa elementy – jakość badań i wpływ – są w obu systemach takie same, a jeden odmienny: środowisko badawcze (UK) vs. efekty finansowe (PL). To nie oznacza, że efekty finansowe nie są oceniane przez pragmatycznych Brytyjczyków – ten element jest jednak “rozdystrybuowany” miedzy kryteria 2 i 3, a stanowi jednego, całościowego kryterium ewaluacji. Warto też zwrócić uwagę na analogie między “wagami” poszczególnych elementów oceny w Wielkie Brytanii i Polsce.

Poniżej wagi kryteriów w polskiej ewaluacji.

Żródło: strona Konstytucjadlanauki.gov.pl

W brytyjskim REF 2014 obowiązywały poniższe wagi kryteriów :

Outputs sub-profile (65%)
Impact sub-profile (20%)
Environment sub-profile (15%)

W nadchodzącym REF 2021 będą to zaś odpowiednio: 60%, 20%, 15%, a wiec waga czynnika impact jeszcze wzrosła, kosztem publikacji.

Podobieństwa i różnice w podejściu do ewaluacji czynnika impact w systemach brytyjskim i polskim (a także norweskim) to jeden z moich koników. Moim zdaniem wiele mówią one o tych systemach akademickich w ogóle. Wygłosiłam wykład na ten temat na konferencji poświęconej ewaluacji czynnika impact w Bilbao w 2019. Mogę udostępnić slajdy na życzenie – vide poniżej.

O rozmaitych aspektach ewaluacji wpływu społecznego mogłabym długo pisać, ale gatunki internetowe mają swoje prawa, a czas nie jest z gumy, więc zamiast tego polecę czytelni(cz)kom listę lektur. Pozostało tyle ciekawych wątków: “wpływ” a misja uniwersytetu, “wpływ” a humanistyka, jak pisać “studia przypadku” wpływu, “wpływ” negatywny, “wpływ” polegający na zapobieganiu… Postaram się wrócić do nich w kolejnych wpisach.

Gdzie szukać informacji o wpływie społecznym?

Moje publikacje 🙂

Po polsku:

Dwa artykuły opublikowane w piśmie “Nauka i Szkolnictwo Wyższe” nr 1(49) (2017)

Ewaluacja „wpływu społecznego” nauki. Przykład REF 2014 a kontekst polski – wprowadzenie do tematyki ewaluacji wpływu społecznego, omówienie systemu REF, perspektywy w kontekście polskim (tekst z 2017 roku, więc przed ogłoszeniem regulacji z Ustawy 2.0). Pochlebiam sobie, że ten tekst wprowadził przekład “impact” jako “wpływ społeczny”. Rozporządzenie mówi o “ocenie wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki”, ale to mało wpadające w ucho określenie (stąd przyjęło się

Ewaluacja „wpływu społecznego”? Nie naśladujcie Brytyjczyków! Wywiad z Davidem Sweeneyem, dyrektorem Higher Education Funding for England (HEFCE) do spraw Badań, Edukacji i Transferu Wiedzy – bardzo polecam ten wywiad, nie dlatego, że ja go przeprowadziłam, ale dlatego, że rozmówca, David Sweeney, jest jedną osób, które odegrały najważniejszą rolę w procesach tworzenia polityki dotyczącej ewaluacji czynnika “impact” na świecie. David Sweeney to wysoki urzędnik, który cechuje się zarazem szerokimi horyzontami, ideowością w podejściu do misji nauki, a jednocześnie bardzo twardo stąpa po ziemi. I znalazł czas, żeby udzielić wywiadu ówczesnej doktorantce!

Oraz:

Ewaluacja “wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki” – Uwagi do projektu rozporządzenia MNISW ws ewaluacji jakości działalności naukowej (Projekt z dnia 30 lipca 2018 r.).pdf – moje uwagi przesłane do MNISW w ramach konsultacji projektu USTAWY 2.0. Opisuję tu m.in. pewne kwestie, które wynikają z “przetłumaczenia” brytyjskiego systemu ewaluacji czynnika “impact” na polski grunt. To są uwagi do projektu, a nie ostatecznego rozporządzenia, ale zdaje się, że stosują się i do rozporządzenia.

Po angielsku:

Research impact evaluation and academic discourse – kompilacja “the best of” z mojego doktoratu. Tekst ukazał się w otwartym dostępie w piśmie Humanities and Social Sciences Communications

The making of the “Impact Agenda”. A study in discourse and governmentality – mój doktorat, moje dziecko (w linku w wersji okrojonej do postaci “executive summary”)

“Impact evaluation in Norway and in the UK: A comparative study, based on REF 2014 and Humeval 2015-2017”, ENRESSH Working Papers, 2019, Centre for Higher Education Policy Studies University of Twente, Enschede, Vol. 1, 1-61, https://doi.org/10.3990/4.2666-0776.2019.01. – porównanie systemu brytyjskiego i norweskiego ewaluacji wpływu społecznego (norweskie ewaluacje mają przede wszystkim funkcję “informacyjną”, nie są związane z mechanizmem finansowania jednostek), a także porównanie cech stylistycznych norweskich i brytyjskich case studies. Artykuł zawiera też praktyczną check-listę, która może być przydatna przy redagowaniu studiów przypadku (str. 49-51 – żeby ściągnąć artykuł należy kliknąć link oznaczony ENRESSH i odblokować wyskakujące okienko).

“Rethinking research impact assessment: a multidimensional approach”, Fteval Journal for Research and Technology Policy Evaluation, 2019, vol 48, pp.159-175 10.22163/fteval.2019.385 – tekst dla wnikliwych dotyczący etycznych aspektów ewaluacji “wpływu społecznego”
Artykuł napisany wspólnie z Sergiem Manrique i Bradleyem Good. Plakat towarzyszący temu artykułowi zdobył 1 miejsce na konkursie na konferencji ‘Impact of Social Sciences and Humanities for a European Research Agenda – Valuation of SSH in mission-oriented research’ zorganizowanej w ramach Austriackiej Prezydencji UE

Plakat “Impact Case Study – A New Academic Genre & What it Says About Researchers”, prezentujący studium przypadku wpływu (impact case study) jako nowy typ akademickiego tekstu. http://dx.doi.org/10.6084/m9.figshare.4244132 
Plakat zaprezentowany na konferencji Impact Politics and International Studies Impact Conference, Warwick University, 22-23.11.16

Prezentacja ‘ The Polish “Impact Agenda?” “Impact” – new element of evaluation of scientific units ‘. Moja prezentacja z 2019 roku na uniwersytecie w Helsinkach (Islandczycy też szukają swojego modelu ewaluacji czynnika “impact”). Prezentacja omawia kontekst wprowadzenia ewaluacji wpływu społecznego w Polsce (problemy szkolnictwa wyższego i B+R, na które ewaluacja ma być odpowiedzią) i jej główne założenia 10.6084/m9.figshare.12611423

Prezentacja “ Developing Frameworks for Assessing Impact in Different Academic Cultures” towarzysząca wykładowi wygłoszonemu przeze mnie na konferencji AESIS Net (AESIS SPRING COURSE 2019 – Implementing a National Research Impact Strategy) w Bilbao w 2019. Udostępniam subskrybent(k)om na życzenie 🙂
Swoją drogą, warto śledzić działalność prężnej organizacji AESIS Net, która zajmuje się tworzeniem i dzieleniem się wiedzą w obszarze ewaluacji wpływu. Skala organizowanych przez nią wydarzeń świadczy o dużym fermencie i zapotrzebowaniu na wiedzę w tym obszarze.

Inne źródła:

ROZPORZĄDZENIE MINISTRA NAUKI I SZKOLNICTWA WYŻSZEGO) z dnia 22 lutego 2019 r w sprawie ewaluacji jakości działalności naukowej Dz. U. 2019, poz. 392, szczególnie § 23

Ewaluacja jakości działalności naukowej. Jak oceniani będą badacze i jednostki naukowe? – przystępne opracowanie zasad najbliższej ewaluacji jakości działalności naukowej na stronie “Konstytucji dla nauki”

Podręcznik dla ewaluowanych podmiotów i podręcznik dla ekspertów w polskim pilotażu oceny wpływu społecznego, aut. Przemysław Korytkowski i Emanuel Kulczycki – na stronie ekulczycki.pl (link bezpośredni)

Ogromne, nieprzebrane ilości danych i opracowań stworzonych w kontekście brytyjskiego REF. Strona bieżącej ewaluacji (planowana na 2021, zawieszona w związku z pandemią): https://www.ref.ac.uk .

Archiwum case studies (studiów przypadku wpływu społecznego) z pierwszej edycji REF 2014: https://impact.ref.ac.uk/casestudies/search1.aspx. Naprawdę warto zajrzeć do wyszukiwarki i przeczytać kilka case studies ze swojego obszaru. Często taka lektura “otwiera oczy niedowiarkom” i uzmysławia jaka jest funkcja takiego dokumentu oraz jak on wygląda. Czy da się sprawdzić, które studia przypadku były najwyżej ocenione? Niby nie, ale jest pewien trik, który pozwala sprawdzić jakie były najwyżej ocenione studia przypadku w REF 🙂 Z mojej perspektywy (np. porównując z norweskimi impact case studies, które też badałam) te brytyjskie z zasady są solidnie przygotowane i większość z nich można spokojnie brać za wzór.

A tu archiwum australijskich case studies: https://dataportal.arc.gov.au/EI/Web/impact/ImpactStudies

Webinar „Wpływ społeczny – III kryterium w ewaluacji jakości działalności naukowej” dr Katarzyny Świerk, zorganizowanego przez Instytut Rozwoju Szkolnictwa Wyższego

Ogromne ilości informacji praktycznych przygotowanych przez Brytyjczyków w kontekście REF 2014 i 2021, a także opracowań naukowych dotyczących czynnika “wpływu społecznego”. Wystarczy wpisać do wyszukiwarki frazy “impact evaluation”, “REF” + np. dziedzina nauki, problem (np. płeć badaczy, typ uniwersytetu, finansowanie etc).

Lub zapytać mnie. Mam dużo informacji o “wpływie społecznym” i lubię się nimi dzielić 🙂