Kategoria: ZAPLECZE NAUKOWE

Opublikowane w

Co dalej z ewaluacją wpływu społecznego? AD 2024

Jest nowy rząd, odżyła więc dyskusja o Ustawie o Szkolnictwie Wyższym. Na jej marginesie mówi się też o polskim modelu ewaluacji jakości działaności naukowej. Niektórzy wskazują na patologie systemu i wzywają do jego całkowitego “zaorania” [1, 2]. Nowy minister nauki zapowiada jednak, że nie będzie rewolucji [3]. To dobrze – bo pośród wielu palących potrzeb sektora nauki jest też potrzeba stabilizacji i przewidywalności systemu.

Nie ma dla mnie wątpliwości, że tzw. listy czasopism punktowanych bronić nie warto. Jej związek z realnymi akademickimi standardami, nawet bez kuriozalnych dopisków, był nader luźny. Nie specjalizuję się w bibliometrii, więc nie mam pomysłu, jak optymalnie mierzyć jakość publikacji. Jestem jednak przekonana, że nieunikniona dyskusja o modelu ewaluacji jakości działalności naukowej jest szansą, żeby naprawić element “wpływu społecznego”. Poniżej kilka kluczowych, moim zdaniem, punktów do rozważenia.

[Moje wprowadzenie do tematyki wpływu społecznego można znaleźć tu].

Czy “wpływ społeczny” powinien być utrzymany w nowym modelu ewaluacji?

Tak.

Uwzględnienie w ewaluacji jakości działalności naukowej wpływu społecznego jest trendem międzynarodowym, niewykluczone, że najważniejszym w ostatnich latach.

Odkąd ewaluację wpływu społecznego wprowadzili w REF 2014 Brytyjczycy, fala “impactowa” zatacza coraz szersze kręgi. “Wpływ” ewaluują w Europie Holendrzy, Włosi, Norwegowie, Irlandczycy. Ewaluację wzorowaną na brytyjskiej ma też Hongkong. Intensywnie możliwością wprowadzenia ewaluacji zajmują się RPA, Kanada, Australia.

Poniżej mapa stanu prac nad politykami w obszarze wpływu społecznego na rok 2023 (opracowanie MW w oparciu o [4]).

Fakt że Polska wprowadziła ewaluację wpływu już w 2018 r. (wraz z Ustawą 2.0) i że mamy za sobą już jedną rundę ewaluacji, wysuwa nasz system na pozycję awangardy, jeśli chodzi o doświadczenie w ewaluacji wpływu społecznego. Jeśli moje badania nad polskim systemem wzbudzają zainteresowanie w Wielkiej Brytanii, Irlandii i Chinach, jest to głownie za sprawą elementu wpływu społecznego – wszyscy chcą wiedzieć jak to robimy, i co z tego wynika.

Problem polega na tym, że robimy to nie najlepiej i na ten moment niewiele z naszego doświadczenia wynika…

Co należy zmienić?

Po pierwsze: dodać (oficjalną) definicję

W Rozporządzeniu [5] brakuje definicji wpływu społecznego analogicznej do tej funkcjonującej w brytyjskim kontekście. Poniżej wyimek z Rozporządzenia (wszystkie ilustracje poniżej są fragmentami cytowanego Rozporządzenia).

Wpływ społeczny nieco dokładniej opisano w Podręczniku dla ekspertów [6]…, ale wciąż nie jest to definicja jednoznaczna, rozwiewająca wszystkie wątpliwości. W dodatku sam Podręcznik firmowany przez KEN jest dokumentem funkcjonującym “bez żadnego trybu” – nie ma statusu rozporządzenia. Stąd w zasadzie trudno byłoby wymagać, żeby jednostki stosowały się do zapisów Podręcznika. Nie wiemy też, czy treść Podręcznika dotyczy ewaluacji, która miała miejsce w 2021/22 r., czy też będą obejmowały kolejną ewaluację.

Definiowanie pojęcia “impact” w Wielkiej Brytanii było długim, kolektywnym procesem (który de facto wciąż trwa). Musimy wiedzieć “co” i dlaczego właściwie ewaluujemy.

Po drugie: debata

Tak dochodzimy do kolejnego punktu: konieczności szerszej debaty i dyskusji wokół “wpływu” przed kolejną ewaluacją. Hektolitry atramentu wylano na temat nieszczęsnej listy czasopism, a o wpływie społecznym (który odpowiada wszak za 20% oceny ewaluowanej jednostki) mało kto się zająknął.

W efekcie wiele jednostek do samego końca poprzedniego okresu ewaluacyjnego (albo i jeden dzień dłużej) nie miało pojęcia czym ów “wpływ” jest. To marnowanie czasu ewaluatorów, którzy muszą czytać opisy wpływu dotyczące de facto samych badań, a w najlepszym wypadku ich popularyzacji…

Żeby “wpływ społeczny” zagościł w polskiej kulturze akademickiej jako istotny element oceny wartości pracy naukowców, musimy odbyć debatę o tym, jak na naszym gruncie zdefiniujemy to pojęcie.

Po trzecie: elastyczność

W toku prac nad nowym elementem oceny, pracownicy ministerstwa podkreślali otwartość na szeroką definicję “wpływu”. Tymczasem, zapisy rozporządzenia, a jeszcze bardziej Podręcznika, bezlitośnie dookreślają kryteria oceny w zakresie “zasięgu” i “znaczenia”. W mojej ocenie katastrofalne jest przypisanie tym pojęciom sensu geograficznego.

W efekcie maksymalną liczbę punktów za opis wpływu można uzyskać jedynie, jeśli przedstawi się “opis wpływu o międzynarodowym zasięgu i znaczeniu”. Dla porównania, w Wielkiej Brytanii kryteria “zasięgu” i “znaczenia” pozostają niedookreślone (zaś explicite zabrania się interpretowania ich geograficznie). W rezultacie brytyjski naukowiec może otrzymać maksymalną ocenę opisu wpływu, który dotyczy wartościowego działania lokalnego, zaś polski naukowiec musiałby uzyskać międzynarodowy zasięg. Wydaje mi się to megalomanią i hybris.

A zatem należy zrezygnować ze sztywnego przydzielania punktów w tych dwóch kategoriach na rzecz bardziej jakościowego podejścia, niezwiązanego z aspektem geograficznym.

Po czwarte: jawność ocen

Jednostki naukowe wprawdzie otrzymują ocenę opisową, ale ani ocena opisowa ani punktowa nie jest upubliczniana w bazie RAD-ON. Skąd mamy więc wiedzieć, które opisy zostały przez ewaluatorów ocenione wysoko, a które nisko?

Moje obserwacje na ten temat zawrę w nowej wersji “Poradnika: Jak napisać opis wpływu”.

Wydaje mi się jednak wskazane, żeby te informacje (choćby zbiorczo, dla całych jednostek) były upubliczniane, byśmy jako wspólnota akademicka mogli uczyć się na błędach (i sukcesach).

Na razie zaufanie do procesu oceny jest na niskim poziomie. Użytkownicy X pisali o “cudach nad urną”, i trudno się dziwić biorąc pod uwagę liczbę złożonych i pozytywnie rozpatrzonych odwołań – odwoływała się co druga ewaluowana jednostka [vide 7], a Minister obiecywał pozytywnie rozpatrzyć większość odwołań [8].

Po piąte: zrezygnować z “dodatkowych” opisów

Zgodnie z rozporządzeniem w określonych przypadkach ewaluowane jednostki mogą złożyć obok wymaganych opisów wpływu także dodatkowe.

Tylko po co? Ocena jednostki to średnia z wszystkich złożonych opisów. W praktyce “najmocniejsze” opisy wpływu wystarczy złożyć w ramach liczby wymaganej. Wydaje się więc, że składanie “dodatkowych” opisów to tylko dodatkowa praca dla autorów i ewaluatorów… A jednak w 2021 r. złożono ich sto (na 1000 obowiązkowych).

Po szóste: zrezygnować z “dodatkowych” punktów za interdyscyplinarność

Zgodnie z rozporządzeniem można ubiegać się o 20% “premii” w przypadku opisu wpływu dotyczącego interdyscyplinarnych badań naukowych lub prac rozwojowych o przełomowym znaczeniu dla rozwoju nauki.

Z mojej perspektywy “interdyscyplinarność” jako element oceny opisu wpływu to kwiatek do kożucha. Nie rozumiem dlaczego wpływ oparty na badaniach interdyscyplinarnych miałby być bardziej wartościowy od tego wynikającego z badań w obrębie dyscyplin (czy lek stworzony przez farmaceutów we współpracy z artystami będzie lepiej leczył niż ten, który przygotowali sami farmaceuci?).

No i dlaczego w kryterium “wpływu społecznego” mielibyśmy w ogóle oceniać jakość samych badań?

Po siódme: skrócić opinie opisowe

W brytyjskim systemie przyznaje się opisom wpływu jedynie punkty, w norweskim – ewaluatorzy przedstawiają tylko opis. W polskim systemie ewaluowana jednostka otrzymuje zarówno ocenę liczbową, jak i opis. To dobrze.

Problem polega na tym, że opinie są niezwykle długie.

Ewaluatorzy są więc zmuszeni do pisania elaboratów (które i tak zwykle dotyczą spełnienia aspektów formalnych).

A zatem…

Obserwacja systemu brytyjskiego wskazuje, że wprowadzenie elementu ewaluacji wpływu społecznego ma pozytywny efekt stymulujący.

Po początkowym szoku, naukowcy raportują pozytywne nastawienie do elementu “impact” – mówią o dowartościowaniu zaangażowanych, mających wpływ na świat badań, o dodatkowych środkach na ich wsparcie, o pewnym “przetasowaniu” w hierarchiach. Pozytywny efekt w postaci zmiany “kultury akademickiej” występuje jednak dopiero przy długotrwałej spójnej ewaluacji (nie wystarczy “wpływu” ocenić raz).

W Wielkiej Brytanii odbyły się już dwie tury ewaluacji uwzględniające element wpływu społecznego (w 2014 i 2021), pełną parą idą przygotowania do kolejnej. Waga tego elementu oceny wzrosła w tym czasie z 20 do 25%, podczas gdy waga publikacji spadła z 70 do 50%.

Podsumowując: nie potrzebujemy kolejnej rewolucji, a mądrej ewaluacji podejścia do wpływu.

Cytowane teksty:

[1] Aleksander Temkin https://www.onet.pl/informacje/onetwiadomosci/uczelnie-po-ministrze-czarnku-wymagaja-pilnych-zmian/mzy0d85,79cfc278

[2] Marcin Miłkowski https://miesiecznik.forumakademickie.pl/czasopisma/fa-11-2023/hodowla-szczurzych-ogonow%E2%80%A9/?fbclid=IwAR0Qo0FTjVVGODZVUNv7gnAoUiJFaJjcDHj8t3Ta7MF_MerHYWTtRG2Mz3U

[3] https://naukawpolsce.pl/aktualnosci/news%2C99781%2Cminister-nauki-nie-planuje-zadnych-dzialan-rewolucyjnych-ewolucyjne.html

[4] Reed, M. S., Ferré, M., Martin-Ortega, J., Blanche, R., Lawford-Rolfe, R., Dallimer, M., & Holden, J. (2021). Evaluating impact from research: A methodological framework. Research Policy, 50(4), 104147. https://doi.org/10.1016/j.respol.2020.104147

[5] Dziennik Ustaw Rzeczypospolitej Polskiej. (2019). Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 22 lutego 2019 w sprawie ewaluacji jakości działalności naukowej (Dz. U. 2019, poz. 392). https://isap.sejm.gov.pl/isap.nsf/DocDetails.xsp?id=WDU20190000392

[6] Komisja Ewaluacji Nauki. (2021). Podręcznik dla ekspertów oraz ewaluowanych podmiotów w zakresie opisu wpływu działalności naukowej na funkcjonowania społeczeństwa i gospodarki. https://polon.nauka.gov.pl/pomoc/knowledge-base/podrecznik-dla-ekspertow-oraz-ewaluowanych-podmiotow-w-zakresie-opisu-wplywu-dzialalnosci-naukowej-na-funkcjonowania-spoleczenstwa-i-gospodarki/

[7] https://serwisy.gazetaprawna.pl/edukacja/artykuly/8536603,ewaluacja-szkolnictwo-wyzsze-mein-przemyslaw-czarnek.html

[8] https://perspektywy.pl/portal/index.php?option=com_content&view=article&id=7510:ewaluacja-wiekszosc-odwolan-bedzie-rozpatrzona-pozytywnie&catid=24&Itemid=119

Opublikowane w

Mama na uczelni – blaski i cienie pracy naukowej

Zebra i komputer

Naukowcy pracują dydaktycznie parę godzin w tygodniu. Co robią przez resztę czasu? “Praca naukowa”, czyli gotowanie obiadków i bawienie dzieci.

Powyższe zdanie przeczytałam wiele lat temu na forum gazeta.pl w dyskusji poświęconej pracy na uczelni. Utkwiło mi w pamięci. Jako aspirująca naukowczyni poczułam się wówczas urażona tak prześmiewczą wizją pracy naukowej. Potem jednak, jako zatrudniona na urzędniczym etacie mama czasem wzdychałam do pracy, w której rzeczywiście można sobie zrobić kilkugodzinną przerwę na domowe obowiązki czy nawet kilkudniową (!) przerwę na spędzenie czasu z dzieckiem.

Czy praca na uczelni rzeczywiście oferuje elastyczność i niezależność, tak potrzebną młodym rodzicom?

Właśnie dobiega końca mój pierwszy rok pracy na uczelni. Ta praca to spełnienie marzeń, ale jednocześnie weryfikacja wcześniejszych, może nieco naiwnych, wyobrażeń o tym typie zatrudnienia.

Dziś napiszę o tym, jakie są blaski i cienie łączenia pracy na uczelni z macierzyństwem.

Do blasków zaliczam: elastyczność na codzień, długie wakacje i przywileje dla mam w agencjach grantowych.

Do cieni zaś: pozorność wspomnianej elastyczności i niedostępność urlopów chorobowych.

Blaski

Elastyczność na codzień

Jako pracownik badawczo-naukowy mam pensum wynoszące 240 godzin rocznie (etat). To oznacza, że tyle godzin powinnam spędzić “na sali”. Standardowy wykład ze studentami dziennymi to 30 godzin, ze studentami zaocznymi – 20 godzin. W praktyce oznacza to, że w tygodniu “zjazdowym” prowadzę od 4 do 6 półtoragodzinnych zajęć ze student(k)ami. To 9 godzin pracy w tygodniu. W nowym roku będę też prowadziła ponad pensum dodatkowo 3 godziny zajęć ze student(k)ami innego kierunku. To nadal maksymalnie 16,5 godziny. Jeśli dodać do tego godzinny dyżur dla studentek dziennych i zaocznych, zbliżamy się do połowy klasycznego etatu (czyli 20 godzin tygodniowo). To w roku akademickim – na mojej uczelni od końca września do połowy lipca.

Dwadzieścia godzin pracy w tygodniu przez dziesięć miesięcy w roku? Brzmi to dość lightowo. Jednak podobnie jak w przypadku pensum dydaktycznego nauczyciela (18 godzin przy tablicy) pozory mogą mylić...

W drugiej części wpisu tłumaczę dlaczego.

Wakacje

Można przyjąć, że w okresie wakacyjnym mam dwa miesiące “wolnego” (lub niemal wolnego).

Piszę ten tekst w połowie sierpnia. Odkąd w drugiej połowie lipca skończyły się egzaminy licencjackie mam “wolne”. Zajęcia zaczną się dopiero pod koniec września.

Czy cały ten czas spędzę relaksując się w wiklinowym fotelu, leniwie przerzucając karty “Przekroju”, podczas gdy dziecko pluska się w ogrodowym baseniku?

Otóż nie cały. Muszę też przygotować sylabusy na nowy rok akademicki, pomyśleć o konkursach i projektach, w których chcę jeszcze w tym roku wziąć udział. Od września będę też dostępna dla studentów i studentek, którzy chcą bronić prace licencjackie na jesieni. Gdyby nie to, że w tym roku wysłałam już dwa artykuły do recenzji, zapewne frenetycznie bym teraz pisała.

Tym niemniej, uważam że dwa miesiące w roku, kiedy człowiek nie pracuje lub pracuje całkiem w swoim tempie i z dowolnego miejsca na świecie (działeczka, przyczepa nad morzem) to niezwykły atut tej pracy!

“Przywileje” dla mam w agencjach grantowych

W przypadku kariery naukowej dużym ułatwieniem dla mam (które nie zawsze stosuje się do ojców) są przywileje przy składaniu wniosków grantowych. Najczęściej dotyczy to “wydłużenia” czasu na składanie wniosków w ramach grantów dla “młodych” (stażem) naukowców. Często mamy naukowcy mogą liczyć na dodanie 1,5 roku za każde urodzone lub przysposobione dziecko. Tak jest w przypadku grantu NCN Sonata, czy ERC Starting Grant (obydwa dla naukowców do 7 lat po doktoracie).

Istnieją też stypendia dla mam wracających do pracy naukowej po przerwie związanej z macierzyństwem. Taką formę ma np. MSCA Restart.

W wielu innych zawodach czas spędzony w domu z dzieckiem faktycznie matce “przepada” z perspektywy kariery. Rozwiązania dla mam uważam za (słusznie się należący i) istotny przywilej.

Cienie

(Pozorna) elastyczność

W poprzedniej części wpisu chwaliłam elastyczność pracy na uczelni. Niestety, jak to bywa z elastyczną pracą, przyjmuje ona formę masy (tzw. blob), która rozlewa się na życie prywatne.

Do godzin spędzonych faktycznie na sali dochodzą:

  • czas przygotowania zajęć (od sylabusu, przez zebranie i udostępnienie materiałów, zaplanowanie ćwiczeń, po wystawianie ocen końcowych),
  • sprawdzanie prac (w przypadku quizu online sprawdzenie zadań całej grupy zajmuje parę minut, ale w przypadku esejów czy prac licencjackich czasem trzeba poświęcić godzinę i więcej na jeden tekst),
  • korespondencja ze student(k)ami,
  • zebrania Rady Wydziału i Instytutu, rozmaite sprawy organizacyjne ad hoc,
  • udział w egzaminach licencjackich (w tym czytanie prac studentów i pisanie recenzji),
  • dodatkowa praca związana z byciem promotorką (np. śledzenie tematów badawczych, które mogłyby studentów zainteresować, staranie się o recenzentów złożonych prac).

A to tylko prace związane z dydaktyką. Jako naukowiec mam też obowiązek prowadzić badania, publikować i starać się o granty.

Znajomy naukowiec podsumował tę kondycję:

Na uczelni pracujemy osiemnaście godzin na dobę. Ale za to możemy wybrać, KTÓRE osiemnaście godzin!

Zwolnienie chorobowe – nie dla naukowca!

Pod koniec roku akademickiego rozmawiałam z koleżanką z pracy, która miała objawy wypalenia zawodowego. W nocy stres nie dawał jej spać, rano z trudem wstawała. Zapytała mnie, czy wiem co trzeba zrobić, żeby dostać zwolnienie lekarskie. Powiedziałam, że to nic trudnego – w zasadzie wystarczy zadzwonić do lekarza, powiedzieć jakie występują objawy (u siebie lub dziecka) i poprosić o zwolnienie. Byłam zaskoczona, że tego nie wiedziała – wygląda na to, że przez wiele lat pracy na uczelni nie korzystała ze zwolnienia ani razu… Swoją drogą, ja też przez cały rok pracy nie wzięłam ani dnia zwolnienia.

W przypadku pracownika uczelni zwolnienie lekarskie właściwie nie ma sensu.

Za okres zwolnienia otrzyma się bowiem tylko 80% wynagrodzenia, a zajęcia i tak trzeba będzie odpracować. Nikt nie sprawdzi za nas prac, nikt nie przeczyta prac naszych licencjantów, a już na pewno nikt nie napisze za nas zaległych artykułów. Wykonamy więc 100% pracy, a otrzymamy tylko 80% wynagrodzenia.

Tak więc, o ile nie jesteśmy obłożnie chorzy / chore, zaciskamy zęby i pracujemy.

W mojej poprzedniej pracy w instytucji publicznej, korzystanie ze zwolnienia zdrowotnego (w granicach rozsądku) było postrzegane jako sprawa absolutnie normalna. Kiedy z powodu pandemii zamknięty był żłobek, wzięłam nawet jednorazowo 3 tygodnie zwolnienia! W obecnej pracy nie wykorzystam nawet przysługujących na opiekę nad dzieckiem dwóch dni “opiekuńczych”.

Podsumowując…

Na uczelni nie ma raju mam. Ale nie ma go też nigdzie indziej 🙂

Opublikowane w

Ewaluacja wpływu społecznego à la polonaise – różnice między ewaluacją wpływu społecznego w Polsce i UK

notepad with word impact

Polska wersja ewaluacji wpływu z wiernej kopii swojego brytyjskiego prototypu wyewoluowała w zupełnie innym kierunku.

Ewaluację wpływu społecznego przeprowadzono w Polsce po raz pierwszy w ramach Ewaluacji Jakości Działalności Naukowej 2021/22. Termin składania opisów wpływu minął 15 stycznia 2022. Obecnie naukowcy niecierpliwie wyglądają wyników ewaluacji. Wyglądają ich też rektorzy i dziekani wydziałów, gdyż wyniki ewaluacji mają bezpośrednie przełożenie na finansowanie jednostek oraz ich prawa.

Wpływ społeczny: import z UK

Pierwsza wzmianka o uwzględnieniu elementu “wpływu społecznego” w polskiej ewaluacji jednostek naukowych pojawiła się w Białej Księdze Innowacji opublikowanej w 2016 przez Ministerstwo Nauki i Szkolnictwa Wyższego. Dokument zapowiadał “wprowadzenie do oceny jednostek – na wzór Wielkiej Brytanii elementu „social impact” – wpływu, jaki uczelnia wywiera na gospodarkę i społeczeństwo”. Wpływ społeczny stał się jednym z trzech kryteriów oceny jednostek naukowych w nowym modelu wprowadzonym na mocy Ustawy 2.0 (i rozporządzenia do niej).

Czym jest owo “brytyjskie podejście do ewaluacji wpływu społecznego”? Jest to element systemu Research Excellence Framework (REF) wdrożony, przy wielkim poruszeniu świata naukowego, w 2014 r. Uwzględnienie wśród kryteriów oceny prac naukowych ich wpływu “poza akademią” zrewolucjonizowało brytyjską ewaluację badań naukowych. Krok ten miał też konsekwencje sięgające daleko poza granice Zjednoczonego Królestwa. Podobnie jak wiele innych nowinek z brytyjskiego systemu nauki, ewaluacja wpływu społecznego była pilnie obserwowana, i często również naśladowana, przez decydentów na całym świecie. Stało się tak między innymi w Norwegii i w Polsce.

Epizod norweski wpływu społecznego

W latach 2015-18 Norwegia eksperymentowała z podejściem do ewaluacji wpływu społecznego opartym o metodologię “opisów wpływu” wzorowaną na REF.

Norwegia wprowadziła ewaluację wpływu społecznego do swojego systemu naukowego “na miękko”. W przeciwieństwie do Wielkiej Brytanii, wynik ewaluacji nie był powiązany z późniejszym finansowaniem jednostek. Nie przyznawano też ocen w skali punktowej. W związku z tym niemożliwe było tworzenie “rankingów”. Zamiast tego, norwescy naukowcy otrzymywali opisową informację zwrotną.

Takie podejście, jak wykazały moje badania prowadzone w Norwegii, pozwoliły uniknąć oporu środowiska i nadmiernego obciążenia pracowników odpowiedzialnych za redagowanie opisów wpływu.

Polskie i brytyjskie podejście do wpływu społecznego – podobieństwa

Polskie podejście do “wpływu społecznego” jest na pierwszy rzut oka bliźniaczo podobne do brytyjskiego. Podobieństwa między modelem brytyjskim a polskim obejmują:

  • zastosowanie metodologii opisów wpływu,
  • strukturę pól formularza opisu wpływu,
  • język opisów (obowiązkowe było złożenie angielskiego przekładu tekstu).
  • Podobna jest też “waga” elementu wpływu. W polskiej ewaluacji wynosi ona 20% (dla grupy nauk społecznych i humanistycznych). W REF 2014 było to 20%, zaś w REF 2021 waga wzrosła do 25%.

Wystarczy przyjrzeć się nieco dokładniej dokumentacji, by zrozumieć, że podobieństwa między polskim a brytyjskim podejściem są powierzchowne. Różnice uzmysławiają zaś, jak bardzo zakorzenione jest w polskiej tradycji podejście “parametryczne” do ewaluacji nauki.

Po pierwsze: debata (lub jej brak)

Wpływ społeczny wprowadzono do polskiego systemu ewaluacji w ramach Ustawy 2.0. Ustawę wypracowano w toku intensywnego dialogu Ministerstwa ze środowiskiem. Ponieważ Ustawa obejmowała całość kwestii związanych ze szkolnictwem wyższym i badaniami naukowymi (a więc sprawy tak różnorodne, jak kształcenie doktorantów, awans zawodowy naukowców czy właśnie ewaluacja jakości badań )– samemu elementowi oceny wpływu społecznego poświęcono w debacie niewiele uwagi. W rezultacie nie było czasu na “przepracowanie” pojęcia wpływu społecznego przez wspólnotę naukową. Proces ten miał ogromne znaczenie w kontekście brytyjskim – podkreślał to w rozmowie ze mną jeden z “ojców” brytyjskiego modelu ewaluacji wpływu.

Po drugie: pilotaż

Ministerstwo zamówiło badanie pilotażowe opisów wpływu, ale wyniki okazały się niejednoznaczne, zaś samych ocen poszczególnych opisów wpływu nigdy nie opublikowano. Zatem, podczas gdy w Wielkiej Brytanii instytucje mogły przygotować się do włączenia wpływu społecznego do REF 2014 podczas wielu rund konsultacji (poprzedzonych pilotażem), a w Norwegii sama ocena została potraktowana jako “próba”, w Polsce ocena wpływu społecznego spadła na naukowców jak grom z jasnego nieba.

Nawet w ostatnim kwartale 2022 r., gdy zbliżał się ostateczny termin składania opisów wpływu, na uczelniach skupiano się przede wszystkim na żonglowaniu publikacjami, które miały zapełnić “sloty”. Nie wszyscy zdawali sobie sprawę, że to złożone opisy wpływu wpłyną na ocenę jednostki bardziej niż jakakolwiek pojedyncza publikacja. Trzeba przyznać, że pojawiające się niemal do ostatniej chwili kuriozalne zmiany w liście publikacji punktowanych skutecznie odciągały uwagę naukowców od innych aspektów ewaluacji.

Po trzecie: brak definicji “wpływu” i zbyt dosłowne stosowanie kryteriów

Oficjalna polska dokumentacja nie podaje explicite definicji wpływu społecznego. Liczne fragmenty wskazują jednak na szeroką interpretację pojęcia, zbliżoną do wersji brytyjskiej. To dobrze.

Niestety, same kryteria oceny są rozumiane bardzo dosłownie.

Wpływ społeczny ocenia się, tak jak w REF, w kategoriach “zasięgu” i “znaczenia”. Inaczej niż w systemie brytyjskim, oba pojęcia zostały jednak precyzyjnie zdefiniowane, a każdy z elementów odpowiada za 50% oceny. Zasięg rozumiany jest geograficznie i tylko międzynarodowy zasięg wpływu może uzyskać maksymalną liczbę punktów. W brytyjskim podejściu ewaluatorzy przyglądają się obu kryteriom zbiorczo. Dokumentacja brytyjska podkreśla, że zasięg nie powinien być rozumiany geograficznie.

W UK zatem opis wpływu dotyczący badań, które zmieniły praktykę zawodową w danym regionie, może uzyskać maksymalną ocenę. W Polsce na taką ocenę mogą liczyć jedynie badania o wpływie międzynarodowym. Jednym słowem, polskim naukowcom poprzeczkę zawieszono wyżej niż ich brytyjskim kolegom!

Po czwarte: kwiatek do kożucha

Wreszcie, niektóre z różnic między polskim a brytyjskim systemem są po prostu… dziwne. Na przykład, istnieje ścieżka dla dodatkowych opisów wpływu opartych o „wybitne monografie” lub „słowniki biograficzne”. Punktacja każdego opisu wpływu może zostać podwyższona o 20% za interdyscyplinarność prowadzonych prac (jeszcze nie widziałam opisu wpływu, który nie zgłaszałby roszczenia do interdyscyplinarności).

Niemal w ostatniej chwili limit słów w sekcji dotyczącej opisów badań został zwiększony, co sugeruje nieoczekiwany nacisk na jakość samych badań (a nie właściwego przedmiotu oceny, czyli wpływu).

Po piąte: brak specjalistycznego wsparcia na uczelni

Na uczelniach w Wielkiej Brytanii szybko stworzono tzw. “infrastrukturę wpływu”. Składają się na nią wszystkie elementy, które wspierają generowanie wpływu i jego dokumentowanie. Już w pierwszej rundzie większość autorów i autorek opisów wpływu mogło liczyć na wsparcie wyspecjalizowanych pracowników – impact officers. Obecnie istnieją na uczelniach oddzielne “impact centres” – coś jak centra transferu technologii, ale rozumiane znacznie szerzej. Działają też komercyjne firmy oferujące doradztwo w tym zakresie (Fast Track Impact, Emerald Impact Services). Dostępne są też podręczniki ułatwiające zrozumienie pojęcia wpływu i zastosowanie go we własnej karierze naukowej. W Polsce jedyną tego typu publikacją jest w tej chwili mój Poradnik.

Ewaluacja wpływu społecznego: co dalej?

Złożone w polskiej ewaluacji opisy wpływu zostały już udostępnione w ramach bazy danych. Wraz z punktacją ewaluatorzy mają przedstawić opisową informację zwrotną (tego elementu nie ma w UK).

Z uwagi na sposób wprowadzenia oceny wpływu społecznego w Polsce, z pominięciem debaty i odpowiedniego wsparcia, sam wpływ społeczny nadal jest ideą słabo rozumianą. To przekłada się na nierówną jakość opisów wpływu. Po przeczytaniu kilkudziesięciu z nich, nie zazdroszczę ewaluatorom (i nie dziwię się, że publikacja wyników wciąż się odwleka).

Powyższy tekst ukazał się oryginalnie 07.04.2022 w j. angielskim pod tytułem “Poland’s impact evaluation gets lost in translation” w czasopiśmie “Research Europe” i na portalu Research Professional News.

Opublikowane w

Wpływ społeczny – deja vu?

Impact case study close up

Tekst ukazał się pierwotnie na blogu London School of Economics (LSE) – Impact of Social Sciences

Wpływ społeczny – z Albionu do Polski

Gdy w 2014 roku przeprowadziłam się do Wielkiej Brytanii, aby rozpocząć studia doktoranckie, hasło „impact” było wszechobecne. Niemal co tydzień na kampusie odbywało się jakieś wydarzenie związane z “wpływem społecznym” (tak obecnie tłumaczy się “impact” na język polski). Warsztaty, szkolenia, wykłady… Wszystko wokół wprowadzonej niewiele wcześniej inicjatywy “Impact Agenda” zakładającej promowanie (i ewaluowanie) wpływu społecznego naukowców.

Ja sama brałam udział w kursach skierowanych do młodych badaczy. Tłumaczono nam, czym jest “wpływ społeczny” i jak od początku uczynić go integralną częścią naszych badań. Widać było ogromny i skoordynowany wysiłek włożony w rozpowszechnianie informacji o “wpływie” we wspólnocie akademickiej.

Dziś wydaje się, że w Wielkiej Brytanii termin „impact” na stałe wszedł do akademickiego słownika.

Nikt nie pyta już, co oznacza pojęcie “impact”. Większości naukowców nie ma też wątpliwości, że o “wpływ” warto się starać.

“Impact” po polsku

Obecnie z zainteresowaniem obserwuję, jak ta historia powtarza się w Polsce. Zbliża się zaplanowana na 2022 r. ewaluacja jednostek naukowych (w poprzednim wcieleniu zwana pieszczotliwie “parametryzacją”). Po raz pierwszy będzie ona zawierała element „wpływu społecznego” (tzw. “trzecie kryterium ewaluacji”). Podejście do ewaluacji wpływu jest wyraźnie wzorowane na brytyjskim modelu Research Excellence Framework (REF).

Polscy naukowcy, a także administratorzy i managerowie uczelni przechodzą obecnie przez te same etapy, przez które przechodzili ich brytyjscy koledzy w okresie poprzedzającym REF 2014. Gorączkowe czytanie dostępnej dokumentacji. Wysiłek klarowania, a potem tłumaczenia innym, czym właściwie jest wpływ społeczny (a czym nie jest). Tropienie naukowców, którzy mogą się wykazać czymś na kształt wpływu społecznego. Przekonywanie ich do napisania opisów wpływu. Kolejne rundy poprawek opisów wpływu.

“Wpływ” – nowa składowa “akademickiej doskonałości”?

Z punktu widzenia lingwistycznego fascynujące jest obserwowanie konsekwencji dodania do słownika ewaluacji akademickiej jednego nowego terminu.

Okazuje się, że taka niewielka zmiana może znacząco wpłynąć na sposób, w jaki naukowcy mówią, piszą, a być może nawet myślą o swojej pracy. “Impact” jest jak jeden składnik, który zmienia charakter całego dania (vide niebieski sznurek użyty do związania warzyw przez Bridget Jones).

W ramach badań doktoranckich analizowałam, w jaki sposób wprowadzenie do ewaluacji nauki elementu “wpływu społecznego” w dłuższej perspektywie kształtuje komunikację naukową.

Bezprecedensowym wydarzeniem jeśli chodzi o sposób komunikowania osiągnięć naukowych jest powstanie oddzielnego gatunku tekstu – “opisu wpływu” (impact case study).

W rozprawie doktorskiej opisałam zmiany spowodowane w komunikacji akademickiej przez wprowadzenie czynnika “impact” z perspektywy teorii rządomyślności (governmentality) Michela Foucaulta. Przy użyciu pojęć z zakresu analizy dyskursu przeanalizowałam wyłanianie się “dyskursu wpływu społecznego”. Więcej o etapach jego tworzenia się i umacniania w oryginalnym, dłuższym wpisie.

Wpływ wpływu

Model ewaluacji czynnika “impact” przyjęty w brytyjskim REF jest najbardziej rozbudowanym i najlepiej zbadanym podejściem do ewaluacji “wpływu”. Podejście brytyjskie jest pilnie śledzone i często kopiowane w systemach akademickich na całym świecie (Hongkong, Norwegia, Polska…).

W Wielkiej Brytanii “impact” przeorał krajobraz ewaluacji naukowej.

W ciągu kilku lat z mglistej, niedookreślonej koncepcji stał się on jednym z niekwestionowanych filarów rzeczywistości akademickiej. Praca nad dokumentowaniem “wpływu” pochłania setki godzin, o jego ocenie napisano tysiące stron. “Wpływ społeczny” może stać się fundamentem kariery naukowej. Jego brak może karierę złamać.

Z fascynacją (i odrobiną niepokoju) czekam na pierwszą polską ewaluację obejmującą element wpływu społecznego.

Jakie będą jej wyniki?

A co ważniejsze, jaki będzie jej wpływ?

Wpis jest oparty na moim artykule naukowym “Research impact evaluation and academic discourse” opublikowanym w Humanities Social Science Communications https://www.nature.com/articles/s41599-021-00727-8

Opublikowane w

Wpływ społeczny, trzecie kryterium ewaluacji, impact: czym jest i gdzie szukać informacji?

Ewaluacja działalności naukowej w 2022

W związku z pandemią, na mocy tarczy antykryzysowej 2.0 (Dz.Ust 2020, poz. 695) najbliższa polska ewaluacja działalności naukowej została przesunięta o rok. Obejmie lata 2017–2021 i rozpocznie się w dniu 1 stycznia 2022 r (zamiast 1.01.2021). To przesunięcie daje dodatkowy rok na przygotowanie się do zmian w ewaluacji jednostek naukowych, które wprowadziła Ustawa 2.0 (szczegóły w Dz. U. 2019, poz. 392).

Wprowadzenie kryterium “wpływu społecznego” jest jedną z największych zmian w polskim systemie ewaluacji nauki. Jak na element o wadze aż 20%, zaskakująco mało się o nim słyszy…

Przygotowanie się do ewaluacji tego nowego elementu oceny będzie dużym wyzwaniem dla ocenianych jednostek naukowych oraz naukowców. Lecz, jak głosi korpo-wiedza, każdy challenge to też opportunity. Ewaluacja aspektu działalności akademików, który dotąd nie był kompleksowo oceniany, to szansa na wykazanie się dotychczasowym wpływem badań na społeczeństwo, na poprawę w tym zakresie, a także na… “przetasowanie” w rankingach.

Światowe trendy sugerują, że element “wpływu społecznego” na stałe zagości w systemach ewaluacji naukowej, więc warto dowiedzieć się, co kryje się pod tym pojęciem, a nawet z nim zaprzyjaźnić!

Impact evaluation mon amour

Problemem ewaluacji wpływu społecznego interesuję się najprawdopodobniej najdłużej w Polsce 🙂

Od 2014 r. pracowałam nad doktoratem dotyczącym ewaluacji czynnika “impact” (którego odpowiednikiem jest właśnie “wpływ społeczny”) w brytyjskim systemie Research Excellence Framework (REF). Doktorat obroniłam na University of Warwick w 2018 r. W tym samym roku wprowadzono w Polsce Ustawę 2.0, która przewiduje ewaluację czynnika impact explicite modelowaną na brytyjskim REF.

Moje wystąpienie o ewaluacji czynnika impact w EHESS Ecole des Hautes Etudes en Sciences Sociales w Paryżu. Czerwiec 2018.

Jak łatwo się domyślić, śledzę z wielką ciekawością jak “wpływ społeczny” zadomawia się na polskim gruncie. W kontekście wprowadzenia nowego elementu w ewaluacji jednostek naukowych w Polsce można zadać wiele fascynujących pytań. Nie będzie jednak na nie miejsca w tym wpisie 🙂 Tu skupię się bowiem głównie na pytaniu:

Czym jest wpływ społeczny?

Mówiąc krótko, wpływ społeczny to wpływ badań na świat zewnętrzny, poza akademią.

A więc wpływ społeczny to ta słynna (niesławna?) “współpraca nauki z biznesem”? Nie! To coś znacznie więcej! Pojęcie wpływu społecznego oznacza, zgodnie z rozporządzeniem:

związ[ek] między wynikami badań naukowych lub prac rozwojowych albo działalności naukowej w zakresie twórczości artystycznej a gospodarką, funkcjonowaniem administracji publicznej, ochroną zdrowia, kulturą i sztuką, ochroną środowiska naturalnego, bezpieczeństwem i obronnością państwa lub innymi czynnikami wpływającymi na rozwój cywilizacyjny społeczeństwa,

A więc wpływ społeczny to po prostu rozpowszechnianie wyników badań, popularyzacja? Nie! Znowu, to znacznie więcej! Nie wystarczy bowiem wykazać się np. wystąpieniami w radiu, artykułami popularnonaukowymi, czy odczytami w muzeach i bibliotekach. Należałoby jeszcze wykazać, jak te działania wywarły realny wpływ na gospodarkę, funkcjonowanie administracji publicznej etc. Jak to udowodnić? To właśnie jedno z owych fascynujących pytań, na które w tym wpisie nie odpowiem.

“Impact” niejedno ma imię

Kiedy mówiłam znajomym w Polsce, że mój doktorat dotyczy ewaluacji czynnika “impact”, na ogół uznawali, że zajmuję się bibliometrią i “impact factorami” czasopism, w których publikują szanujący się naukowcy i naukowczynie.

Łatwo zrozumieć nieporozumienie, bo pojęcie “impact” w obu przypadkach dotyczy obszaru ewaluacji nauki i stanowi próbę odpowiedzi na pytanie “jak szeroki zasięg mają dane badania?”. O ile jednak rozmaite “impact factory” (czasopism, publikacji) dają pojęcie o zasięgu badań w świecie akademickim (cytowania), o tyle “impact” w znaczeniu “wpływu społecznego” dotyczy właśnie wpływu poza światem akademickim. A więc: jak dane badania zmieniły świat? Jak wpłynęły na systemy, działania, dyskurs, przekonania etc?

Kolejna różnica między “impactem” w znaczeniu bibliometrycznym, a “impactem” w znaczeniu “wpływu społecznego” jest taka, że ten pierwszy ewaluuje się z zasady ilościowo, a ten drugi – jakościowo (w procesie peer-review lub expert-review).

Co ciekawe, obserwuję, że w anglosaskiej kulturze akademickiej pojęcie “impact” kojarzy się obecnie na pierwszym miejscu właśnie z “wpływem społecznym”, a nie wskaźnikami bibliometrycznymi.

Ewaluacja jednostek naukowych a REF

W stosunku do brytyjskiego REF, w Polsce inaczej ujęto relację między “wpływem społecznym”, a “wynikami finansowymi badań”. W Polsce przyjęto trzy kryteria oceny:

1. Poziom naukowy prowadzonej działalności
2. Efekty finansowe badań naukowych lub prac rozwojowych
3. Wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki

W Wielkiej Brytanii również mamy do czynienia z trzema kryteriami, lecz są to:

1.The quality of outputs (e.g. publications, performances, and exhibitions,
2.Their impact beyond academia
3.The environment that supports research. 

A więc dwa elementy – jakość badań i wpływ – są w obu systemach takie same, a jeden odmienny: środowisko badawcze (UK) vs. efekty finansowe (PL). To nie oznacza, że efekty finansowe nie są oceniane przez pragmatycznych Brytyjczyków – ten element jest jednak “rozdystrybuowany” miedzy kryteria 2 i 3, a stanowi jednego, całościowego kryterium ewaluacji. Warto też zwrócić uwagę na analogie między “wagami” poszczególnych elementów oceny w Wielkie Brytanii i Polsce.

Poniżej wagi kryteriów w polskiej ewaluacji.

Żródło: strona Konstytucjadlanauki.gov.pl

W brytyjskim REF 2014 obowiązywały poniższe wagi kryteriów :

Outputs sub-profile (65%)
Impact sub-profile (20%)
Environment sub-profile (15%)

W nadchodzącym REF 2021 będą to zaś odpowiednio: 60%, 20%, 15%, a wiec waga czynnika impact jeszcze wzrosła, kosztem publikacji.

Podobieństwa i różnice w podejściu do ewaluacji czynnika impact w systemach brytyjskim i polskim (a także norweskim) to jeden z moich koników. Moim zdaniem wiele mówią one o tych systemach akademickich w ogóle. Wygłosiłam wykład na ten temat na konferencji poświęconej ewaluacji czynnika impact w Bilbao w 2019. Mogę udostępnić slajdy na życzenie – vide poniżej.

O rozmaitych aspektach ewaluacji wpływu społecznego mogłabym długo pisać, ale gatunki internetowe mają swoje prawa, a czas nie jest z gumy, więc zamiast tego polecę czytelni(cz)kom listę lektur. Pozostało tyle ciekawych wątków: “wpływ” a misja uniwersytetu, “wpływ” a humanistyka, jak pisać “studia przypadku” wpływu, “wpływ” negatywny, “wpływ” polegający na zapobieganiu… Postaram się wrócić do nich w kolejnych wpisach.

Gdzie szukać informacji o wpływie społecznym?

Moje publikacje 🙂

Po polsku:

Dwa artykuły opublikowane w piśmie “Nauka i Szkolnictwo Wyższe” nr 1(49) (2017)

Ewaluacja „wpływu społecznego” nauki. Przykład REF 2014 a kontekst polski – wprowadzenie do tematyki ewaluacji wpływu społecznego, omówienie systemu REF, perspektywy w kontekście polskim (tekst z 2017 roku, więc przed ogłoszeniem regulacji z Ustawy 2.0). Pochlebiam sobie, że ten tekst wprowadził przekład “impact” jako “wpływ społeczny”. Rozporządzenie mówi o “ocenie wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki”, ale to mało wpadające w ucho określenie (stąd przyjęło się

Ewaluacja „wpływu społecznego”? Nie naśladujcie Brytyjczyków! Wywiad z Davidem Sweeneyem, dyrektorem Higher Education Funding for England (HEFCE) do spraw Badań, Edukacji i Transferu Wiedzy – bardzo polecam ten wywiad, nie dlatego, że ja go przeprowadziłam, ale dlatego, że rozmówca, David Sweeney, jest jedną osób, które odegrały najważniejszą rolę w procesach tworzenia polityki dotyczącej ewaluacji czynnika “impact” na świecie. David Sweeney to wysoki urzędnik, który cechuje się zarazem szerokimi horyzontami, ideowością w podejściu do misji nauki, a jednocześnie bardzo twardo stąpa po ziemi. I znalazł czas, żeby udzielić wywiadu ówczesnej doktorantce!

Oraz:

Ewaluacja “wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki” – Uwagi do projektu rozporządzenia MNISW ws ewaluacji jakości działalności naukowej (Projekt z dnia 30 lipca 2018 r.).pdf – moje uwagi przesłane do MNISW w ramach konsultacji projektu USTAWY 2.0. Opisuję tu m.in. pewne kwestie, które wynikają z “przetłumaczenia” brytyjskiego systemu ewaluacji czynnika “impact” na polski grunt. To są uwagi do projektu, a nie ostatecznego rozporządzenia, ale zdaje się, że stosują się i do rozporządzenia.

Po angielsku:

Research impact evaluation and academic discourse – kompilacja “the best of” z mojego doktoratu. Tekst ukazał się w otwartym dostępie w piśmie Humanities and Social Sciences Communications

The making of the “Impact Agenda”. A study in discourse and governmentality – mój doktorat, moje dziecko (w linku w wersji okrojonej do postaci “executive summary”)

“Impact evaluation in Norway and in the UK: A comparative study, based on REF 2014 and Humeval 2015-2017”, ENRESSH Working Papers, 2019, Centre for Higher Education Policy Studies University of Twente, Enschede, Vol. 1, 1-61, https://doi.org/10.3990/4.2666-0776.2019.01. – porównanie systemu brytyjskiego i norweskiego ewaluacji wpływu społecznego (norweskie ewaluacje mają przede wszystkim funkcję “informacyjną”, nie są związane z mechanizmem finansowania jednostek), a także porównanie cech stylistycznych norweskich i brytyjskich case studies. Artykuł zawiera też praktyczną check-listę, która może być przydatna przy redagowaniu studiów przypadku (str. 49-51 – żeby ściągnąć artykuł należy kliknąć link oznaczony ENRESSH i odblokować wyskakujące okienko).

“Rethinking research impact assessment: a multidimensional approach”, Fteval Journal for Research and Technology Policy Evaluation, 2019, vol 48, pp.159-175 10.22163/fteval.2019.385 – tekst dla wnikliwych dotyczący etycznych aspektów ewaluacji “wpływu społecznego”
Artykuł napisany wspólnie z Sergiem Manrique i Bradleyem Good. Plakat towarzyszący temu artykułowi zdobył 1 miejsce na konkursie na konferencji ‘Impact of Social Sciences and Humanities for a European Research Agenda – Valuation of SSH in mission-oriented research’ zorganizowanej w ramach Austriackiej Prezydencji UE

Plakat “Impact Case Study – A New Academic Genre & What it Says About Researchers”, prezentujący studium przypadku wpływu (impact case study) jako nowy typ akademickiego tekstu. http://dx.doi.org/10.6084/m9.figshare.4244132 
Plakat zaprezentowany na konferencji Impact Politics and International Studies Impact Conference, Warwick University, 22-23.11.16

Prezentacja ‘ The Polish “Impact Agenda?” “Impact” – new element of evaluation of scientific units ‘. Moja prezentacja z 2019 roku na uniwersytecie w Helsinkach (Islandczycy też szukają swojego modelu ewaluacji czynnika “impact”). Prezentacja omawia kontekst wprowadzenia ewaluacji wpływu społecznego w Polsce (problemy szkolnictwa wyższego i B+R, na które ewaluacja ma być odpowiedzią) i jej główne założenia 10.6084/m9.figshare.12611423

Prezentacja “ Developing Frameworks for Assessing Impact in Different Academic Cultures” towarzysząca wykładowi wygłoszonemu przeze mnie na konferencji AESIS Net (AESIS SPRING COURSE 2019 – Implementing a National Research Impact Strategy) w Bilbao w 2019. Udostępniam subskrybent(k)om na życzenie 🙂
Swoją drogą, warto śledzić działalność prężnej organizacji AESIS Net, która zajmuje się tworzeniem i dzieleniem się wiedzą w obszarze ewaluacji wpływu. Skala organizowanych przez nią wydarzeń świadczy o dużym fermencie i zapotrzebowaniu na wiedzę w tym obszarze.

Inne źródła:

ROZPORZĄDZENIE MINISTRA NAUKI I SZKOLNICTWA WYŻSZEGO) z dnia 22 lutego 2019 r w sprawie ewaluacji jakości działalności naukowej Dz. U. 2019, poz. 392, szczególnie § 23

Ewaluacja jakości działalności naukowej. Jak oceniani będą badacze i jednostki naukowe? – przystępne opracowanie zasad najbliższej ewaluacji jakości działalności naukowej na stronie “Konstytucji dla nauki”

Podręcznik dla ewaluowanych podmiotów i podręcznik dla ekspertów w polskim pilotażu oceny wpływu społecznego, aut. Przemysław Korytkowski i Emanuel Kulczycki – na stronie ekulczycki.pl (link bezpośredni)

Ogromne, nieprzebrane ilości danych i opracowań stworzonych w kontekście brytyjskiego REF. Strona bieżącej ewaluacji (planowana na 2021, zawieszona w związku z pandemią): https://www.ref.ac.uk .

Archiwum case studies (studiów przypadku wpływu społecznego) z pierwszej edycji REF 2014: https://impact.ref.ac.uk/casestudies/search1.aspx. Naprawdę warto zajrzeć do wyszukiwarki i przeczytać kilka case studies ze swojego obszaru. Często taka lektura “otwiera oczy niedowiarkom” i uzmysławia jaka jest funkcja takiego dokumentu oraz jak on wygląda. Czy da się sprawdzić, które studia przypadku były najwyżej ocenione? Niby nie, ale jest pewien trik, który pozwala sprawdzić jakie były najwyżej ocenione studia przypadku w REF 🙂 Z mojej perspektywy (np. porównując z norweskimi impact case studies, które też badałam) te brytyjskie z zasady są solidnie przygotowane i większość z nich można spokojnie brać za wzór.

A tu archiwum australijskich case studies: https://dataportal.arc.gov.au/EI/Web/impact/ImpactStudies

Webinar „Wpływ społeczny – III kryterium w ewaluacji jakości działalności naukowej” dr Katarzyny Świerk, zorganizowanego przez Instytut Rozwoju Szkolnictwa Wyższego

Ogromne ilości informacji praktycznych przygotowanych przez Brytyjczyków w kontekście REF 2014 i 2021, a także opracowań naukowych dotyczących czynnika “wpływu społecznego”. Wystarczy wpisać do wyszukiwarki frazy “impact evaluation”, “REF” + np. dziedzina nauki, problem (np. płeć badaczy, typ uniwersytetu, finansowanie etc).

Lub zapytać mnie. Mam dużo informacji o “wpływie społecznym” i lubię się nimi dzielić 🙂

Opublikowane w

Academia.edu Premium: is it worth it?

Academia.edu is the social media platform for scientists, competitor of Research Gate. The website allows you to upload your papers and download papers shared by others. In order to do that you need to have an account which is free. But! Once you have an account, Academia.edu will send you (heaps of) emails inviting you to go Premium, in order to have access to extra features. 

I tried it out for a month and I made a video overview of the premium features.

If you prefer the written word, below is a rough account of what I say in the video.

Main features

The main features of Academia.edu Premium are: 1) access to mentions of your name, 2) the possibility of checking who saw your profile, 3) your own website, 4) extra analytics, 5) the option to set up alerts for new papers on a given tag.

The alerts can be monthly, weekly etc. – it is pretty easy and I don’t cover this in the video but I think this feature can be potentially useful.

Mentions

Many people are drawn to the Premium subscription by the (many!) emails which highlight ‘mentions’ of their name in research papers. In order to view these alleged references in full, you would have to go Premium. Now, for most people these emails will be instantly suspicious, as they usually feature papers in completely alien fields or they include mentions of researchers with just the same initials as you. But occasionally the news on mentions of your name is plausible and you may be tempted to check it out. 

Recently, I’ve had to review my citations. This was my main reason for trying out Academia.edu premium. I didn’t have high hopes though. And rightly so, because this feature is not very useful. It gives you a list of completely unrelated papers which cite people with the same last name as you. They are divided into “all mentions” and “high confidence” and the ones you yourself marked as “this is me”. You can scroll through these and pick out a few mentions of your own name but this will not be useful in any academic procedures (grant applications, job applications, yearly review etc.) as the listings also include reports and citations in and to non-peer review publications. For instance, I found a reference to a talk I gave and to my MA. There is a reason these are called “mentions” and not “citations” or “references”, you know!

Mentions vs. References

I find that Google Scholar is much better in picking up actual citations. If your aim is to review your citations, you are better off getting a (free) Google Scholar account, rather then Academia Premium. 

Academia’s “Mentions” will give you similar returns to Google Scholar but Google Scholar records edit out the noise (which is the main content of emails from Academia about mentions of your name). 

Readers

This feature allows you to see who viewed your profile and what they read, downloaded, when they did this etc. You can also see their latest downloads. Readers can be broken down into “all”, “highly engaged” and “in your network” and “in your field”. 

I imagine that the rationale for this feature is facilitating networking, but I actually found it very creepy! Of course, we all know that we leave a trace when we click on things online, but I wasn’t expecting that other users can display our data in this way. I can’t imagine using it as an opening line. “Hi, I see you’ve viewed my profile X times, do you want to chat?” I don’t think so. There is a feature which invites you to leave a note when you download a paper, which is available in the basic/free Academia.edu account. This is actually much more useful for this purpose and I feel a lot more polite. 

The use of knowing your readers?

Admittedly, seeing the range of your papers’ readers may give you an ego boost. But it will be just a tiny one as of course most people just scroll through the first pages (and that’s including professors – that’s one thing I learned from my analytics!). 

Still, it’s a weird feature. I don’t intend to use it and because of it I would actually be a bit suspicious of anyone who has academia.edu Premium! Are they the sort of people who like to lurk online? Do they take a secret satisfaction in seeing who saw their profile? Incidently, it is not marked who is a Premium user, so you never know… unless they have a profile website, which is another Academia feature. 

Still, I would be extremely careful when stalking your (intellectual) crush on Academia. If you can’t help yourself, maybe get a fake academia account for this. A fake-a-demia. I’m not gonna go there.

Your own page

With academia.edu premium it is an easy feat to put your own web page online. But the page is not super nice. The horrid formulaic headers! The row of dusty old books to represent “humanities” has got to be my favourite. You can’t modify the site (for instance adding a custom tab). Finally, If you have such a profile, then people will know that the owner is likely to be an academia.edu premium user (i.e. potential lurker). 

A website, formulaic, I wouldn’t like to have these as a placeholder, also because you are one of the people who like to see who visited their profile, which is creepy, and also not marked 

More analytics

Finally, being a Premium user gives you access to more statistics on your papers than the ones you have as a basic user. Check out the video for more details. 

Bottom line

I bought the Premium subscription for 149 PLN (22 Euro) when there was a 50% discount (I feel there often is). By mistake, I chose the “annual” subscription rather than monthly. I didn’t feel happy paying upfront for a service I wasn’t sure I would like. In fact, I didn’t find the Premium features very useful for myself and have issues especially with the “Readers” option. Still, I find it can be useful for specific purposes, like setting up alerts for papers on certain research topics or reviewing your citations. However, I find Google Scholar does a better job in both fields.

30 day money-back guarantee

There is a 30 day money-back offer on Academia Premium. I intend to use it (though the instructions for claiming it are discouraging!).

Edit! It was actually not at all difficult to file a refund request. Not a one-click process, but all you need is your credit card details and the date of the payment. Two days after sending my request I was contacted by an Academia.edu employee who informed me that my refund had been processed and enquired about my experience. So cheers, Academia!

Opublikowane w

“Trust, bitterness and pre-recorded videos”. Coronavirus & the future of higher ed

After the coronavirus crisis, many industries will have to change the way they operate, as people change their thinking about health, safety, travel & leisure and reassess their priorities.

What is in store for Higher Education?
Will this sector be “disrupted” as well?

Overview for “fast academics”:

The crisis has given new currency to grand questions of Higher Ed.
Online teaching infrastructure is finally used! 🙂
Access to online teaching is unequal! 🙁
Do we trust people to do a good job?
Beware of zoom bombs and video-lecture theft!
Mission of academics in post-truth era.
Will youtube lectures replace uni staff?
The coronavirus as a chance to reboot the academic system!

Grand questions of Higher Ed

The corona crisis is affecting Higher Ed differently in different countries. It brings out the strengths and weaknesses of the respective academic systems.

Because of the reliance on technology, there is a real risk that access to broadband and teaching platforms will make all the difference to students’ experience. So in many cases, it boils down to €$£. But there is a huge human factor as well. The coronavirus has given a new currency to the grand questions of Higher Ed sector: 

  • what do we want to teach? 
  • who will be able to study? 
  • who will own the knowledge? 
  • who will pay for education and who will be payed for it? 

Online teaching: different speeds

Online teaching is developing at different speeds at different institutions and countries, depending on the available resources.

Some institutions have long been using elements of online teaching, so the necessary infrastructure was just sitting and waiting. When the coronavirus hit, everything was about ready to shift online. Everything but not everybody. So, crash-courses were swiftly organized to update staff on the myriad available tools. Despite some initial anxiety, at many institutions the transition to an online learning environment was almost seamless. 

Where the technology is available, all forms of teaching are going ahead, from one-on-one tutorials through to conferences for hundreds of people!

Lectures, with the one-way communication between tutor and students are the easier format, despite some glitches due to video lag and lack of real-time verbal and non-verbal responses from participants. But teaching platforms can even enable seminars and workshops. For instance, some allow the tutor to allocate students randomly to groups and listen in during groupwork. At the end, students can carry out plenary presentations. Additionally, there are discussion boards, chats etc.

Even assessment was moved online, though with necessary adjustments (like forms of open book examination or projects instead of exams). The main platforms in use are: Zoom, Microsoft Teams, Google Meet, Blackboard Collaborate for online teaching and Media Hopper for editing recordings. 

One positive outcome of this unprecedented shift to online teaching is that everyone had to get acquainted with these tools. Before some people were slow to take on the technology, perhaps thinking they might get by without it.

Meanwhile in the provinces…

The picture I’ve painted above applies to the realities of (some) British universities, with their “student-oriented”, “managerially-led”, “cutting-edge” etc. culture. In sharp contrast to this is the situation at less well-to-do institutions around the world (and in the UK!) which are forced to rely on more basic resources.

Without the access to specialised conferencing platforms, some teachers resort to posting their lectures on youtube and some can only upload files (like book chapters or power points) to online depositories. This makes for a much more passive learning experience.

In theory, students can contact tutors via email, but many just don’t. And in some cases, it’s the tutors who evade contact.

Before rushing to denounce the laziness of those who don’t engage in online learning and teaching, we should take a look at the resources they have at their disposal. Do teachers have the necessary equipment to deliver the kind of teaching which is expected of them? Can students easily access these resources?

Some universities have told academics who don’t have a good internet connection to use the campus wifi while working from their cars! That is assuming they have cars and quality laptops! Some students don’t have access to a computer or have to share it with a sibling or a working parent (or a child, in the case of mature students). In some areas the internet is too slow to follow an online session. So it’s back and sending coursework back and forth via email… (if the teachers and students are willing). 

It’s all about trust

Online teaching requires a relationship of trust.

The tutor needs to trust their students to listen to the lecture (rather than turn it on and leave the room), to do their coursework, to not take advantage of the situation to justify missing deadlines etc. Similarly, management needs to trust academics to deliver quality teaching. And not all managers have been willing to give up their favourite hobby of micro-managing employees. I heard of one dean who holds daily one-hour-long skypes with faculty so everyone can brief him about what they have been up to. “Er…besides reporting to you?”.

How we deal with issues of trust in online teaching sheds light on the underlying relationship between members of an academic community. Do we see students and tutors as collaborators in the common quest for knowledge? Do we see managerial staff as facilitating this process? Or on the contrary, do we expect people to take advantage and cheat?

Who owns the knowledge (pst… it’s Google!) 

Many of the platforms which are in use for online teaching are free, in theory offering access to all. This is of course an illusion. A free license usually imposes limitations as to the number of users, time of use and available features. As we know, “if something is free then you are the product”. So there is a question of tracking traffic and data use. And then there are the security lapses.

Apparently, strangers can drop ‘photo’ or ‘video-bombs’ with (sometimes) obscene images in non-encrypted Zoom sessions!

These are all reasons for the institutions to invest in a full licence for the service. This can be a big expense for universities (particularly smaller institutions in developing countries). Going ahead with it may mean taking resources away from other services. A smart solution would be to invest in your own in-house platform. Indeed, it looks like University of Warsaw has taken this road! Well done, Alma Mater!

Regardless of the platform which lecturers are using, there remains the question who owns the copyright on the teaching materials and the videos – the tutors or the university?

There is a fear that the many online-teaching materials which are now being produced will be recycled. Unis may use them over and over again with new groups of students. This would reduce required hours of traditional teaching and enable cuts to staff numbers. And what is to stop someone from recording a “locked” videoconference and disseminating it without permission? Once again, it boils down to trust.

Beyond just teaching

Teaching is not all broadband, hang-outs, zoom and skype (as the previous paragraphs would make you believe). The best technology is no substitute for a good teacher. I can hardly imagine what it’s like being a student nowadays. Locked-down in your dorm with Internet as your only connection to fellow inmates. Or back with parents in your hometown (hundreds of) miles from your institution, university fading into a distant illusion… Asking yourself how your education will figure in tomorrow’s job market? What is the point of studying as the coronavirus disrupts the world as we know it? Where do we come from and where we are going?

Tuning into these questions is as important nowadays as delivering the “core teaching”. In the UK tutors were advised to organise some social interaction, to ease the students’ stress. Some lecturers take up current issues related to the virus in class, so that students have an opportunity to voice their anxieties. I’ve heard many heartening accounts of academics who are going above and beyond their duty during the crisis. They work hard to deliver the best learning experience under the circumstances (not to mention IT support and counselling services!) But there is another important responsibility resting on academics.

In the era of post-truth, academics have the duty to support science-based approaches to the epidemic and oppose the spread of fake news & “populist science”.

This pressing task should be incorporated into the teaching of many subjects, be it “STEM” or “SSH” ones! 

The future learning experience

The fact that so much teaching has been shifted online in a matter of days raises the question: what is the point of moving to a different town/abroad to get a university education? There are of course things which cannot be done online. There’s labwork and certain research tasks in the library. What cannot be replaced is the camaraderie of a classroom, the functionality of a dedicated learning environment, the coziness of a nice library (mmmm) and the cultural advantage of exploring a foreign country with its academic culture.

But will that be enough to sustain the current model of higher education and to justify the need for ever-shinier university campuses? There is the question: when will it be safe to travel and how prospective students and parents will feel about this decision? Currently, students in England are paying full tuition fees (and many are covering rent too). There seems to be a growing sense of bitterns (“are we paying 9K a year to watch pre-recorded videos?”).

Attitudes are understandably different depending on how much a degree costs.

In England where the cost of a BA is almost prohibitive (9K a year and that’s for home students) students are more worried about getting “value for money”. Where Higher Education is free for students, like in Poland, there is much more of a ‘wait and see’ approach. Students’ anxieties are more about longer-term job prospects, the economy, domestic politics etc. Lecturers in the UK face a much harder task proving to their students that they are still getting “what they paid for”.

Alternatives to traditional uni?

Meanwhile, platforms like EDX which offer free (or cheapish, if you want certification) online learning have been booming. In view of the looming recession, some may turn to them as an alternative to a traditional academic degree. Those who still want to go for the “real deal”, might be tempted to choose an education closer to home (maybe opting for a branch of a foreign university in their own country, like Coventry Uni in Wrocław) or take a remote degree (like the ones offered by Open university).

Future recruitment numbers, the financial stability of universities, changing attitudes to travel, the rise of new less labour-intensive forms of online teaching all contribute to academics’ worries as to the future of their profession. 

The bigger picture

All of these issues are just part of the big picture. The coronavirus crisis with accompanying political developments have raised fears over the future of democracies and markets in general.

Whether we feel safe, how much money we have to spend, if/when boarders will open, what will the perceived importance of an education be – all this will shape the future of higher ed as much as existing technological resources.

Some (optimists) see the coronavirus crisis as an opportunity to change the way we think about our environment and to embrace a more balanced, responsible and sustainable lifestyle. In the context of higher ed, I would much welcome a change in the dominant thinking about the role of universities in society.

The crisis is an opportunity to look at the value of university as going beyond delivering courses and distributing degrees.

Academia is a community of common goals, a quest for knowledge and progress. My hope would be that this crisis will allow us to reject the model of higher education as a product that one simply buys, of academia as a huge money-making machine, and of academic staff as disposable commodities. I only wonder if there is a way to achieve this without “rebooting” the whole system?

The coming weeks, months (years?) will bring many more reflections on how the coronavirus has changed higher ed.

I’m just not sure if my line manager (baby Wera) will allocate the time for me to write another post on the topic!

Aknowledgments

The above observations are based on exchanges with my good friends from university (Warwick University & Warsaw Uni – note I only study at institutions that start with “WAR”, haha) who are now teaching languages and linguistics at academic level around the world. I’ve also picked up points from Twitter threads and media (like this BBC 4 programme). 

I want to thank my friends who shared their first-hand experiences with me. Thanks go to: Ana Salvi and Xristina Efthymiadou from universities in England, Samaneh Zandian from Scotland, Sixian Hah from Singapore, Zuleyha Unlu from Turkey, Michał Fedorowicz from Poland. 

Opublikowane w

Video: Studia doktoranckie w UK cz. 2

Kolejny film nakręcony w czasie epidemii.

Opowiadam o studiach doktoranckich w Wielkiej Brytanii, o zapleczu naukowym brytyjskich uczelni, pozycji doktoranta, procesie pisania doktoratu (w tym “panels”) i o obronie doktoratu.

A wiatr wieje i rozwiewa włosy. A wieś w tle szumi i ćwierka.

Opublikowane w

Video: Studia doktoranckie w UK cz. 1 – koszt i finansowanie

Studia doktoranckie w UK – ile kosztują i jak je sfinansować?


Na podstawie moich doświadczeń ze studiów doktoranckich na University of Warwick, opowiadam o kosztach studiów doktoranckich (tuition fees, koszty utrzymania). Mówię też o dwóch sposobach na sfinansowanie studiów doktoranckich i utrzymaniu się w ich trakcie. To pierwszy filmik z cyklu. Zapraszam!