Wyobraź sobie, że tygodniowy czas oczekiwania na wynik egzaminu można skrócić do kilku sekund, dzięki wynikowi opartemu na danych i krótkiemu wyjaśnieniu. Ocenianie algorytmiczne obiecuje szybkość, skalę i (potencjalnie) większą spójność. Jednak, jak pokazały kontrowersje wokół egzaminów A-level w Wielkiej Brytanii w 2020 roku , automatyzacja może również nasilać niesprawiedliwość, jeśli nie zostaną wdrożone zabezpieczenia, przejrzystość i ochrona prawna. W tym artykule omówiono, jak działa ocenianie algorytmiczne, co poszło nie tak w Wielkiej Brytanii, jakie znaczenie mają przepisy UE, takie jak ustawa o sztucznej inteligencji (AI Act) i RODO, oraz czego uczniowie powinni się spodziewać w przyszłości.
Definicja oceniania algorytmicznego w języku potocznym
Ocenianie algorytmiczne to termin zbiorczy dla szeregu technologii , które pomagają w punktowaniu prac uczniów. Najprostsze z nich to zautomatyzowane systemy oceniania testów wielokrotnego wyboru; z drugiej strony systemy wykorzystujące przetwarzanie języka naturalnego (NLP) i duże modele językowe (LLM) do oceny esejów, krótkich odpowiedzi, a nawet projektów otwartych. Systemy te potrafią wykrywać struktury gramatyczne, porównywać odpowiedzi z odpowiedziami modelowymi lub stosować korekty statystyczne w celu skorygowania poziomu trudności pytań. Wybory, których dokonujemy budując te modele – dane, którymi je zasilamy, i zasady, które ustalamy – decydują o tym, czy ocenianie algorytmiczne promuje sprawiedliwość, czy pogłębia nierówności.
Oceny kształtują dostęp do uniwersytetów, stypendiów i miejsc pracy. Dlatego, gdy algorytmy wkraczają do procesu oceniania, bezpośrednio wpływają na przyszłość młodych ludzi. Od czasu pandemii COVID-19 szkoły coraz częściej sięgają po narzędzia zautomatyzowane, a wraz z nowymi przepisami UE dotyczącymi sztucznej inteligencji i ochrony danych, Europa stała się kluczowym poligonem doświadczalnym, który pozwoli sprawdzić, jak sprawiedliwe i przejrzyste będą te systemy.
Przykład z życia wzięty: historia egzaminów A-level w Wielkiej Brytanii
Kiedy w Wielkiej Brytanii odwołano stacjonarne egzaminy A-level podczas pandemii COVID-19, w 2020 roku zastosowano podejście algorytmiczne, aby uzyskać wyniki oparte na historycznych wynikach szkół i prognozach nauczycieli. Wdrożenie tego rozwiązania doprowadziło do tego, że duża liczba uczniów otrzymała oceny niższe od oczekiwanych, co nieproporcjonalnie dotknęło uczniów z mniej zamożnych szkół. Sytuacja ta wywołała ogólnokrajowe oburzenie, w wyniku którego rząd wycofał algorytmiczne metody oceniania. Odcinek ten uwypuklił dwie trudne lekcje: (1) algorytmy mogą odtwarzać i wzmacniać istniejące nierówności; (2) przejrzystość i jasne procedury odwoławcze są niezbędne, gdy zautomatyzowany system wpływa na przyszłość ludzi.
Ocenianie wspomagane sztuczną inteligencją zapewnia szybszą informację zwrotną, większą spójność i skalowalne wsparcie dla uczenia się przez całe życie i mikrokwalifikacji zgodnych z Celem Zrównoważonego Rozwoju (SDG) 4. Wiąże się ono jednak również z ryzykiem, w tym potencjalnym błędem wynikającym z danych historycznych, brakiem przejrzystości w decyzjach dotyczących oceniania i nadmiernym poleganiem na automatyzacji, która może pomijać ważne ludzkie osądy.
Źródło obrazu: „Wygenerowane przez sztuczną inteligencję, egzamin szkolny, uczniowie” autorstwa Yamu_Jay za pośrednictwem Pixabay (używane na podstawie licencji Pixabay)
Zbiór przepisów UE: ustawa o sztucznej inteligencji i RODO
Ocenianie algorytmiczne może być równie pomocne, co szkodliwe. Z jednej strony, ocenianie wspomagane sztuczną inteligencją oferuje szybszy feedback, większą spójność i skalowalne wsparcie dla uczenia się przez całe życie oraz mikrokwalifikacji zgodnych z Celem Zrównoważonego Rozwoju (SDG) 4; z drugiej strony niesie ze sobą ryzyko, w tym potencjalne błędy wynikające z danych historycznych, brak przejrzystości w decyzjach dotyczących oceniania oraz nadmierne poleganie na automatyzacji, która może pomijać istotne ludzkie osądy.
Od momentu powstania Unia Europejska zobowiązała się do kształtowania zasad wykorzystania sztucznej inteligencji oraz tworzenia wytycznych i przepisów chroniących użytkowników. Dwa europejskie instrumenty prawne mają znaczenie dla klasyfikacji algorytmicznej:
Ustawa o sztucznej inteligencji (rozporządzenie z 2024 r.) : Systemy służące do określania dostępu do edukacji należą do kategorii sztucznej inteligencji wysokiego ryzyka. Dostawcy muszą przeprowadzać oceny ryzyka, zapewniać reprezentatywność danych oraz wdrażać środki przejrzystości i zarządzania. Oznacza to, że systemy oceniania prawdopodobnie będą wymagały solidnych testów i dokumentacji przed wdrożeniem.
RODO : Algorytmiczne ocenianie przetwarza dane osobowe (imiona i nazwiska, odpowiedzi na egzaminy, świadectwa szkolne), dlatego musi być zgodne z zasadami RODO dotyczącymi legalności, ograniczenia celu, dokładności i bezpieczeństwa. Co ważne, artykuł 22 ogranicza stosowanie w pełni zautomatyzowanego podejmowania decyzji, które ma skutki prawne lub podobnie istotne, jednocześnie zapewniając prawo do kontroli i kwestionowania decyzji przez człowieka. Jest to kluczowe zabezpieczenie dla uczniów.
Łącznie przepisy te nakładają zarówno obowiązki na deweloperów, jak i zapewniają ochronę studentom. Jednak przestrzeganie ich nie jest automatyczne; wymaga starannego projektowania i konkretnych procesów.
Jak powinno wyglądać dobre wdrożenie
Jeśli szkoły lub komisje egzaminacyjne planują korzystać z oceniania algorytmicznego, powinny co najmniej:
- Opublikuj zrozumiały opis działania systemu i wykorzystywanych przez niego danych.
- Przeprowadź i opublikuj audyty stronniczości pokazujące, jak różne grupy (ze względu na szkołę, pochodzenie społeczno-ekonomiczne, język ojczysty) są dotknięte.
- Zapewnij udział człowieka w przypadku odwołań i przypadków granicznych, zgodnie z wymogami RODO.
- Zapewnij jakość i reprezentatywność danych — dane szkoleniowe muszą odpowiadać populacji, którą system będzie oceniał.
- Zaoferuj dostępną ścieżkę odwoławczą i jasne sposoby rozwiązania problemów w przypadku znalezienia błędów.
Głosy studentów: o co powinni pytać młodzi ludzie
Jeśli jesteś uczniem, oto kilka mądrych pytań, które możesz zadać szkole lub komisji egzaminacyjnej, zanim w Twojej pracy zastosuje się system algorytmiczny:
- Czy moja ocena jest (choćby częściowo) wynikiem działania algorytmu?
- Jakich danych używa algorytm? Czy to moje dane osobowe?
- Jak mogę odwołać się od oceny? Czy moją sprawę rozpatrzy człowiek?
- Czy system został sprawdzony pod kątem stronniczości? Czy mogę zobaczyć wyniki?
Żądanie odpowiedzi na temat tego, w jaki sposób technologia kształtuje świat, w którym żyjemy, jest formą świadomego uczestnictwa i nigdy nie zaszkodzi.
Równoważenie obietnic i ochrony
Aby ocenianie algorytmiczne wspierało realizację Celu Zrównoważonego Rozwoju ONZ nr 4 poprzez rozszerzenie dostępu i standaryzację ewaluacji, musi być wdrażane z zachowaniem prawnych zabezpieczeń, przejrzystości i zaangażowania na rzecz równości. Prawo UE już wskazuje w tym kierunku: ustawa o sztucznej inteligencji (AI) oznacza systemy oceniania jako obarczone wysokim ryzykiem; RODO przyznaje uczniom prawo do przeglądu i informacji przez człowieka. Obietnica techniczna jest realna (szybszy feedback, potencjalne korzyści w zakresie sprawiedliwości), ale wyzwaniem politycznym jest zapewnienie, aby korzyści te dotknęły wszystkich.
Automatyzacja będzie częścią przyszłości edukacji. Udowodniono, że algorytmy mogły oceniać w przeszłości i będą to robić nadal w przyszłości. Dla młodych Europejczyków kluczowym pytaniem jest to, jak będą zarządzane algorytmy. Lepsze audyty, bardziej przejrzyste odwołania i zaangażowanie studentów muszą zostać wprowadzone, zanim zautomatyzowane systemy zadecydują, kto dostanie się na uniwersytet, kto otrzyma stypendia, a kto zostanie w tyle. Czytelnicy Pulse-Z powinni się tym zainteresować, ponieważ chodzi o sprawiedliwość, prawa i zasady, które kształtują szanse młodych ludzi w całej Europie.