uczniowie

Jak uczniowie nauczyli się oszukiwać AI oceniające ich testy

Niektórzy amerykańscy uczniowie, na początku nowego roku szkolnego, zetknęli się z edukacyjną platformą Edgenuity. Chociaż było to ich pierwsze starcie z nauką zdalną od początku szkoły, Edgenuity miała oferować prostą obsługę – uczeń wysyła zadania, nauczyciel otrzymuje je i ocenia. Jak się okazało, nie było to takie proste.

Prawdziwa historia

Dana Simmons, nauczycielka historii, zastała swojego syna, Lazare’a, w płaczu. Uzyskał on wynik zaledwie 50% na jego sprawdzianie… również z historii. Coś jednak było nie tak – jego ocena ukazała się kilka sekund po wprowadzeniu odpowiedzi.

Dana od razu wiedziała, z czym uczniowie mają do czynienia na platformie Edgenuity. Był to algorytm, oceniający ich na podstawie słów kluczowych zawartych w ich odpowiedziach.

Jak uczniowie nauczyli się oszukiwać AI oceniające ich testy
Nauczyciele nie mogliby tak szybko ocenić prac, które wysyłają uczniowie / fot. TheVerge

Algorytm oparty na słowach kluczowych łatwo jednak złamać. Tak właśnie się stało. Dana i Lazare postanowili zamienić nauczanie zdalne w nową grę – jak dostać 100% na każdym teście.

Teraz, zamiast oryginalnej odpowiedzi, Lazare wpisuje dwa długie zdania, a po nich listę słów kluczowych z artykułów i filmów na dany temat. Na przykład, w przypadku pytania o Konstantynopol, Lazare dopisałby słowa bogactwo, karawan, statek, Indie, Chiny, Bliski Wschód, itd.

Jak uczniowie nauczyli się oszukiwać AI oceniające ich testy
Przykład pytania i odpowiedzi na temat Bizancjum / fot. TheVerge

Wyniki eksperymentu

Jak się okazało, Lazare nagle stał się szóstkowym uczniem – bez dodatkowej nauki. Dana Simmons mówi, że dotychczas otrzymał on tylko wyniki 100-procentowe. Tą metodę naciągania systemu Dana nazwała słowną sałatką.

Pałeczka jest teraz po stronie nauczycieli i platform zdalnego nauczania. Ponad 20 000 szkół na całym świecie używa Edgenuity. Posiada ona także kursy online. Chociaż jej system oceniania polegał na zwykłym algorytmie, inne szkoły i platformy nauki zdalnej mogą już stosować bardziej zaawansowane systemy, np. wykorzystujące sztuczną inteligencję i przesyłające oceny kilka godzin po wprowadzeniu odpowiedzi.

Co ciekawe, uczniowie (głównie kursów internetowych) już od kilku lat nadużywali systemu oceniania Edgenuity. Wpisywali bardzo długie odpowiedzi, uwzględniając nienaturalnie wiele słów kluczowych.

Chyba wszyscy rozumiemy konsekwencje takiego systemu oceniania uczniów. Jest on wręcz niesprawiedliwy. Zobaczymy więc, jakie będą konsekwencje tej historii.