AI do analizy błędów studentów

Błąd w pracy jest dowodem konkretnej odpowiedzi, a nie gotowym wyjaśnieniem tego, co dzieje się z człowiekiem. AI może pomóc uporządkować fragmenty, znaleźć podobne trudności i zaproponować następną praktykę. Model nie powinien jednak wyciągać wniosku psychologicznego ani przypisywać przyczyny nieobecnej w danych. Przydatna analiza rozdziela obserwację, możliwe wyjaśnienie i sposób sprawdzenia tego wyjaśnienia w pracy edukacyjnej.

Naszym hipotetycznym materiałem jest kilka planów krótkich zajęć. Występują w nich przekroczenie czasu, brak samodzielnej czynności i niejasny rezultat do oddania. To autorskie przykłady, a nie rzeczywista próba prac studentów. Nie liczymy rzeczywistych częstości i nie twierdzimy, że określona przyczyna jest powszechna wśród uczestników. Scenariusz pozwala pokazać, jak przekształcić widoczne trudności w decyzję o wsparciu.

Zbieraj potrzebne dowody

Do analizy potrzebne są warunki, kryteria i konkretne fragmenty. Ocena końcowa nie pokazuje, co dokładnie się stało. Dwie prace z jednakowym wynikiem mogą mieć różne problemy: jedna nie mieści się w czasie, druga nie przewiduje praktyki. Jeśli przekażesz modelowi tylko liczby, zacznie zgadywać. Używaj danych pozwalających wskazać rzeczywistą cechę wytworu pracy i zestawić ją z wymaganiem.

Carnegie Mellon radzi analizować wzorce odpowiedzi i konstrukcję zadań, gdy wyniki wymagają wyjaśnienia. Pomaga to nie sprowadzać wszystkiego do studenta. Jednakowy błąd może powstać przez niejasne warunki lub pominięty krok edukacyjny. Autor przegląda zarówno materiał, jak i prace, zanim wybierze sposób wsparcia. Lista kategorii AI jest początkiem, a nie ostatecznym wnioskiem.

Anonimizuj fragmenty i pozostawiaj tylko potrzebny kontekst. Do określenia przekroczenia czasu nie potrzeba imienia ani biografii autora. Jeśli trzeba prześledzić zmiany między wersjami, używaj identyfikatora roboczego według przyjętych zasad. Nie zbieraj zbędnych informacji tylko dlatego, że model potrafi przetworzyć duży dokument. Zakres przekazywania powinien odpowiadać konkretnemu zadaniu pedagogicznemu.

Kategorie powinny opisywać wytwór pracy

Można zacząć od trzech kategorii: niespójność czasowa, brak potrzebnej czynności edukacyjnej i niejasny wytwór pracy. W pierwszej suma etapów przekracza limit lub nie uwzględnia przejść. W drugiej plan zawiera wyjaśnienie, ale nie daje uczestnikowi wykonać czynności docelowej. W trzeciej instrukcja nie pozwala określić, co oddać. Nazwy dotyczą widocznych cech i nie oceniają autora jako uważnego lub zdolnego.

Hipotetyczny plan z pięcioma etapami po piętnaście minut zajmuje siedemdziesiąt pięć minut, chociaż limit wynosi sześćdziesiąt. To obserwacja arytmetyczna. Możliwe wyjaśnienia są różne: autor nie zsumował czasu, nie zrozumiał limitu lub celowo zaproponował dłuższe spotkanie. Na podstawie tabeli nie można wybrać przyczyny. Dla doprecyzowania poproś o ponowne obliczenie sumy i wyjaśnienie zgodności planu z ograniczeniem.

Inny plan mieści się w czasie, ale przeznacza całe zajęcia na wyjaśnienie i pytania. Jeśli celem jest stworzenie szkicu instrukcji, potrzebnego wytworu nie widać. Nie nazywaj tego tym samym błędem co przekroczenie minut. Następna praktyka będzie inna: uczestnik musi przekształcić część wyjaśnienia w samodzielną czynność i wskazać wynik. Rozdzielenie kategorii pomaga wybrać odpowiednie wsparcie.

Polecenie porządkowania fragmentów

Można napisać: „Według warunków i kryteriów pogrupuj zanonimizowane fragmenty prac. Przy każdej kategorii podaj rzeczywistą cechę, listę identyfikatorów roboczych i możliwe pytanie doprecyzowujące. Nie wnioskuj o motywach, zdolnościach lub diagnozach. Nie wymyślaj częstości. Jeśli fragment dopuszcza kilka wyjaśnień, oznacz niepewność. Oddziel obserwację od hipotezy pedagogicznej”.

Po odpowiedzi sprawdź każde przypisanie. Praca może mieć kilka problemów lub nie pasować do żadnej kategorii początkowej. Nie zmuszaj modelu do umieszczania wszystkich fragmentów w jednej komórce. Przy złożonym wytworze dopuszczaj kilka niezależnych oznaczeń. Nie twórz jednak dziesiątek niemal jednakowych grup: kategoria służy decyzji o czynności edukacyjnej, a nie maksymalnej szczegółowości opisu.

Jeśli potrzebne jest liczenie, wykonaj je według sprawdzonej listy. Wskaż jednostkę: liczba prac, fragmentów lub prób. Jedna praca z dwoma problemami nie oznacza dwóch studentów. Kolejnych wersji nie należy automatycznie mieszać z pierwszymi. AI może pomóc opracować tabelę, ale autor kontroluje, co dokładnie policzono. Bez tego liczby tworzą fałszywe wrażenie dokładności.

Od hipotezy do sprawdzenia

Przy problemie czasowym można przypuszczać, że uczestnicy nie uwzględniają przejść. Przygotuj krótkie ćwiczenie: daj gotową sekwencję i poproś o dodanie rozdawania materiałów i zmiany formatu. Jeśli student poprawnie wyjaśnia te nakłady czasu, pierwotny błąd mógł mieć inną przyczynę. Sprawdzenie hipotezy powinno być osobną czynnością, a nie powtórzeniem etykiety w komentarzu.

Przy niejasnym wyniku zaproponuj przeczytanie instrukcji oczami wykonawcy i wskazanie pliku lub fragmentu, który należy oddać. Pokazuje to, czy osoba rozróżnia działanie edukacyjne i jego wytwór. Jeśli problem pozostaje, można dać dwa kontrastowe przykłady. Cornell zaleca sprawdzanie wcześniejszego rozumienia i luk edukacyjnych, aby planować wsparcie. Konkretny krok autor wybiera według własnego celu.

Nie zlecaj wszystkim jednakowej dodatkowej pracy tylko z powodu jednej częstej kategorii. Część grupy może potrzebować innej praktyki lub już poprawić problem. Wspólne wyjaśnienie jest odpowiednie przy ogólnej niejasności warunków. Indywidualne ćwiczenie pomaga tam, gdzie widać konkretną potrzebę. Decyzja zależy od sprawdzonych prac, a nie tego, jak przekonująco model nazwał kategorię „kluczową”.

Następny materiał i ponowny dowód

Dla niespójności czasowej stwórz ćwiczenie zachowania czynności docelowej przy skracaniu planu. Dla brakującej praktyki — przekształcania wyjaśnienia w zadanie. Dla niejasnego wytworu — uzupełniania instrukcji wymaganiem dotyczącym oddania. AI może przygotować kilka hipotetycznych wariantów, ale autor sprawdza, czy każdy pracuje właśnie z potrzebną cechą. Nie dodawaj zbędnych nowych tematów utrudniających zrozumienie wyniku.

Po wsparciu uzyskaj nowy fragment i zestaw go z poprzednim według tego samego kryterium. Jeśli czas poprawiono, nazwij to. Jeśli problem tylko się zmienił, wyjaśnij nowy stan. Nie twierdź, że całą umiejętność opanowano po jednej udanej próbie. Nowa praca daje konkretny dowód w konkretnych warunkach. Do przenoszenia potrzebne są inne zadania z odpowiednią zmianą kontekstu.

Zachowaj decyzję o zmianach edukacyjnych. Jeśli wielu autorów nie zrozumiało formatu oddania, przejrzyj instrukcję dla następnej grupy. Jeśli pojedynczy uczestnicy nie zastosowali znajomej zasady, zaplanuj inne wsparcie. Analiza błędów jest przydatna wtedy, gdy wpływa na naukę. Tabela kategorii bez następnej czynności pozostaje opisem niepomagającym studentowi zmienić własnego wytworu pracy.

Hipotetyczny zestaw do sprawdzania kategorii

Stwórz kilka krótkich planów o celowo różnych cechach. Pierwszy ma poprawną sumę czasu, ale nie wskazuje wytworu pracy. Drugi zawiera wytwór i praktykę, ale przekracza limit. Trzeci spełnia wszystkie wymagania, lecz jest napisany w nietypowej kolejności. Czwarty ma dwa niezależne braki. Taki zestaw jest autorską demonstracją, a nie zamiennikiem rzeczywistych danych. Pomaga sprawdzić, czy kategorie opisują właśnie potrzebne problemy i czy model nie oznacza niestandardowej formy jako błędu bez podstawy w kryterium.

Przekaż AI te fragmenty bez podpowiedzi, jakie trudności w nich umieszczono. Poproś o podstawę każdego oznaczenia. Następnie porównaj wynik z dokumentacją przykładów. Jeśli model wymyślił nieobecny etap lub nie zauważył przekroczenia czasu, to powód do zmiany kolejności sprawdzania. Arytmetykę można wykonywać osobno i jawnie. Nie wnioskuj, że narzędzie nie nadaje się do całej analizy, ale nie przyjmuj jego klasyfikacji bez przeglądu człowieka. Konkretny błąd pokazuje, którą część procesu trzeba uważniej kontrolować.

Zachowaj przypadki o nieoczywistym przypisaniu. Na przykład plan wymienia „omawianie szkiców”, ale nie wyjaśnia, czy wszyscy mają własny tekst. Może to być niepełny opis, a nie całkowity brak praktyki. Oznacz potrzebę doprecyzowania. Kategoria „niewystarczające dane” jest przydatna, gdy prowadzi do konkretnego pytania. Nie używaj jej jako ogólnej odmowy czytania trudnego fragmentu. Autor musi pokazać, jakiej dokładnie informacji brakuje do decyzji i jak można ją uzyskać w ramach pracy edukacyjnej.

Praca z kilkoma wersjami jednego autora

Jeśli analiza obejmuje kolejne próby, zachowaj powiązanie wersji. Pierwotny błąd i poprawiona praca nie powinny jednocześnie zwiększać liczby obecnych problemów. Do przeglądu początkowych trudności bierze się pierwsze próby. Do oceny aktualnego stanu — ostatnie przyjęte. Do analizy poprawek zestawia się pary. To różne pytania, które trzeba nazywać osobno. AI może przypadkowo je pomieszać, jeśli otrzymuje folder plików bez wyjaśnienia, co dokładnie ma być jednostką analizy.

W naszym scenariuszu autor pierwszego planu mógł skrócić czas, lecz pozostawić niejasny wynik. Zapis zmiany musi zawierać obie części: niespójność czasową poprawiono, wytwór pracy nadal wymaga doprecyzowania. Nie nazywaj całej pracy udaną lub nieudaną jednym słowem, jeśli ważne kryteria dają różne wyniki. Taka szczegółowość pozwala wybrać następne wsparcie bez powtarzania wykonanego już ćwiczenia. Student widzi też, że jego poprawkę zauważono, nawet gdy zadanie edukacyjne nie jest jeszcze zakończone.

Nie wyciągaj wniosku przyczynowego, że to właśnie Twój komentarz zapewnił zmianę, jeśli nie ma innych danych. Autor mógł wykorzystać lekcję, rozmowę z partnerem lub własny przegląd. Można uczciwie poinformować, że po opinii w następnej wersji pojawiła się potrzebna cecha. To opis kolejności, a nie udowodniony efekt. AI często przekształca taką notatkę w twierdzenie o skuteczności wsparcia. Przed zachowaniem raportu przywróć sformułowanie do rzeczywistej obserwacji i nie dodawaj wymyślonych wskaźników.

Kiedy problem może leżeć w instrukcji

Przeczytaj zadanie bez znajomości zamysłu autora. Jeśli prosi o „plan aktywnych zajęć”, ale nie wskazuje obowiązkowego wytworu uczestnika, jego brak może wiązać się z niejasnym wymaganiem. To hipoteza pedagogiczna do sprawdzenia. Porównaj różne odczytania i ustal, co studenci uważali za wystarczające. Nie należy oceniać ich wstecz według wymagania obecnego tylko w notatkach prowadzącego. Decyzje dotyczące obecnego oceniania podejmuje się według ogłoszonych zasad, a następną redakcję instrukcji czyni precyzyjniejszą.

Podobny problem powstaje, gdy przykład przeczy tekstowi. Warunki wymagają sześćdziesięciu minut, a tabela demonstracyjna ma siedemdziesiąt. Autor może kopiować przykład, uznając go za punkt odniesienia. Analiza powinna obejmować cały przekazany pakiet. AI otrzymujące tylko prace nie wie o sprzeczności. Dlatego przed szukaniem przyczyn przekaż także sprawdzone materiały zadania. Nie pozwalaj modelowi wyjaśniać jednakowego błędu czasowego „niewystarczającą uważnością” bez porównania z tym, co grupa rzeczywiście widziała.

Jeśli przyczyna wiąże się z niejasnym terminem, dodaj definicję lub konkretny przykład. Słowo „rezultat” może oznaczać dla autora zajęć ogólne wrażenie, a dla prowadzącego — plik ze szkicem. Doprecyzowanie powinno pokazywać potrzebną czynność bez zbędnego akademickiego sformułowania. Po zmianie zachowaj redakcję i przejrzyj kryteria. Poprawiony tekst nie powinien niepostrzeżenie zmieniać celu. Autor musi odróżniać jaśniejsze wyjaśnienie tego samego wymagania od nowego trudniejszego zadania wymagającego dodatkowej praktyki.

Dobór wsparcia według widocznej potrzeby

Dla studenta poprawnie sumującego czas, ale nieuwzględniającego przejść, przygotuj przykład z rozdawaniem materiałów i zmianą formatu. Dla tego, który nie zsumował nawet jawnych przedziałów, potrzebne jest inne wsparcie: tabela z osobnym wierszem całkowitego czasu trwania. To nie stałe grupy zdolności. Oznaczenia dotyczą konkretnej pracy i mogą zmienić się po praktyce. Nie używaj kategorii AI jako długotrwałego profilu określającego wszystkie następne zadania człowieka bez nowego dowodu.

Przy brakującej praktyce można dać dwa etapy: „prowadzący wyjaśnia strukturę” i „uczestnik pisze własną instrukcję”. Poproś o określenie, który daje wytwór pracy i jak mogą być powiązane. Następnie uczestnik przegląda jeden wiersz swojego planu. Takie ćwiczenie pracuje z konkretnym rozróżnieniem. Nie trzeba odsyłać go do ponownej lektury całego kursu, jeśli problem jest miejscowy. AI pomaga tworzyć kontrastowe przykłady, ale autor sprawdza, czy nie wprowadzają nowych pojęć odwracających uwagę od potrzebnej czynności.

Przy niejasnym oddaniu można zaproponować rolę czytelnika: przeczytać instrukcję i wskazać, co przekaże prowadzącemu. Jeśli nie można nazwać wyniku, uczestnik dodaje odpowiednie zdanie. Następnie potrzebna jest nowa kontrola, a nie sam fakt pojawienia się słowa „oddać”. Sformułowanie może pozostać niejasne. Obserwowalną cechą jest możliwość określenia wytworu pracy, formatu i potrzebnej objętości zgodnie z warunkami. Opinia nazywa właśnie to, aby student nie próbował poprawić problemu przez mechaniczne wstawienie oczekiwanego słowa.

Jak opisać wyniki analizy zespołowi prowadzących

Raport roboczy może zawierać trzy kolumny: widoczny problem, granica interpretacji i planowana czynność. Dla niespójności czasowej w pierwszej będzie przekroczenie limitu, w drugiej — przyczyna jeszcze nieustalona, w trzeciej — doprecyzowanie i krótka praktyka. Pomaga to unikać etykiet psychologicznych. Jeśli dodaje się liczby, obok wskazuje się zestaw, datę i jednostkę liczenia. Bez takiego kontekstu tabela łatwo przekształca lokalny przegląd kilku fragmentów w wyobrażony ogólny wniosek o wszystkich pracach lub całej grupie.

Oddziel potwierdzone zmiany od planów. „Przygotowano nowe ćwiczenie” nie oznacza, że już pomogło. „W następnej wersji poprawiono sumę” nie oznacza, że umiejętność stała się trwała. AI może opracować raport, ale autor sprawdza czasowniki i statusy. Każde twierdzenie powinno mieć odpowiedni materiał. Wspiera to uczciwą decyzję o następnym kroku: co już wykonano, czego jeszcze nie zaobserwowano i jaki nowy fragment jest potrzebny do doprecyzowania hipotezy pedagogicznej.

Nie trzeba włączać do przeglądu zespołowego wszystkich indywidualnych komentarzy, jeśli celem jest zmiana materiału kursu. Wystarczą zanonimizowane rodzaje problemów i potrzebne przykłady. Jeśli zespół rozpatruje konkretne wsparcie uczestnika, stosuje uzgodnione zasady dostępu do danych. Kontrola zakresu przez autora pozostaje ważna nawet wtedy, gdy AI łatwo przetwarza duży zestaw. Nadmierny kontekst może dodać przypadkowe podstawy oceny człowieka niezwiązane z zadaniem edukacyjnym i niepomagające wybrać praktyki.

Sprawdzenie przeniesienia po poprawce

Po udanej poprawce zaproponuj nowe krótkie zadanie z jedną istotną zmianą. W planowaniu może to być inny czas trwania lub inna czynność docelowa. Uczestnik ma zastosować zasadę, a nie skopiować poprawioną tabelę. Nie nazywaj nowego zadania w pełni równoważnym bez sprawdzenia obciążenia. Zmiana celu może wymagać innej wiedzy. Autor określa, jakie rozróżnienie jest przenoszone i jakie warunki pozostają dostępne. AI może proponować warianty, a człowiek przyjmuje ten odpowiadający potrzebnemu dowodowi.

Jeśli nowa praca znów ma problem, wróć do konkretnego fragmentu. Nie dowodzi to bezcelowości poprzedniego wsparcia. Być może zmienił się kontekst lub pomoc nie przenosi się automatycznie. Trzeba doprecyzować, jaka część rozwiązania się zachowała. Analiza powinna pomagać planować naukę, a nie tworzyć ostateczną etykietę. Zachowaj nowy dowód i przejrzyj hipotezę. Właśnie gotowość oddzielania danych od wyjaśnienia czyni AI przydatnym asystentem pracy z błędami.

Granica między analizą a oceną końcową

Kategorie planowania wsparcia niekoniecznie są skalą oceniania. Oznaczenie „niejasny wytwór pracy” pomaga wybrać ćwiczenie, ale ocenę określa ogłoszone kryterium i poziom. Nie pozwalaj AI przekształcać liczby kategorii w ocenę końcową. Jeden istotny błąd może mieć inną wagę niż kilka drobnych. Autor powinien zachować różnicę między opisem potrzeby a decyzją o wyniku pracy.

Jeśli analiza pokazała problem w samym zadaniu, sposób uwzględnienia określa prowadzący. Nie zmieniaj wyników automatycznie według ogólnego wniosku modelu. Najpierw sprawdź konkretne fragmenty i warunki widziane przez uczestników. Następnie wyjaśnij decyzję osobom, których dotyczy. W następnej redakcji popraw potwierdzoną niejasność, zachowując historię przekazanego pakietu.

W raporcie edukacyjnym wystarczy wskazać, co zrobi się z kategorią. Na przykład wspólne wyjaśnienie rezultatu do oddania, krótka praktyka przejść czasowych lub indywidualne doprecyzowanie. Nie trzeba tworzyć rankingu ludzi według liczby problemów. Taki ranking nie pomaga określić konkretnego następnego kroku i może ukrywać różne potrzeby pod jedną liczbą. Analiza merytoryczna zachowuje skupienie na rozwiązaniu, które można zmienić w wytworze pracy.

Po wsparciu wróć do tego samego kryterium, aby zobaczyć zmianę. Jeśli trzeba ocenić inną czynność, przygotuj osobne zadanie i wyjaśnij jego rolę. Spójność obserwacji, wsparcia i nowego dowodu pozwala sprawdzać hipotezy pedagogiczne bez nadmiernych wniosków o człowieku lub skuteczności narzędzia.

Jak wyjaśnić analizę grupie

Omawiaj rodzaje decyzji na hipotetycznych lub uzgodnionych zanonimizowanych fragmentach. Nie zamieniaj ogólnej analizy w rozpoznawanie autora błędu. Pokaż, jak wykryć problem i go poprawić. Grupa powinna widzieć kryterium i tok rozumowania, a nie ranking ludzi. Jeśli podajesz częstości, wyjaśnij, jakie prace i próby obejmują, i nie używaj liczby jako charakterystyki zdolności.

Jeśli kategoria nie prowadzi do konkretnego wsparcia, przejrzyj jej nazwę i granice. Być może opisuje ogólne wrażenie, a nie cechę, którą można poprawić w pracy.

W WeStudy powiąż analizę z odpowiednim zadaniem i następną praktyką. LMS WeStudy pomaga organizować ścieżkę poprawy, a prowadzący sprawdza przyczyny i podejmuje decyzję o wsparciu. AI jest przydatne do porządkowania dowodów i szkiców materiału. Dobra analiza pokazuje, co dokładnie widać w pracy, czego jeszcze nie można stwierdzić i jaka czynność pomoże uzyskać dokładniejsze zrozumienie.

Źródła i dalsza lektura

• Carnegie Mellon radzi analizować wzorce odpowiedzi i konstrukcję zadań

  
  

• Cornell zaleca sprawdzanie wcześniejszego rozumienia i luk edukacyjnych