[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"blog-article-yakist-ai-dystraktoriv-pl":3},{"uuid":4,"title":5,"subtitle":6,"content":7,"preview":363,"date_published":368,"date_pinned":368,"img":369,"alias":370,"is_published":371,"is_pinned":372,"type":13,"category":373,"category_name":374,"category_alias":375,"background_color":376,"preview_icon":13,"category_value":377,"external_link":13},"5918e8ec-b6e1-423c-9827-c3b3b76626b7","Jak sprawdzać jakość błędnych wariantów odpowiedzi wygenerowanych przez AI","Jak oceniać błędne warianty odpowiedzi stworzone przez AI: związek z błędem rozumowania, zgodność z warunkami, podpowiedzi, wyjaśnienia i pilotaż.",{"type":8,"content":9},"doc",[10,18,23,31,36,41,47,52,66,72,77,82,88,93,98,104,109,122,128,133,144,150,155,160,166,171,176,182,187,192,198,203,216,222,227,232,237,243,248,253,259,264,269,275,280,285,291,296,301,306,312],{"type":11,"attrs":12,"content":14},"paragraph",{"align":13},null,[15],{"text":16,"type":17},"AI szybko dodaje do poprawnego rozwiązania kilka innych odpowiedzi. Test wygląda na ukończony: są warunki, lista i klucz. Jeden wariant może jednak być oczywistym żartem, drugi — przypadkowo poprawny, a trzeci różnić się tylko nieznanym terminem. Taki zestaw słabo pokazuje, czy student rozumie temat. Błędny wariant, czyli dystraktor, powinien wiązać się merytorycznie z zadaniem i pozwalać odróżnić wiedzę merytoryczną od powierzchownego rozpoznawania stylu autora, długości zdania lub najbardziej znajomego sformułowania.","text",{"type":11,"attrs":19,"content":20},{"align":13},[21],{"text":22,"type":17},"Dystraktory trzeba sprawdzać w obrębie pełnego zadania. Odpowiedź błędna przy jednym warunku może być akceptowalna przy innym. Poniżej zaproponowano proces redakcyjny dla pytań z jedną najlepszą odpowiedzią. Nie gwarantuje właściwości psychometrycznych bez danych z wykonania przez studentów. Wszystkie zadania i wyniki w przykładach są hipotetyczne. AI służy tworzeniu kandydatów i krytycznemu przeglądowi; prowadzący potwierdza treść merytoryczną, a pilotaż pomaga sprawdzić odczytywanie wariantów przez rzeczywistych uczestników konkretnego kursu edukacyjnego.",{"type":24,"attrs":25,"content":28},"heading",{"align":13,"level":26,"id":27},2,"heading_2_1",[29],{"text":30,"type":17},"Ustal podstawę poprawnego wyboru",{"type":11,"attrs":32,"content":33},{"align":13},[34],{"text":35,"type":17},"Zacznij od samodzielnie sprawdzonego rozwiązania i wyjaśnienia jego zgodności z warunkami. Nie generuj błędnych wariantów przed określeniem celu i ram. Jeśli klucz jest niepewny, dodatkowe odpowiedzi tylko pomnożą problem. Zapisz potrzebne założenia, jednostki i poziom szczegółowości. W pytaniu o najlepszy krok określ kryterium przewagi. Dystraktory powinny ustępować kluczowi według tego kryterium, a nie przez ukryty zamiar autora niemożliwy do ustalenia przez studenta z udostępnionego materiału.",{"type":11,"attrs":37,"content":38},{"align":13},[39],{"text":40,"type":17},"Następnie określ, jaki błąd wiedzy lub rozumowania ma wykrywać każda alternatywa. To nie diagnoza konkretnego studenta. Wybór wariantu daje sygnał do dalszej analizy, a nie pełny dostęp do myśli człowieka. Ten sam wybór jest możliwy przez niezrozumienie, nieuważną lekturę lub przypadkowe kliknięcie. Dlatego związek z typowym błędem wykorzystuj do projektowania i wyjaśniania, nie zmieniając wyniku jednego pytania w twierdzenie o trwałych zdolnościach lub profilu edukacyjnym uczestnika.",{"type":24,"attrs":42,"content":44},{"align":13,"level":26,"id":43},"heading_2_2",[45],{"text":46,"type":17},"Zbierz wiarygodne błędy z praktyki przedmiotu",{"type":11,"attrs":48,"content":49},{"align":13},[50],{"text":51,"type":17},"Podstawą mogą być zanonimizowane przykłady wcześniejszych prac, obserwacje prowadzących i analiza kroków rozwiązania. Oznaczaj różnicę między rzeczywiście zaobserwowanym błędem a hipotezą autora. Jeśli nie ma źródeł, AI może proponować możliwe błędy, lecz nie można przedstawiać ich jako potwierdzonego zachowania studentów. Poproś o wyjaśnienie, jaki błędny krok prowadzi do każdej odpowiedzi. Wariant bez odtwarzalnego związku z zadaniem wymaga szczególnie uważnego rozpatrzenia lub zastąpienia przed następnym etapem.",{"type":11,"attrs":53,"content":54},{"align":13},[55,57,64],{"text":56,"type":17},"Szukanie dobrych dystraktorów jest osobnym zadaniem badawczym. Na przykład ",{"text":58,"type":17,"marks":59},"Bitew i współautorzy badali ponowne wykorzystanie kandydatów",[60],{"type":61,"attrs":62},"link",{"href":63,"title":13},"https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.13964",{"text":65,"type":17}," z doborem kontekstowym i oceną prowadzących. To badanie konkretnego podejścia, a nie potwierdzenie jakości dowolnego współczesnego generowania. W Twojej pracy przydatne jest samo wymaganie sprawdzania kandydatów w kontekście. Zaproponowanie przez system słowa z podobnego tematu nie oznacza jeszcze, że stanie się merytoryczną alternatywą w konkretnym zadaniu testowym.",{"type":24,"attrs":67,"content":69},{"align":13,"level":26,"id":68},"heading_2_3",[70],{"text":71,"type":17},"Zadaj AI zadanie dotyczące błędnego kroku",{"type":11,"attrs":73,"content":74},{"align":13},[75],{"text":76,"type":17},"Zamiast polecenia „dodaj trzy błędne odpowiedzi” podaj cel edukacyjny, sprawdzone rozwiązanie i rodzaje błędów, które chcesz rozpatrzyć. Poproś o podanie przy każdym kandydacie błędnego kroku, uzyskanego wyniku i powodu nieprzydatności według warunków. Nie pozwalaj niepostrzeżenie zmieniać liczb lub sformułowania zadania. Potrzebny jest materiał do wyboru eksperckiego, a nie automatyczny końcowy test. Taki format pozwala odrzucać kandydatów brzmiących przekonująco, ale niewynikających z żadnego zrozumiałego rozwiązania postawionego zadania.",{"type":11,"attrs":78,"content":79},{"align":13},[80],{"text":81,"type":17},"Po otrzymaniu listy sprawdzaj jeden wariant na raz. Model może poprawnie wyjaśnić ogólny błąd, a jednocześnie błędnie obliczyć jego skutek. Nie przyjmuj opisu jako dowodu liczby. W pytaniu pojęciowym sprawdź, czy wyjaśnienie dotyczy właśnie podanych warunków. Jeśli kandydat wymaga dodatkowego ukrytego założenia, należy to wprost zaznaczyć. Czasem takie założenie czyni wariant przydatnym, ale czasem zmienia go w drugi akceptowalny klucz lub poboczne zadanie wewnątrz głównego pytania.",{"type":24,"attrs":83,"content":85},{"align":13,"level":26,"id":84},"heading_2_4",[86],{"text":87,"type":17},"Przeanalizuj przykład liczbowy bez przypadkowych wartości",{"type":11,"attrs":89,"content":90},{"align":13},[91],{"text":92,"type":17},"Zadanie hipotetyczne: pięć prac o jednakowej wadze ma oceny 6, 7, 8, 9 i 10; trzeba znaleźć średnią arytmetyczną. Suma wynosi 40, podzielenie przez pięć daje 8. Kandydat 40 może odzwierciedlać zatrzymanie się na sumie bez ukończenia czynności. Kandydat 10 może powstać przez podzielenie sumy przez cztery. To jednak tylko hipotezy autora dotyczące możliwych kroków. Nie dowodzą, że studenci Twojej grupy rzeczywiście popełniają właśnie takie błędy podczas rozwiązywania.",{"type":11,"attrs":94,"content":95},{"align":13},[96],{"text":97,"type":17},"Przypadkowo dodana liczba również może być błędna, ale nie wyjaśnia, co sprawdza wybór. Porównaj ją z kandydatem wynikającym z konkretnego błędnego kroku. Następnie sprawdź cały zestaw: czy nie powtarzają się jednakowe odpowiedzi, czy średnią określono jednoznacznie, czy nie ma nieuzgodnionych wag. Jeśli zmieniasz oceny, przelicz wszystkie warianty. Stare dystraktory nie pozostają automatycznie sensowne po nowych warunkach, nawet gdy poprawna liczba przypadkowo się nie zmieniła przez symetrię lub inną cechę przykładu.",{"type":24,"attrs":99,"content":101},{"align":13,"level":26,"id":100},"heading_2_5",[102],{"text":103,"type":17},"Znajdź ukryty drugi klucz",{"type":11,"attrs":105,"content":106},{"align":13},[107],{"text":108,"type":17},"Przy każdym błędnym wariancie zadaj pytanie: czy przygotowany student może go uzasadnić bez naruszenia warunków? Poproś AI o zbudowanie takiego argumentu, a następnie sprawdź go samodzielnie. Jeśli potrzebny jest inny kontekst nieobecny w zadaniu, nie czyni to jeszcze odpowiedzi poprawną. Jeśli jednak warunki rzeczywiście pozwalają na dwie interpretacje, popraw zadanie. Nie przerzucaj odpowiedzialności na studenta słowami „trzeba było zrozumieć, czego chciał autor”. Test powinien oceniać określoną czynność merytoryczną na podstawie dostępnych danych.",{"type":11,"attrs":110,"content":111},{"align":13},[112,114,120],{"text":113,"type":17},"W formacie najlepszej odpowiedzi niektóre alternatywy mogą być ogólnie odpowiednie, ale gorzej spełniać jawne kryterium konkretnej sytuacji. ",{"text":115,"type":17,"marks":116},"NBME wyjaśnia jednowymiarowe porównanie wariantów",[117],{"type":61,"attrs":118},{"href":119,"title":13},"https:\u002F\u002Fwww.nbme.org\u002Fsites\u002Fdefault\u002Ffiles\u002F2021-02\u002FNBME_Item%20Writing%20Guide_R_6.pdf",{"text":121,"type":17}," we własnych zadaniach merytorycznych. W kursie ogólnym trzeba zachować widoczną podstawę wyboru. Jeśli nie potrafisz krótko wyjaśnić, dlaczego klucz przewyższa każdą alternatywę w tych samych ramach, pytanie wymaga przeglądu. Nie nazywaj akceptowalnej alternatywy zawodowej „błędem” tylko dlatego, że nie była pierwsza w zamyśle autora.",{"type":24,"attrs":123,"content":125},{"align":13,"level":26,"id":124},"heading_2_6",[126],{"text":127,"type":17},"Sprawdź jednorodność zestawu",{"type":11,"attrs":129,"content":130},{"align":13},[131],{"text":132,"type":17},"Warianty powinny odpowiadać na to samo pytanie i być porównywalne poziomem opisu. Jeśli jeden oznacza przyczynę, drugi — narzędzie, a trzeci — skutek, uczestnik może znaleźć klucz według formy bez potrzebnej wiedzy. Podobna długość nie oznacza jednakowej liczby znaków. Ważniejsze są porównywalna szczegółowość i struktura. Nie dodawaj do poprawnego wariantu długiej informacji edukacyjnej, pozostawiając pozostałym po dwa słowa. Wyjaśnienie lepiej przenieść do osobnego komentarza po wykonaniu zadania.",{"type":11,"attrs":134,"content":135},{"align":13},[136,142],{"text":137,"type":17,"marks":138},"University of Waterloo opisuje wiarygodność i pokrewieństwo alternatyw",[139],{"type":61,"attrs":140},{"href":141,"title":13},"https:\u002F\u002Fuwaterloo.ca\u002Fcentre-for-teaching-excellence\u002Fcatalogs\u002Ftip-sheets\u002Fdesigning-multiple-choice-questions",{"text":143,"type":17}," jako ważne wymagania pytań tego formatu. W przeglądzie roboczym porównaj gramatykę, terminologię, jednostki i stopień kategoryczności. Jeśli tylko klucz gramatycznie kontynuuje warunki, to podpowiedź techniczna. Jeśli wszystkie błędne odpowiedzi zawierają oczywiste słowa absolutne, uczestnik może wybrać ostrożniejsze sformułowanie bez rozumowania merytorycznego. Poprawiaj właśnie podpowiedź bez automatycznego wnioskowania, że każde dłuższe lub bardziej kategoryczne zdanie zawsze nie nadaje się do testu.",{"type":24,"attrs":145,"content":147},{"align":13,"level":26,"id":146},"heading_2_7",[148],{"text":149,"type":17},"Odróżniaj wiarygodność od celowej pułapki",{"type":11,"attrs":151,"content":152},{"align":13},[153],{"text":154,"type":17},"Dobry dystraktor może odpowiadać zrozumiałej niepełnej wiedzy. Nie oznacza to konieczności ukrywania warunku drobnym drukiem lub budowania pytania na rzadkim niejednoznacznym słowie. Określ, jaką dokładnie umiejętność ujawnia wybór. Jeśli wariant działa tylko przez niezauważalną zmianę sformułowania, może mierzyć uważność na pułapkę zamiast efektu docelowego. W zadaniu dokładnego czytania dokumentu taka szczegółowość bywa właściwa, lecz trzeba włączyć ją do celu edukacyjnego i zapewnić odpowiednie przygotowanie uczestników.",{"type":11,"attrs":156,"content":157},{"align":13},[158],{"text":159,"type":17},"Nie twórz błędnego wariantu jako śmiesznego lub poniżającego. Żart łatwo odrzucić bez wiedzy, a skojarzenie z określoną grupą ludzi może tworzyć niepotrzebny stereotyp. W temacie zawodowym przydatniej pokazać rzeczywistą granicę zastosowania pojęcia. Na przykład błędna metoda może być poprawna dla innego rodzaju danych. Informacja zwrotna wyjaśnia wtedy warunek jej przydatności. Student rozszerza w ten sposób rozumienie, zamiast tylko zapamiętywać listę zakazanych odpowiedzi bez związku z kontekstem i celem zadania.",{"type":24,"attrs":161,"content":163},{"align":13,"level":26,"id":162},"heading_2_8",[164],{"text":165,"type":17},"Napisz wyjaśnienie każdego wariantu",{"type":11,"attrs":167,"content":168},{"align":13},[169],{"text":170,"type":17},"Komentarz powinien wracać do kroku rozumowania: co dokładnie pominięto lub zastosowano poza warunkami. Nie wystarczy powtórzyć „ten wariant jest błędny”. W zadaniu liczbowym pokaż odpowiednią operację; w pojęciowym — różnicę między obiektami lub warunkami. Unikaj wyjaśnienia zawierającego nowy błąd lub bezwarunkową regułę tam, gdzie potrzebne jest doprecyzowanie. Poproś redaktora merytorycznego o sprawdzenie komentarzy osobno od klucza. Poprawny wybór nie gwarantuje poprawnej argumentacji, którą student przeczyta po kliknięciu odpowiedzi.",{"type":11,"attrs":172,"content":173},{"align":13},[174],{"text":175,"type":17},"Jeśli nie można napisać przydatnego wyjaśnienia wariantu, przejrzyj jego rolę. Być może nie wiąże się z celem lub tylko powiela inną alternatywę. Nie zwiększaj liczby odpowiedzi dla symetrii układu. Lepszy jest mniejszy sprawdzony zestaw niż dodatkowe przypadkowe słowa tworzące pozór złożoności. Konkretną liczbę wybieraj zgodnie z formatem kursu i treścią. Nie przenoś zalecanej liczby z jednego kontekstu jako uniwersalnej gwarancji wiarygodności, trudności lub korzyści edukacyjnej całego testu.",{"type":24,"attrs":177,"content":179},{"align":13,"level":26,"id":178},"heading_2_9",[180],{"text":181,"type":17},"Sprawdź kontekst innych pytań",{"type":11,"attrs":183,"content":184},{"align":13},[185],{"text":186,"type":17},"Dystraktor może wyglądać dobrze osobno, ale otrzymywać podpowiedź z sąsiedniego zadania. Jedne warunki ujawniają definicję potrzebną do wyboru w innym pytaniu. Przeglądaj test całościowo, szczególnie jeśli AI tworzyło serię według jednego szablonu. Poszukaj powtarzającej się pozycji klucza, jednakowej struktury poprawnych zdań i systematycznej różnicy stylu. Nie trzeba mechanicznie wyrównywać wszystkiego do nierozpoznawalności. Trzeba usunąć cechy pozwalające studentowi stale odpowiadać bez wykonania czynności merytorycznej, którą kurs ma sprawdzać.",{"type":11,"attrs":188,"content":189},{"align":13},[190],{"text":191,"type":17},"Przy kilku wersjach testu sprawdzaj każdy zestaw, a nie tylko początkowy. Automatyczna zamiana liczb lub nazw może zepsuć wyjaśnienie, stworzyć drugi klucz lub uczynić błędny wariant oczywistym. Zachowuj identyfikatory i historię redakcji. Po zmianie jednego kandydata oznacz, jakie wnioski pilotażu dotyczą poprzedniej wersji. Taka dyscyplina pomaga nie przenosić zaobserwowanego działania starego wariantu na nowy, mający już inną trudność, inne podpowiedzi lub inną merytoryczną logikę wyboru dla uczestnika.",{"type":24,"attrs":193,"content":195},{"align":13,"level":26,"id":194},"heading_2_10",[196],{"text":197,"type":17},"Analizuj pilotaż jako podstawę przeglądu",{"type":11,"attrs":199,"content":200},{"align":13},[201],{"text":202,"type":17},"Zobacz, jakie alternatywy wybierają uczestnicy, i poproś część z nich o wyjaśnienie decyzji. Wariant niewybrany przez nikogo w małej grupie niekoniecznie jest nieprzydatny na zawsze. Być może temat dobrze opanowano lub próba jest zbyt mała. Wariant popularny wśród mocnych studentów również wymaga przeglądu merytorycznego: możliwe są niejednoznaczność, niepewny klucz lub nieplanowana trudność. Sygnał statystyczny kieruje uwagą, ale nie zastępuje sprawdzenia tekstu, rozwiązania i warunków nauki, w których wykonywano właśnie to zadanie.",{"type":11,"attrs":204,"content":205},{"align":13},[206,208,214],{"text":207,"type":17},"Zachowuj rzeczywiste liczby odpowiedzi i skład grupy. Nie przypisuj wyobrażonych wskaźników jakości zadaniu jeszcze niewykorzystanemu. AI może wyjaśnić sposób analizy, ale nie stworzy faktycznych wyników studentów bez danych. Ogólne wymagania sprawdzania wyników generatywnych opisuje ",{"text":209,"type":17,"marks":210},"profil NIST",[211],{"type":61,"attrs":212},{"href":213,"title":13},"https:\u002F\u002Fnvlpubs.nist.gov\u002Fnistpubs\u002Fai\u002FNIST.AI.600-1.pdf",{"text":215,"type":17},". Dla redaktora oznacza to jasne rozdzielanie prognozy zachowania kandydata, obserwacji pilotażu i ostatecznej decyzji merytorycznej. Każda z tych rzeczy ma inne pochodzenie i inną siłę dowodową dla utrzymywania banku testów.",{"type":24,"attrs":217,"content":219},{"align":13,"level":26,"id":218},"heading_2_11",[220],{"text":221,"type":17},"Sformułuj decyzję dla każdego kandydata",{"type":11,"attrs":223,"content":224},{"align":13},[225],{"text":226,"type":17},"Po przeglądzie pozostaw krótki status: przyjąć, przerobić lub usunąć, wraz z powodem. Przyjęty kandydat musi mieć wyjaśnienie merytoryczne, brak drugiego klucza przy zadanych warunkach i zrozumiałą rolę w zestawie. Przerobiony wymaga nowego sprawdzenia. Nie przechowuj dziesiątek odrzuconych odpowiedzi w roboczym teście „na zapas”. Mogą przypadkiem wrócić przy następnym imporcie lub mieszaniu wersji. Rozdziel bank sprawdzonych zadań i redakcyjny zbiór kandydatów, aby ich status był widoczny.",{"type":11,"attrs":228,"content":229},{"align":13},[230],{"text":231,"type":17},"Gdy LMS WeStudy służy do prowadzenia nauki, wprowadzaj uzgodniony zestaw wraz ze sprawdzonymi wyjaśnieniami sposobem dostępnym w Twojej konfiguracji. Po przeniesieniu sprawdź kolejność, klucz i wyświetlanie wzorów. Jeśli system miesza odpowiedzi, sprawdź, czy komentarz nie odwołuje się do starej litery lub pozycji. Nie zakładaj automatycznej kontroli merytorycznej dystraktorów bez potwierdzenia takiej możliwości. Zadanie może być dobrze przygotowane w pliku i wymagać dodatkowego przyjęcia po technicznym wprowadzeniu do kursu.",{"type":11,"attrs":233,"content":234},{"align":13},[235],{"text":236,"type":17},"LMS WeStudy może wspierać organizację pracy z przygotowanymi materiałami w ramach istniejących możliwości, a kontrola merytoryczna pozostaje przy prowadzącym. Przydatny wynik AI to zestaw kandydatów po przejrzystej selekcji człowieka. Dobry dystraktor pomaga dostrzec granicę rozumienia i dać komentarz merytoryczny. Jego wartość określają związek z zadaniem i działanie w sprawdzonym kontekście. Do następnego cyklu zachowaj powody decyzji, aby nowy autor mógł rozwijać bank według ustalonych wymagań, zamiast powtarzać tę samą selekcję od początku.",{"type":24,"attrs":238,"content":240},{"align":13,"level":26,"id":239},"heading_2_12",[241],{"text":242,"type":17},"Sprawdź różne błędy na drugim przykładzie liczbowym",{"type":11,"attrs":244,"content":245},{"align":13},[246],{"text":247,"type":17},"Hipotetyczny wskaźnik wzrósł z 20 do 25 jednostek. Jeśli pytanie dotyczy wzrostu względnego wobec wartości początkowej, obliczenie daje 25 procent. Kandydat 5 może odzwierciedlać różnicę bezwzględną, a 20 procent — podzielenie różnicy przez wartość końcową. Każda alternatywa ma własne wyjaśnienie i jest sprawdzana osobno. Bez jasnego wskazania szukanej wielkości liczby te nie tworzą jednak dobrego testu. Autor musi określić mianownik i przedmiot pytania przed nazwaniem jednej odpowiedzi poprawną, a pozostałych — błędami rozumienia studenta.",{"type":11,"attrs":249,"content":250},{"align":13},[251],{"text":252,"type":17},"Jeśli wartości wyjściowe same podano w procentach, trzeba rozróżniać zmianę procentową i punkty procentowe. To inne sformułowanie wymagające odpowiedniego wyjaśnienia. Nie pozostawiaj poprzedniego klucza po zamianie „jednostek” na „procenty” tylko dlatego, że oznaczenia liczbowe są podobne. Poproś redaktora o rozwiązanie zadania od zera. AI czasem przenosi szablon rozwiązania z pierwszego przykładu do drugiego bez sprawdzenia zmiany znaczenia wielkości. Dlatego kontrola powinna obejmować warunki, każdą liczbę i każde wyjaśnienie razem, a nie pojedyncze słowo właśnie zastąpione przez autora dla urozmaicenia materiału.",{"type":24,"attrs":254,"content":256},{"align":13,"level":26,"id":255},"heading_2_13",[257],{"text":258,"type":17},"Porównaj dwóch kandydatów z tym samym wyjaśnieniem",{"type":11,"attrs":260,"content":261},{"align":13},[262],{"text":263,"type":17},"Czasem AI tworzy różne odpowiedzi, ale przypisuje im tę samą przyczynę. Sprawdź, czy błędny krok rzeczywiście daje oba wyniki. Jeśli nie, co najmniej jedno wyjaśnienie jest niewiarygodne. Jeśli tak, zdecyduj, czy obie alternatywy są potrzebne dla wiedzy docelowej. Powielanie może zawęzić zestaw: kilka wariantów sprawdzi jedną nieznaczną operację, podczas gdy inna ważna granica rozumienia pozostanie poza uwagą. Podział ról pomaga autorowi zobaczyć, po co każdą odpowiedź włączono do testu i jaki konkretnie komentarz merytoryczny otrzyma uczestnik po jej wyborze.",{"type":11,"attrs":265,"content":266},{"align":13},[267],{"text":268,"type":17},"Nie wymagaj jednak, by każdy kandydat przedstawiał psychologicznie unikalny błąd. W wielu tematach nie można wiarygodnie ustalić przyczyny wyboru z jednego kliknięcia. Zachowuj ostrożne sformułowanie: wariant jest zgodny z takim błędnym krokiem, a nie dowodzi myślenia studenta właśnie w ten sposób. Jeśli trzeba lepiej zrozumieć logikę, dodaj krótkie wyjaśnienie lub osobne zadanie praktyczne. Dystraktory są częścią oceniania, a nie uniwersalnym narzędziem odczytywania wewnętrznych rozumowań. Ta granica powinna być zrozumiała zarówno dla prowadzącego przeglądającego wyniki, jak i studenta otrzymującego automatycznie przygotowany komentarz.",{"type":24,"attrs":270,"content":272},{"align":13,"level":26,"id":271},"heading_2_14",[273],{"text":274,"type":17},"Wykonaj niezależną kontrolę bez wyjaśnień autora",{"type":11,"attrs":276,"content":277},{"align":13},[278],{"text":279,"type":17},"Przekaż koledze tylko pełne zadanie i poproś o określenie odpowiedzi, a następnie opisanie, co czyni pozostałe warianty niewłaściwymi. Dopiero potem pokaż własne wyjaśnienia. Jeśli kolega widzi inną rolę kandydata, to powód do doprecyzowania sformułowania lub ostrożniejszego interpretowania przyszłego wyboru studentów. Nie trzeba uzgadniać wszystkich możliwych myśli głosowaniem. Zestaw każdą interpretację z warunkami i źródłem merytorycznym. Gdy rzeczywista alternatywa pozostaje akceptowalna, popraw zadanie; gdy narusza jawny warunek, zapisz to w decyzji redakcyjnej, aby następny przegląd nie zaczynał się od tego samego nieporozumienia.",{"type":11,"attrs":281,"content":282},{"align":13},[283],{"text":284,"type":17},"Sprawdź, czy wyjaśnienie autora nie nauczyło kolegi widzieć czegoś nieobecnego w tekście. Osoba znająca już klucz czasem łatwo dopowiada potrzebny kontekst. Niezależne przejście pomaga ograniczyć ten wpływ. W trudnym przypadku poproś recenzenta o przedstawienie najpierw pytania własnymi słowami. Rozbieżność omówienia z zamysłem autora może być ważniejsza niż zgodność wybranej odpowiedzi. Kolega mógł przypadkiem wybrać klucz z innego powodu, dlatego sama zgoda nie poświadcza, że zestaw rzeczywiście sprawdza potrzebną czynność edukacyjną i daje uzasadnioną informację zwrotną po wykonaniu.",{"type":24,"attrs":286,"content":288},{"align":13,"level":26,"id":287},"heading_2_15",[289],{"text":290,"type":17},"Sprawdź prezentację techniczną bez zależności od pozycji",{"type":11,"attrs":292,"content":293},{"align":13},[294],{"text":295,"type":17},"W wyjaśnieniach lepiej nazywać treść odpowiedzi lub odpowiednią czynność, jeśli kolejność może się zmieniać. Komentarz „wariant B jest błędny” łatwo staje się nieprawdziwy po przemieszaniu. To samo dotyczy odwołań do „najdłuższego zdania” lub „liczby poniżej”. Sprawdź zachowanie treści na małym ekranie, gdzie odpowiedzi przenoszą się na kilka wierszy. Nie wnioskuj o równości warunków z pliku roboczego: ostateczny interfejs może zmienić widoczność wzorów, indeksów lub jednostek. Przyjęcie wymaga przeglądu prezentacji, z którą uczestnik faktycznie będzie pracować podczas próby edukacyjnej.",{"type":11,"attrs":297,"content":298},{"align":13},[299],{"text":300,"type":17},"Zachowaj gotowy zestaw w kontrolowanej wersji. Obejmuje warunki, wszystkie odpowiedzi, klucz, komentarze i uwagi merytoryczne dla prowadzącego. Jeśli zmienia się jeden element, sprawdź zależności reszty. Osobno oznacz materiały widziane przez studenta przed odpowiedzią i po niej. Błędne ustawienie wyświetlania wyjaśnienia może ujawnić klucz wcześniej lub pozbawić studenta potrzebnego omówienia. Takie naruszenie nie jest problemem dystraktora jako tekstu, ale zmienia działanie całego zadania. Dlatego redakcja merytoryczna i przyjęcie końcowej prezentacji powinny być powiązanymi etapami jednego procesu przygotowania.",{"type":11,"attrs":302,"content":303},{"align":13},[304],{"text":305,"type":17},"Przy każdym następnym wykorzystaniu pozostawiaj widoczną datę przyjęcia i nazwisko osoby odpowiedzialnej za kontrolę merytoryczną zestawu.",{"type":24,"attrs":307,"content":309},{"align":13,"level":26,"id":308},"heading_2_16",[310],{"text":311,"type":17},"Źródła",{"type":313,"attrs":314,"content":316},"ordered_list",{"order":315},1,[317,330,341,352],{"type":318,"content":319},"list_item",[320],{"type":11,"attrs":321,"content":322},{"align":13},[323,328],{"text":324,"type":17,"marks":325},"Bitew i współautorzy: Learning to Reuse Distractors",[326],{"type":61,"attrs":327},{"href":63,"title":13},{"text":329,"type":17},".",{"type":318,"content":331},[332],{"type":11,"attrs":333,"content":334},{"align":13},[335,340],{"text":336,"type":17,"marks":337},"NBME: Item-Writing Guide",[338],{"type":61,"attrs":339},{"href":119,"title":13},{"text":329,"type":17},{"type":318,"content":342},[343],{"type":11,"attrs":344,"content":345},{"align":13},[346,351],{"text":347,"type":17,"marks":348},"University of Waterloo: Designing Multiple-Choice Questions",[349],{"type":61,"attrs":350},{"href":141,"title":13},{"text":329,"type":17},{"type":318,"content":353},[354],{"type":11,"attrs":355,"content":356},{"align":13},[357,362],{"text":358,"type":17,"marks":359},"NIST: Generative Artificial Intelligence Profile",[360],{"type":61,"attrs":361},{"href":213,"title":13},{"text":329,"type":17},{"type":8,"content":364},[365],{"type":11,"content":366},[367],{"text":6,"type":17},1788780643,"https:\u002F\u002Fcloud.cs3.westudy.ua\u002Ffile?path=westudy_online%2Fpublic%2Fwestudy%2Fde408d3a-d634-45e6-8c1a-139e6b1b23ec.webp","yakist-ai-dystraktoriv",true,false,"beefb810-6c56-49fd-846b-b928d485dbf6","AI для тестів та оцінювання","tests-assessment","light","news.articles"]