Vícerozměrné statistické metody - detail zprávy #428

ŠKÁLA LHANÍ A URČENÍ CUT-OFF SKÓRE

Matouš Jarolímek, 02. 03. 2025

Data: LIARS (Lying Inventory for Adaptive Response Strategies), Tereza Škárková a kol., projekt v rámci předmětu Psychometrika 1

V práci se vyskytuje: ROC

Udělená slovní hodnocení

• Pozitivně oceňuji teoretické zakotvení a uvedení do problematiky. V textu se však vyskytovaly chyby a po formální stránce práce měla mouchy.
• Za mě je AI celkem přísná, sama hodnotím mírněji. Připomínku bych měla k psaní citací, pozor na psaní teček před. Za zásadní bych viděla, že chybí hodnota AUC, je uvedena jen odhadovaná interpretace. Metoda jak je postavená a jak označí lháře mi přijde dost přísná a AI se v tomto ohledu také hezky vyjadřuje k specifitě. AI hodnotila takto: Faktické chyby: -Dichotomizace kontinuální proměnné (lháři vs. nelháři) V práci je skupina respondentů rozdělena na „lháře“ a „nelháře“ na základě odpovědí na jedinou otázku („Kolikrát za poslední měsíc jste vědomě upravili pravdu?“). Toto zjednodušení může být problematické, protože neexistuje jasná hranice mezi občasným a systematickým lhaním. Navíc může být výsledek ovlivněn subjektivním vnímáním respondentů. Alternativně by bylo vhodnější zachovat proměnnou jako ordinální nebo spojitou a použít regresní model místo dichotomizace. Statistická interpretace ROC analýzy -ROC analýza je správně zvolená pro nalezení optimálního cut-off skóre, ale chybí hodnota AUC (area under the curve), která je klíčovým ukazatelem kvality modelu. Měla by být uvedena AUC hodnota a její interpretace (např. AUC = 0,5 znamená náhodné třídění, AUC > 0,8 znamená dobrý model). -Specifita vs. senzitivita Práce vybírá cut-off skóre 52, ale při této hodnotě je specificita nízká (pouze 9 %), což znamená, že velké množství lidí, kteří nelžou, bude nesprávně označeno jako lháři. Tento aspekt není dostatečně diskutován – v jakém kontextu je lepší vyšší senzitivita než specificita? -Chybějící kontrola předpokladů ROC analýzy ROC analýza předpokládá, že závislá proměnná (tj. pravdivost lhaní) je správně měřena. Neproběhla kontrola, zda respondenti odpovídali konzistentně, ani zda odpovědi odpovídají jiným měřením lži (např. korelace s jinými škálami). Didaktické chyby: -Nepřehledná prezentace tabulek Tabulka s cut-off skóry (Tabulka 1) obsahuje velké množství čísel, ale není vizuálně zvýrazněno, které hodnoty jsou klíčové. Mohlo by pomoci barevné zvýraznění nejlepších hodnot Youdenova indexu nebo zkrácení tabulky na relevantní části. Chybějící vizuální interpretace výsledků -ROC křivka je sice zmíněna, ale chybí vizuální znázornění (graf). Přidání grafu s optimalizovaným cut-off skóre by pomohlo čtenáři lépe pochopit výsledek. Slabá diskuse o limitech metody -Práce by měla více zdůraznit omezení přístupu: Sebehodnotící dotazníky mohou být zkreslené. Lidé si nemusí být vědomi toho, že lžou. Výsledky mohou být ovlivněny kulturními faktory. -Použití neformálních formulací V textu se objevují příliš neformální výrazy, např. „statistika I, kterou lze pojmenovat například statistikou I“ – což působí neodborně. Terminologie by měla být preciznější, např. místo „statistika I“ by bylo vhodnější uvést „vážená Youdenova statistika“ nebo jiný odborný termín. -Celkové hodnocení: Práce obsahuje zajímavou aplikaci ROC analýzy, ale jsou zde metodologické problémy – zejména v dichotomizaci proměnné, interpretaci specifity a senzitivity a chybějící hodnotě AUC. Didakticky by pomohlo lepší formátování tabulek, přidání vizuálních prvků a jasnější diskuse limitací.
• Oceňuji velmi dobré teoretické zakotvení a zvolenou vhodnou metodu analýty. V závěru bych při prezentaci výsledných cut-off skore uvedla přímo za ním hodnoty senzitivity, specificity a Youdenovi statistiky aby to v závěru bylo přehledné a čtenář si to nemusel dohledávat v dlouhé tabulce. Na závěr bych jen stručně zmínila v diskuzi možnost zkreslení vzhledem k více jak 80% žen ve vzorku. Chybí mi zde také samotná hodnota AUC.
• Práce s daty: Tato práce se vyznačuje velmi dobře promyšlenou analýzou a použitím vhodných statistických metod, konkrétně ROC analýzy. Autor správně využil koncepty senzitivity a specificity a provedl jejich pečlivou interpretaci. Výpočet Youdenova indexu a zohlednění nerovnoměrného zastoupení skupin v reálných datech přidává na vědecké hodnotě práce. Oceňuji i jasné odůvodnění volby cut-off skóre. Jediné, co by mohlo být lépe rozpracováno, je hlubší diskuze o možných praktických dopadech výsledků. Didaktická hodnota: Text je poměrně srozumitelný a strukturovaný, ale místy je odbornější a může být náročnější pro čtenáře, kteří nejsou obeznámeni s metodami ROC analýzy. Přestože výsledky jsou pečlivě prezentované, některé části by mohly být vysvětleny ještě více laicky. Grafy a tabulky jsou přehledné, ale mohlo by jich být více pro lepší ilustraci závěrů.
• Zvolené téma je velmi zajímavé. Zpráva ale měla hodně dlouhý úvod, který mi přišel pro tyto účely zbytečný. Postup byl místy trochu nesrozumitelný, ale po několika přečteních se v něm dá zorientovat. Hodně cením, že je ve zprávě graf a barevná tabulka.