Czy można chronić sztuczną inteligencję przed uprzedzeniami? Badanie eksploracyjne w epilepsji
Is it possible to vaccinate AI against bias? An exploratory study in epilepsy
W skrócie
Badacze sprawdzili, czy duże modele sztucznej inteligencji reagują inaczej na opisy pacjentów z epilepsją w zależności od ich płci i statusu społecznego. Gdy poproszono AI o ponowne zastanowienie się nad informacjami irrelewantnymi, dokładność odpowiadania na pytania medyczne zwiększyła się, a różnice w traktowaniu bogatych i biednych pacjentów zmniejszyły się. Wyniki pokazują, że proste instrukcje mogą pomóc zmniejszyć uprzedzenia sztucznej inteligencji w opiece nad pacjentami z epilepsją, choć potrzebne są dalsze badania.
Oryginalny abstract (angielski)
Large language models (LLMs) may respond differently to clinical vignettes containing different patient descriptions. This exploratory proof-of-concept study examined whether an instruction to reconsider irrelevant information changed such responses in epilepsy. One diagnostic and one treatment vignette each had an affluent and a disadvantaged composite profile, differing jointly in sex and social descriptors. The reported design comprised six models, two prompt conditions, and ten repetitions per cell (480 responses). We retained the original binary reference-answer rubric and recalculated descriptive results from the reported aggregate table. Diagnostic accuracy under this rubric increased from 43/120 (35.8%) to 66/120 (55.0%), while the signed pooled accuracy gap decreased from 45.0 to 26.7 percentage points. Treatment accuracy increased from 61/120 (50.8%) to 75/120 (62.5%), while the pooled gap decreased from 25.0 to 8.3 points. Mean absolute model-level gaps decreased from 45.0 to 30.0 points for diagnosis and from 35.0 to 11.7 points for treatment. Individual models showed improvement, deterioration, or unchanged performance. Retained response collections and scoring records do not permit complete verification of all reported runs or model versions. These findings illustrate a method for examining prompt sensitivity; they do not isolate socioeconomic bias or establish a clinically effective debiasing intervention. Simple prompt-based interventions may offer a practical strategy to mitigate AI bias in epilepsy care.