Что такое когнитивное искажение в ИИ?

Когнитивное искажение в ИИ — это систематические паттерны отклонения от рациональности в суждениях и принятии решений, которые могут быть непреднамеренно заложены, воспроизведены или усилены системами ИИ через предвзятые обучающие данные или проектирование алгоритмов.

Понимание когнитивных искажений критически важно для создания справедливых и непредвзятых систем ИИ, выявления и смягчения паттернов предвзятости как в обучающих данных, так и в алгоритмических процессах принятия решений.

Когнитивные искажения в ИИ проявляются, когда модели обучаются на данных, отражающих человеческие предвзятости, увековечивая дискриминационные паттерны в прогнозах, рекомендациях или классификациях.

Система ИИ для найма, показывающая предвзятость к мужчинам-кандидатам из-за обучения на исторических данных о найме, или система распознавания лиц, работающая хуже с людьми с тёмной кожей.