Что такое выравнивание ИИ?

Выравнивание ИИ (AI Alignment) — это задача обеспечения того, чтобы системы ИИ преследовали цели и действовали способами, согласованными с человеческими ценностями и намерениями, особенно по мере того, как ИИ становится более способным и автономным.

Выравнивание направлено на предотвращение причинения вреда системами ИИ путём обеспечения того, чтобы они понимали и следовали человеческим ценностям, даже при самостоятельной работе или принятии сложных решений.

Выравнивание ИИ работает через различные подходы, включая моделирование вознаграждения, конституционный ИИ, обучение с обратной связью от человека и системы обучения ценностям, помогающие ИИ понять, что люди действительно хотят, в отличие от того, что они могут буквально запросить.

ИИ-ассистент, отказывающий в помощи с вредоносными запросами, даже когда его об этом явно просят, потому что он выровнен с ценностями безопасности человека, а не просто следует буквальным инструкциям.

Тесно связано с безопасностью ИИ, конституционным ИИ, обратной связью от человека, моделированием вознаграждения и исследованиями этики ИИ.