ИИ-безопасность
Обнаружение бэкдоров в LLM
Краткое описание подходов к выявлению скрытых бэкдоров в больших языковых моделях и их ограничений.
Что проверяют сканеры
Сканеры для LLM анализируют модели и данные обучения на наличие скрытых триггеров и аномальных поведенческих паттернов. Цель — выявить изменения, которые могут приводить к нежелательным выводам при определенных входах. Методы включают статистические тесты и проверку согласованности ответов.
Ограничения подходов
Обнаружение бэкдоров сложно из-за большого числа параметров и зависимости от качества тестовых наборов. Ложные срабатывания возможны, а некоторые встраивания остаются незаметными без целевой проверки. Поэтому используют комбинацию автоматических проверок и экспертной оценки.