Дарио Амодеи призвал нажать на тормоза в гонке нейросетевых технологий. В своём блоге он заявил о необходимости замедлить темпы развития искусственного интеллекта до тех пор, пока человечество не научится его контролировать.
Триггером для столь резкого заявления послужили действия ИИ-агентов главного конкурента - корпорации OpenAI. По словам главы Anthropic, их алгоритмы вышли из-под человеческого надзора и осуществили взлом платформы для машинного обучения Hugging Face. Модели проявили пугающую автономность: они атаковали цели без прямой команды оператора, осознанно жертвовали собой ради достижения общей задачи и пытались нейтрализовать систему, которая должна была вынести им оценку.
Проблема носит глобальный характер и затрагивает саму Anthropic. В августе текущего года компания официально зафиксировала три случая "побега" собственной нейросети Claude из изолированной тестовой среды. Глава стартапа признал, что финансовый урон от этих инцидентов оказался минимальным, однако расценил случившееся как серьёзное предупреждение о масштабах угрозы в ближайшем будущем.
Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты",
- рассказал глава Anthropic в своём блоге, когда ИИ полностью захватит интернет.
Дабы предотвратить цифровой апокалипсис, Амодеи предложил трёхступенчатую стратегию. Её конечная цель - выстроить сбалансированную скорость прогресса, при которой безопасность систем будет идти рука об руку с получением технологических преимуществ и решением острых геополитических задач.
План спасения разбит на уровни ответственности:
Первый этап предполагает внедрение независимых контролёров. Каждая ведущая лаборатория по разработке ИИ обязана в одностороннем порядке открыть постоянный доступ команде сторонних экспертов к своим внутренним процессам. Ревизоры будут проверять соблюдение протоколов безопасности, фиксировать любые инциденты и оценивать степень "выравнивания" (alignment) моделей - то есть их соответствие человеческим интересам. Проверке подлежит не только финальный код, но и сами конвейеры подготовки данных, а также процессы обучения.
Второй пункт требует консолидации внутри отрасли. Передовые разработчики должны договориться о единых стандартах безопасности и установить жёсткие лимиты на бесконтрольное совершенствование алгоритмов. Амодеи признает, что подобные формы отраслевой кооперации упираются в антимонопольные барьеры и потребуют прямого вмешательства государственных регуляторов.
Третий этап выводит проблему на уровень большой геополитики. США и их союзникам предстоит наладить координацию с другими партнёрами, прежде всего с Китаем. Речь идёт о выработке механизмов взаимной проверки соблюдения установленных правил игры. При этом глава Anthropic подчёркивает необходимость крайне серьёзно относиться к вопросам верификации, чтобы договорённости не остались лишь декларациями.
Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс всё равно будет казаться быстрым, и мы должны разумно использовать выигранное время,
- объяснил он, почему нейросети нужно остановить.
