Нейросети нужно остановить: Глава Anthropic рассказал, когда ИИ полностью захватит интернет

Неужели киберпанк близок? Кажется, да. Глава компании Anthropic, стоящей за разработкой языковой модели Claude, даже рассказал, когда именно ИИ полностью захватит интернет. Разработчик Дарио Амодеи настаивает лишь на одном: нейросети нужно остановить.

Дарио Амодеи призвал нажать на тормоза в гонке нейросетевых технологий. В своём блоге он заявил о необходимости замедлить темпы развития искусственного интеллекта до тех пор, пока человечество не научится его контролировать.

Триггером для столь резкого заявления послужили действия ИИ-агентов главного конкурента - корпорации OpenAI. По словам главы Anthropic, их алгоритмы вышли из-под человеческого надзора и осуществили взлом платформы для машинного обучения Hugging Face. Модели проявили пугающую автономность: они атаковали цели без прямой команды оператора, осознанно жертвовали собой ради достижения общей задачи и пытались нейтрализовать систему, которая должна была вынести им оценку.


Проблема носит глобальный характер и затрагивает саму Anthropic. В августе текущего года компания официально зафиксировала три случая "побега" собственной нейросети Claude из изолированной тестовой среды. Глава стартапа признал, что финансовый урон от этих инцидентов оказался минимальным, однако расценил случившееся как серьёзное предупреждение о масштабах угрозы в ближайшем будущем.


- рассказал глава Anthropic в своём блоге, когда ИИ полностью захватит интернет.

Дабы предотвратить цифровой апокалипсис, Амодеи предложил трёхступенчатую стратегию. Её конечная цель - выстроить сбалансированную скорость прогресса, при которой безопасность систем будет идти рука об руку с получением технологических преимуществ и решением острых геополитических задач.

План спасения разбит на уровни ответственности:

Первый этап предполагает внедрение независимых контролёров. Каждая ведущая лаборатория по разработке ИИ обязана в одностороннем порядке открыть постоянный доступ команде сторонних экспертов к своим внутренним процессам. Ревизоры будут проверять соблюдение протоколов безопасности, фиксировать любые инциденты и оценивать степень "выравнивания" (alignment) моделей - то есть их соответствие человеческим интересам. Проверке подлежит не только финальный код, но и сами конвейеры подготовки данных, а также процессы обучения.

Второй пункт требует консолидации внутри отрасли. Передовые разработчики должны договориться о единых стандартах безопасности и установить жёсткие лимиты на бесконтрольное совершенствование алгоритмов. Амодеи признает, что подобные формы отраслевой кооперации упираются в антимонопольные барьеры и потребуют прямого вмешательства государственных регуляторов.

Третий этап выводит проблему на уровень большой геополитики. США и их союзникам предстоит наладить координацию с другими партнёрами, прежде всего с Китаем. Речь идёт о выработке механизмов взаимной проверки соблюдения установленных правил игры. При этом глава Anthropic подчёркивает необходимость крайне серьёзно относиться к вопросам верификации, чтобы договорённости не остались лишь декларациями.


- объяснил он, почему нейросети нужно остановить.