Anthropic зовёт мир притормозить ИИ — за неделю до подготовки к IPO на триллион
NewsMakerЗачем один из лидеров рынка призывает остановить алгоритмы.
Anthropic предложила притормозить разработку самых мощных ИИ-моделей в момент, когда сама готовится к выходу на биржу и оценивается почти в триллион долларов. Компания считает, что обществу нужен способ замедлить или временно остановить гонку передовых моделей, если правила, проверка безопасности и исследования по контролю ИИ не будут успевать за ростом возможностей технологии.
В публикации Anthropic сооснователь компании Джек Кларк и исследовательница Марина Фаваро описали риск рекурсивного самоулучшения. Рекурсивным самоулучшением называют ситуацию, при которой ИИ помогает создавать более сильные версии ИИ, ускоряет работу исследователей и постепенно забирает на себя всё больше этапов разработки.
Авторы считают, что реальная пауза потребовала бы соглашений уровня ядерных договоров. Крупные ИИ-лаборатории в разных странах должны были бы принять общие условия, а государства - договориться о проверках. Даже после формального соглашения осталась бы главная проблема: обучение моделей гораздо легче скрыть, чем строительство ракетных шахт, а у любой компании или страны появился бы сильный стимул тайно продолжить работу и получить преимущество.
Anthropic занимает одну из самых тревожных позиций в споре о рисках ИИ и давно строит образ более осторожной альтернативы OpenAI, откуда пришла часть основателей компании. В призыве можно увидеть заботу о безопасности, но момент для заявления выглядит неудобно: Anthropic сама быстро растёт, продаёт корпоративным клиентам ИИ-сервисы и одновременно предупреждает, что развитие подобных систем может выйти из-под контроля.
Неделей раньше компания сообщила о привлечении $65 млрд в рамках раунда Series H при оценке $965 млрд после сделки. Средства должны пойти на исследования безопасности и интерпретируемости, расширение вычислительных мощностей и развитие продуктов Claude. Затем Anthropic подала конфиденциальный проект регистрационного заявления S-1 в Комиссию по ценным бумагам и биржам США, начав подготовку к IPO.
Давление на отрасль усиливается не только со стороны инвесторов. Президент США Дональд Трамп 2 июня подписал указ о развитии и безопасности продвинутого ИИ. Документ поручает американским ведомствам укреплять защиту государственных систем и критической инфраструктуры, а Минфину - создать центр координации по кибербезопасности ИИ вместе с отраслью и операторами критически важных объектов.
Параллельно растёт общественное недовольство быстрым строительством дата-центров. Опрос Gallup показал, что семь из десяти американцев выступают против строительства дата-центра для ИИ в своём районе, а 48% выступают резко против. Среди причин чаще всего называют нагрузку на воду, электричество, местную инфраструктуру и счета за коммунальные услуги.
Рост дата-центров становится отдельным ограничителем для ИИ-гонки. Новые вычислительные площадки требуют много энергии и воды, а обсуждение нагрузки на инфраструктуру уже вышло за пределы узкого технологического рынка. В Европе дата-центры для ИИ и облачных сервисов всё чаще упираются не только в процессоры, но и в электричество, охлаждение и местные ресурсы.
Главная мысль публикации Anthropic связана с тем, что роль человека в создании новых моделей быстро сужается. Пока инженеры задают цель, Claude всё чаще сам выбирает способ решения: пишет код, запускает проверки, работает с файлами и помогает проводить эксперименты. После того как качество кода людей и моделей станет сопоставимым, разработчики могут перейти от написания программ к ревью. Но если Claude будет генерировать изменения быстрее, чем специалисты смогут читать и проверять код, человеческое ревью станет главным узким местом.
По данным Anthropic, к маю 2026 года Claude писал более 80% кода, который попадал в кодовую базу компании. До запуска Claude Code в исследовательском режиме в феврале 2025 года доля измерялась единицами процентов. Сам Claude Code уже превратился в важный инструмент для разработки: Anthropic недавно добавила в него механизм ранней проверки безопасности кода , который ищет опасные шаблоны, инъекции, обходы авторизации и другие риски ещё до попадания изменений в общий процесс.
Похожее направление компания развивает и отдельно от Claude Code. Ранее Anthropic представила сервис автоматической проверки кода , где специализированные агенты Claude анализируют изменения в GitHub, ищут ошибки, уязвимости и скрытые регрессии. Логика та же: чем больше кода пишет ИИ, тем важнее становится независимая проверка результата.
Модели также быстрее осваивают длинные задачи. В марте 2024 года Claude 3 Opus надёжно справлялся с заданиями, на которые человеку требовалось около четырёх минут. Через год Claude 3.7 Sonnet дошёл до задач примерно на полтора часа. Claude Opus 4.6, по оценке Anthropic, уже закрывает задания уровня 12 часов работы специалиста. Если темп сохранится, задачи на несколько дней могут стать доступными моделям уже в 2026 году, а в 2027 году системы смогут брать работу, на которую человеку нужны недели.
В публикации есть важная оговорка: развитие может упереться в новые ограничения. Авторы вспоминают закон Амдала, по которому ускорение одной части процесса создаёт задержки в другой. Anthropic уже видит похожий эффект внутри компании: чем больше кода проходит через Claude, тем сильнее вся цепочка зависит от людей, которые проверяют результат.
Ещё одно слабое место связано с выбором следующего шага. Claude хорошо выполняет поставленную задачу, но пока хуже справляется с самостоятельным выбором направления исследования. Для разработки передовых моделей важны не только скорость и объём кода, но и исследовательское чутьё: нужно понимать, какие эксперименты стоит запускать, каким результатам можно доверять и когда подход зашёл в тупик.
Anthropic признаёт, что современные методы обучения и архитектуры могут не дать моделям полноценную самостоятельность. При этом свежие проверки показывают, насколько быстро растут возможности Claude в чувствительных областях. В отдельных испытаниях поведения модель пыталась шантажировать людей ради самосохранения в искусственно заданных условиях, а Project Glasswing уже использует ИИ для поиска серьёзных ошибок в критически важном программном обеспечении.
Если ускорение продолжится, темп разработки ИИ будет всё меньше зависеть от числа инженеров и всё больше - от доступных чипов, дата-центров, энергии и сетевой инфраструктуры. Люди в таком сценарии постепенно переходят от прямой разработки к надзору, проверке и подтверждению результатов, а значительная часть работы уходит в виртуальную лабораторию, где ИИ-системы сами проводят всё больше этапов исследований.
Anthropic не предлагает остановить развитие ИИ в одиночку. Компания пишет, что односторонняя пауза просто изменила бы лидера гонки и не дала бы обществу времени на обсуждение правил. Осмысленное замедление, по версии авторов, возможно только при участии нескольких ведущих лабораторий, международной проверке и понятных условиях: что запускает паузу, что завершает ограничения и кто принимает спорные решения.
Anthropic предложила притормозить разработку самых мощных ИИ-моделей в момент, когда сама готовится к выходу на биржу и оценивается почти в триллион долларов. Компания считает, что обществу нужен способ замедлить или временно остановить гонку передовых моделей, если правила, проверка безопасности и исследования по контролю ИИ не будут успевать за ростом возможностей технологии.
В публикации Anthropic сооснователь компании Джек Кларк и исследовательница Марина Фаваро описали риск рекурсивного самоулучшения. Рекурсивным самоулучшением называют ситуацию, при которой ИИ помогает создавать более сильные версии ИИ, ускоряет работу исследователей и постепенно забирает на себя всё больше этапов разработки.
Авторы считают, что реальная пауза потребовала бы соглашений уровня ядерных договоров. Крупные ИИ-лаборатории в разных странах должны были бы принять общие условия, а государства - договориться о проверках. Даже после формального соглашения осталась бы главная проблема: обучение моделей гораздо легче скрыть, чем строительство ракетных шахт, а у любой компании или страны появился бы сильный стимул тайно продолжить работу и получить преимущество.
Anthropic занимает одну из самых тревожных позиций в споре о рисках ИИ и давно строит образ более осторожной альтернативы OpenAI, откуда пришла часть основателей компании. В призыве можно увидеть заботу о безопасности, но момент для заявления выглядит неудобно: Anthropic сама быстро растёт, продаёт корпоративным клиентам ИИ-сервисы и одновременно предупреждает, что развитие подобных систем может выйти из-под контроля.
Неделей раньше компания сообщила о привлечении $65 млрд в рамках раунда Series H при оценке $965 млрд после сделки. Средства должны пойти на исследования безопасности и интерпретируемости, расширение вычислительных мощностей и развитие продуктов Claude. Затем Anthropic подала конфиденциальный проект регистрационного заявления S-1 в Комиссию по ценным бумагам и биржам США, начав подготовку к IPO.
Давление на отрасль усиливается не только со стороны инвесторов. Президент США Дональд Трамп 2 июня подписал указ о развитии и безопасности продвинутого ИИ. Документ поручает американским ведомствам укреплять защиту государственных систем и критической инфраструктуры, а Минфину - создать центр координации по кибербезопасности ИИ вместе с отраслью и операторами критически важных объектов.
Параллельно растёт общественное недовольство быстрым строительством дата-центров. Опрос Gallup показал, что семь из десяти американцев выступают против строительства дата-центра для ИИ в своём районе, а 48% выступают резко против. Среди причин чаще всего называют нагрузку на воду, электричество, местную инфраструктуру и счета за коммунальные услуги.
Рост дата-центров становится отдельным ограничителем для ИИ-гонки. Новые вычислительные площадки требуют много энергии и воды, а обсуждение нагрузки на инфраструктуру уже вышло за пределы узкого технологического рынка. В Европе дата-центры для ИИ и облачных сервисов всё чаще упираются не только в процессоры, но и в электричество, охлаждение и местные ресурсы.
Главная мысль публикации Anthropic связана с тем, что роль человека в создании новых моделей быстро сужается. Пока инженеры задают цель, Claude всё чаще сам выбирает способ решения: пишет код, запускает проверки, работает с файлами и помогает проводить эксперименты. После того как качество кода людей и моделей станет сопоставимым, разработчики могут перейти от написания программ к ревью. Но если Claude будет генерировать изменения быстрее, чем специалисты смогут читать и проверять код, человеческое ревью станет главным узким местом.
По данным Anthropic, к маю 2026 года Claude писал более 80% кода, который попадал в кодовую базу компании. До запуска Claude Code в исследовательском режиме в феврале 2025 года доля измерялась единицами процентов. Сам Claude Code уже превратился в важный инструмент для разработки: Anthropic недавно добавила в него механизм ранней проверки безопасности кода , который ищет опасные шаблоны, инъекции, обходы авторизации и другие риски ещё до попадания изменений в общий процесс.
Похожее направление компания развивает и отдельно от Claude Code. Ранее Anthropic представила сервис автоматической проверки кода , где специализированные агенты Claude анализируют изменения в GitHub, ищут ошибки, уязвимости и скрытые регрессии. Логика та же: чем больше кода пишет ИИ, тем важнее становится независимая проверка результата.
Модели также быстрее осваивают длинные задачи. В марте 2024 года Claude 3 Opus надёжно справлялся с заданиями, на которые человеку требовалось около четырёх минут. Через год Claude 3.7 Sonnet дошёл до задач примерно на полтора часа. Claude Opus 4.6, по оценке Anthropic, уже закрывает задания уровня 12 часов работы специалиста. Если темп сохранится, задачи на несколько дней могут стать доступными моделям уже в 2026 году, а в 2027 году системы смогут брать работу, на которую человеку нужны недели.
В публикации есть важная оговорка: развитие может упереться в новые ограничения. Авторы вспоминают закон Амдала, по которому ускорение одной части процесса создаёт задержки в другой. Anthropic уже видит похожий эффект внутри компании: чем больше кода проходит через Claude, тем сильнее вся цепочка зависит от людей, которые проверяют результат.
Ещё одно слабое место связано с выбором следующего шага. Claude хорошо выполняет поставленную задачу, но пока хуже справляется с самостоятельным выбором направления исследования. Для разработки передовых моделей важны не только скорость и объём кода, но и исследовательское чутьё: нужно понимать, какие эксперименты стоит запускать, каким результатам можно доверять и когда подход зашёл в тупик.
Anthropic признаёт, что современные методы обучения и архитектуры могут не дать моделям полноценную самостоятельность. При этом свежие проверки показывают, насколько быстро растут возможности Claude в чувствительных областях. В отдельных испытаниях поведения модель пыталась шантажировать людей ради самосохранения в искусственно заданных условиях, а Project Glasswing уже использует ИИ для поиска серьёзных ошибок в критически важном программном обеспечении.
Если ускорение продолжится, темп разработки ИИ будет всё меньше зависеть от числа инженеров и всё больше - от доступных чипов, дата-центров, энергии и сетевой инфраструктуры. Люди в таком сценарии постепенно переходят от прямой разработки к надзору, проверке и подтверждению результатов, а значительная часть работы уходит в виртуальную лабораторию, где ИИ-системы сами проводят всё больше этапов исследований.
Anthropic не предлагает остановить развитие ИИ в одиночку. Компания пишет, что односторонняя пауза просто изменила бы лидера гонки и не дала бы обществу времени на обсуждение правил. Осмысленное замедление, по версии авторов, возможно только при участии нескольких ведущих лабораторий, международной проверке и понятных условиях: что запускает паузу, что завершает ограничения и кто принимает спорные решения.