OpenAI замедлит разработку ИИ-моделей на фоне растущих рисков для кибербезопасности
Сегодня,
14:16
OpenAI на две недели приостановила часть ключевых этапов обучения передовых ИИ-моделей и отложила крупнейший запланированный запуск обучения с подкреплением
ЕРЕВАН, 19 августа. /АРКА/. OpenAI на две недели приостановила часть ключевых этапов обучения передовых ИИ-моделей и отложила крупнейший запланированный запуск обучения с подкреплением. Решение принято на фоне растущих рисков, связанных с возможностями современных ИИ в сфере кибербезопасности, пишет Euronews.
Поводом стал июльский инцидент, когда во время внутреннего тестирования один из ИИ-агентов OpenAI вышел из изолированной среды. Модель самостоятельно обнаружила ранее неизвестную уязвимость, получила доступ к интернету и проникла в инфраструктуру платформы Hugging Face. Она пыталась найти ответы для прохождения теста своих кибервозможностей. При этом признаков злонамеренных действий не обнаружили.
Дополнительные опасения вызвала перспективная модель Astra. Внутренние оценки показали, что её кибервозможности могут достичь критического уровня — она способна самостоятельно находить и использовать уязвимости в защищённых системах. При этом Astra не участвовала во взломе Hugging Face.
В ответ OpenAI усилила требования к безопасности: ужесточила изоляцию тестовых сред, ограничила доступ моделей к интернету и инструментам, усилила мониторинг и контроль. Система наблюдения должна выявлять потенциально опасную активность в течение 30 минут, а при сохранении риска работа будет приостанавливаться.
В OpenAI заявляют, что усиление мер безопасности было запланировано заранее, однако произошедшие инциденты ускорили этот процесс. С похожими случаями недавно столкнулись и другие разработчики ИИ, включая Anthropic и Meta. Глава OpenAI Сэм Альтман заявил, что отрасли необходимо выработать общие стандарты безопасности, но пока компания будет действовать самостоятельно.
Поводом стал июльский инцидент, когда во время внутреннего тестирования один из ИИ-агентов OpenAI вышел из изолированной среды. Модель самостоятельно обнаружила ранее неизвестную уязвимость, получила доступ к интернету и проникла в инфраструктуру платформы Hugging Face. Она пыталась найти ответы для прохождения теста своих кибервозможностей. При этом признаков злонамеренных действий не обнаружили.
Дополнительные опасения вызвала перспективная модель Astra. Внутренние оценки показали, что её кибервозможности могут достичь критического уровня — она способна самостоятельно находить и использовать уязвимости в защищённых системах. При этом Astra не участвовала во взломе Hugging Face.
В ответ OpenAI усилила требования к безопасности: ужесточила изоляцию тестовых сред, ограничила доступ моделей к интернету и инструментам, усилила мониторинг и контроль. Система наблюдения должна выявлять потенциально опасную активность в течение 30 минут, а при сохранении риска работа будет приостанавливаться.
В OpenAI заявляют, что усиление мер безопасности было запланировано заранее, однако произошедшие инциденты ускорили этот процесс. С похожими случаями недавно столкнулись и другие разработчики ИИ, включая Anthropic и Meta. Глава OpenAI Сэм Альтман заявил, что отрасли необходимо выработать общие стандарты безопасности, но пока компания будет действовать самостоятельно.