NVIDIA представила открытую ИИ-модель Nemotron 3.5 Lightning для автономных агентов
Сегодня,
10:01
NVIDIA представила открытую языковую модель Nemotron 3.5 Lightning, предназначенную прежде всего для длительно работающих автономных ИИ-агентов и других агентных систем
ЕРЕВАН, 18 августа. /АРКА/. NVIDIA представила открытую языковую модель Nemotron 3.5 Lightning, предназначенную прежде всего для длительно работающих автономных ИИ-агентов и других агентных систем.
Модель была выпущена 11 августа. Она содержит 30 млрд параметров, из которых около 3 млрд являются активными при инференсе. Nemotron 3.5 Lightning построена на гибридной архитектуре Mixture-of-Experts, объединяющей слои Mamba-2, MoE и отдельные слои Attention, а также использует технологию Multi-Token Prediction, предусматривающую прогнозирование нескольких последующих токенов.
Контекстное окно модели достигает 1 млн токенов. NVIDIA относит Nemotron 3.5 Lightning к моделям для длительно работающих автономных агентов, вспомогательных ИИ-агентов и других многоэтапных процессов с использованием программных инструментов.
Reuters среди возможных сценариев применения модели называет проверку программного кода, работу с инструментами, мониторинг уведомлений в сфере кибербезопасности и обработку стандартных клиентских запросов. Одновременно NVIDIA выпустила NeMo Switchyard — открытую библиотеку маршрутизации, предназначенную для автоматического направления ИИ-задач наиболее подходящим моделям.
Nemotron 3.5 Lightning доступна, в частности, в полноточной версии BF16 и оптимизированной для инференса версии NVFP4. BF16-версию NVIDIA рассматривает прежде всего как основу для последующего обучения, адаптации и исследований, тогда как NVFP4 рекомендуется для непосредственного развертывания в ИИ-системах.
Для BF16 NVIDIA приводит конфигурацию запуска на одном GPU H100 с контекстом до 256 тыс. токенов, ограниченным доступной памятью. Для работы с полным контекстным окном в 1 млн токенов компания указывает, в частности, конфигурации с восемью H100, а также GPU GB200 и B200. Для локального запуска NVIDIA также предлагает варианты для устройств RTX 5090, DGX Spark и RTX 6000 Pro с использованием GGUF-версии модели. Поддерживается работа через различные программные инструменты, включая vLLM, SGLang, а для соответствующих квантованных версий — llama.cpp, Ollama и LM Studio.
NVIDIA опубликовала параметры обученной модели, что позволяет разработчикам загружать и развертывать ее на собственной инфраструктуре. Ее использование регулируется лицензией OpenMDW 1.1, при этом NVIDIA указывает, что модель готова к коммерческому применению.
Опубликованные NVIDIA результаты тестирования показывают различия в производительности Nemotron 3.5 Lightning в зависимости от конкретного benchmark. Так, в PinchBench полноточная версия модели получила 85,37 балла против 88,07 у Qwen 3.6 35B A3B, а в MMLU Pro — 81,94 против 85,63 соответственно. Вместе с тем в отдельных тестах соотношение результатов отличается. NVIDIA отмечает, что оценки получены компанией в едином тестовом окружении и могут отличаться от результатов, публикуемых разработчиками других моделей.
В перечень поддерживаемых NVIDIA языков входят английский, испанский, французский, немецкий, итальянский и японский, а также языки программирования. Русский язык в список официально поддерживаемых не включен. При этом NVIDIA сообщает, что русскоязычные данные входили в многоязычный корпус, использовавшийся при предварительном обучении модели.
Модель была выпущена 11 августа. Она содержит 30 млрд параметров, из которых около 3 млрд являются активными при инференсе. Nemotron 3.5 Lightning построена на гибридной архитектуре Mixture-of-Experts, объединяющей слои Mamba-2, MoE и отдельные слои Attention, а также использует технологию Multi-Token Prediction, предусматривающую прогнозирование нескольких последующих токенов.
Контекстное окно модели достигает 1 млн токенов. NVIDIA относит Nemotron 3.5 Lightning к моделям для длительно работающих автономных агентов, вспомогательных ИИ-агентов и других многоэтапных процессов с использованием программных инструментов.
Reuters среди возможных сценариев применения модели называет проверку программного кода, работу с инструментами, мониторинг уведомлений в сфере кибербезопасности и обработку стандартных клиентских запросов. Одновременно NVIDIA выпустила NeMo Switchyard — открытую библиотеку маршрутизации, предназначенную для автоматического направления ИИ-задач наиболее подходящим моделям.
Nemotron 3.5 Lightning доступна, в частности, в полноточной версии BF16 и оптимизированной для инференса версии NVFP4. BF16-версию NVIDIA рассматривает прежде всего как основу для последующего обучения, адаптации и исследований, тогда как NVFP4 рекомендуется для непосредственного развертывания в ИИ-системах.
Для BF16 NVIDIA приводит конфигурацию запуска на одном GPU H100 с контекстом до 256 тыс. токенов, ограниченным доступной памятью. Для работы с полным контекстным окном в 1 млн токенов компания указывает, в частности, конфигурации с восемью H100, а также GPU GB200 и B200. Для локального запуска NVIDIA также предлагает варианты для устройств RTX 5090, DGX Spark и RTX 6000 Pro с использованием GGUF-версии модели. Поддерживается работа через различные программные инструменты, включая vLLM, SGLang, а для соответствующих квантованных версий — llama.cpp, Ollama и LM Studio.
NVIDIA опубликовала параметры обученной модели, что позволяет разработчикам загружать и развертывать ее на собственной инфраструктуре. Ее использование регулируется лицензией OpenMDW 1.1, при этом NVIDIA указывает, что модель готова к коммерческому применению.
Опубликованные NVIDIA результаты тестирования показывают различия в производительности Nemotron 3.5 Lightning в зависимости от конкретного benchmark. Так, в PinchBench полноточная версия модели получила 85,37 балла против 88,07 у Qwen 3.6 35B A3B, а в MMLU Pro — 81,94 против 85,63 соответственно. Вместе с тем в отдельных тестах соотношение результатов отличается. NVIDIA отмечает, что оценки получены компанией в едином тестовом окружении и могут отличаться от результатов, публикуемых разработчиками других моделей.
В перечень поддерживаемых NVIDIA языков входят английский, испанский, французский, немецкий, итальянский и японский, а также языки программирования. Русский язык в список официально поддерживаемых не включен. При этом NVIDIA сообщает, что русскоязычные данные входили в многоязычный корпус, использовавшийся при предварительном обучении модели.