Tencent представила Hy4 Preview — открытую MoE-модель с 770 млрд параметров, из которых 49 млрд активируются при обработке каждого токена.
Модель поддерживает контекст до 1 млн токенов. Tencent опубликовала обычные и FP8-веса на Hugging Face, ModelScope, GitCode и CNB, а также инструкции по запуску через vLLM и SGLang.
Читайте также: 20 лучших ИИ-агентов — для работы и бизнеса, написания кода, создания видео/картинок
Hy4 Preview — возможности и характеристики
В основе Hy4 Preview лежит архитектура Mixture of Experts. В модели 78 слоёв, 256 маршрутизируемых экспертов и один общий эксперт; на каждый токен задействуются восемь маршрутизируемых экспертов и общий.
Кроме основной части модели, Tencent встроила один MTP-слой на 10 млрд параметров, из которых активируются 0,7 млрд, для спекулятивного декодирования. Указанные 770 млрд общих и 49 млрд активных параметров относятся к основной части модели без учёта MTP-слоя.
Tencent также добавила поддержку Gated DeepSeek Sparse Attention (Gated DSA) и механизма IndexCache для повторного использования разреженных индексов между слоями. Компания позиционирует модель для программирования, офисной работы и анализа данных, разработки игр и научных задач. В частности, модель рассчитана на работу с документами, таблицами и презентациями.
В репозитории Tencent предупреждает, что версия Preview может слишком долго рассуждать над сложными задачами и перепроверять собственные ответы.
Как пользоваться Hy4 Preview
Скачайте веса Hy4 Preview или FP8-версию из официального репозитория. Для запуска Tencent предлагает vLLM или SGLang; после развёртывания модель отвечает через совместимый с OpenAI API. В примерах запуска используется конфигурация с tensor parallel на 8 GPU.
Hy4 Preview также доступна через Tencent Cloud TokenHub и OpenRouter, а интеграции с моделью появились в продуктах Tencent WorkBuddy и CodeBuddy.
API-модель стоит $0,834 за 1 млн входных токенов, $2,501 за 1 млн выходных токенов и $0,042 за 1 млн токенов при попадании в кэш.
Hy4 Preview распространяется по лицензии Apache 2.0.
Почему это важно? Tencent открыла веса модели с контекстом 1 млн токенов и опубликовала инструкции для самостоятельного развёртывания через распространённые движки инференса. Одновременно модель доступна через облачные API и продукты Tencent.
Ранее Tencent Hunyuan представила WorldClaw — агентный ИИ-фреймворк, который создаёт большие 3D-миры с ландшафтом и отдельными объектами по текстовому описанию.
Итог: Hy4 Preview — открытая MoE-модель Tencent на 770 млрд параметров в основной части, с 49 млрд активных параметров на токен, контекстом до 1 млн токенов и поддержкой vLLM и SGLang.
