Perplexity открыла исходный код Lily — лёгкого движка инференса для локальной работы с моделями в Perplexity Computer. Он рассчитан на компьютеры Mac с Apple Silicon и специально оптимизирован для модели Qwen3.6-35B-A3B.
Lily написан на Rust и использует собственные Metal-ядра. В опубликованном описании Perplexity связывает движок с гибридным режимом работы: часть задач выполняется локально на Mac, а облачные модели используются для исследований и сложных рассуждений.
Читайте также: ТОП-6 чат-ботов на базе ИИ — какой выбрать?
Что известно о Lily
Perplexity оптимизировала Lily для Qwen3.6-35B-A3B — разреженной модели с 35 млрд параметров, которая активирует около 3 млрд параметров на токен. Движок рассчитан именно на этот чекпойнт в формате MLX affine 4-bit и не является универсальным сервером для других моделей Qwen. Lily также предоставляет совместимый с OpenAI API интерфейс.
Lily не превращает Perplexity Computer в полностью офлайн-сервис. По данным компании, гибридный режим распределяет работу между локальной моделью и облачными моделями: облако используется для исследований и рассуждений, а локальная модель может работать с приватными файлами и приложениями на Mac.
Как пользоваться
Опубликованный Lily можно собрать и запустить отдельно от Perplexity Computer. Для него требуется Mac с Apple GPU Family 10 или новее — это соответствует Apple Silicon поколения M5 и новее — и macOS 26 или новее. В репозитории есть инструкции по загрузке чекпойнта, сборке через Rust и запуску сервера.
Проект распространяется по лицензии Apache-2.0.
Почему это важно? Код Lily можно изучать и дорабатывать отдельно от Perplexity Computer. При этом движок остаётся специализированным решением для Qwen3.6-35B-A3B, а обычный пользовательский режим Perplexity Computer по-прежнему сочетает локальную обработку с облачными возможностями сервиса.
Ранее Perplexity Computer получила гибридные вычисления на Mac — сервис распределяет задачу между облачными ИИ-моделями и локальной моделью на компьютере пользователя.
Итог. Lily даёт Perplexity собственный открытый движок для локального запуска Qwen3.6-35B-A3B на Mac с Apple Silicon. Компания оптимизировала его непосредственно под архитектуру модели и добилась более высокой производительности по сравнению с MLX-LM в собственных тестах.
