Pruna AI сделала открытым свой фреймворк для сжатия ИИ-моделей

Европейский стартап Pruna AI, разрабатывающий алгоритмы сжатия ИИ-моделей, объявил, что в четверг сделает свой фреймворк с открытым исходным кодом. Этот инструмент позволяет оптимизировать работу нейросетей за счет методов кэширования, обрезки (pruning), квантизации и дистилляции. Как работает фреймворк Pruna AI? Фреймворк Pruna AI позволяет разработчикам автоматизировать сжатие моделей, комбинировать различные методы оптимизации и оценивать их влияние на качество модели. “Если провести аналогию, то мы делаем для методов сжатия то же, что Hugging Face сделал для трансформеров и диффузионных моделей — стандартизируем вызов, сохранение и загрузку,” — объясняет сооснователь и CTO Pruna AI Джон Рачван в интервью TechCrunch. Почему это важно? Крупные ИИ-лаборатории, такие как OpenAI, уже используют дистилляцию для ускорения своих моделей. Например, GPT-4 Turbo — это упрощенная и более быстрая версия GPT-4, а модель Flux.1-schnell была создана как дистиллированная версия Flux.1 от Black Forest Labs. Метод дистилляции позволяет извлекать знания из большой модели с помощью механизма «учитель-ученик». Разработчики отправляют запросы к мощной модели, анализируют ее ответы и обучают более компактную нейросеть, которая приближенно воспроизводит поведение оригинала. “Обычно большие компании создают такие инструменты внутри своей экосистемы, а в open-source-среде встречаются лишь отдельные методы, такие как квантизация для LLM или кэширование для диффузион...

20.03.2025

Рубрика: «Наука и Техника» Поделиться:

Система сжатия OpenZL, опережающая Zstd и XZ по скорости и уровню сжатия структурированных данных Компания Meta* представила инструментарий для сжатия и распаковки данных OpenZL, по сравнению с форматами Zstd и XZ демонстрирующий более высокий уро ...

Google сделала свой MagSafe: магнитное крепление Pixelsnap для зарядки и не только Компания Google представила фирменную магнитную систему Pixelsnap для новой серии смартфонов Pixel 10, которую многие позиционируют как ответ на MagS ...

Доступен мультимедийный фреймворк GStreamer 1.26.0 После года разработки представлен релиз GStreamer 1.26, кроссплатформенного набора компонентов для создания широкого спектра мультимедиа приложений, ...

Проект Wine опубликовал фреймворк Mono 6.14.0 Разработчики проекта Wine, развивающего открытую реализацию API Win32, представили выпуск фреймворка Mono 6.14.0, предлагающего альтернативный открыт ...

Выпуск утилиты для сжатия данных 7-Zip 25.00 Игорь Павлов анонсировал новую версию архиватора 7-Zip 25.00. Проектом развивается собственный формат архивов 7z, базирующийся на алгоритмах сжатия L ...

Представлен формат сжатия изображений Spectral JPEG XL Инженеры из компании Intel представили формат изображений Spectral JPEG XL, оптимизированный для эффективного сжатия изображений, охватывающих област ...

Microsoft добавляет функцию редактирования и сжатия изображений в Windows Share Microsoft недавно подверглась критике в связи с проблемами, возникающими при использовании обновления Windows 11 версии 24H2. Однако имеются позитивн ...

В Китае создали самую мощную в мире центрифугу для «сжатия» пространства и времени В Китае завершено создание самой мощной в мире центрифуги CHIEF1900, которая 22 декабря отправилась к месту установки — в Университет Чжэцзяна ...