Компактная языковая модель Phi Silica стала мультимодальной

Компактная языковая модель (SLM) Phi Silica от Microsoft теперь способна понимать не только текст, но и изображения, что переводит её в статус мультимодальных. Это важное обновление, поскольку модель интегрирована в операционную систему Windows 11 на устройствах ПК Copilot+ и работает на локальном нейронном процессоре (NPU), встроенном в процессор. Сейчас модель работает только с процессором Snapdragon X, но в ближайшее время появится поддержка чипов от AMD и Intel. Вместо добавления отдельной громоздкой модели для анализа изображений, инженеры Microsoft объединили существующие компоненты. Базой осталась уже развернутая модель Phi Silica. Для машинного зрения применяется кодировщик изображений Florence, который также используется в предварительной версии Windows Recall и улучшенном поиске на базе ИИ. И, наконец, разработан небольшой дополнительный модуль «Projector» (всего 80 млн параметров), который преобразует визуальные данные от Florence в формат, понятный Phi Silica. Так Microsoft удалось избежать необходимости развёртывания ещё одной громоздкой модели на устройствах пользователей. Этого подход позволил сэкономить дисковое пространство и уменьшить вычислительную нагрузку. Кроме этого, повторное использование существующих компонентов сократило затраты и время на обучение моделей. Главным примером практического применения новой технологии стала функция генерации описаний изображений для незрячих или слабовидящих пользователей. Мультимодальная Phi Silica может генерироват...

30.04.2025
Сообщает: Источник

Рубрика: «Игры и Интернет» Поделиться:

Российская визуально-языковая модель обошла решения Google, OpenAI, Anthropic и Alibaba в распознавании русскоязычного текста на изображениях Российская визуально-текстовая модель «Яндекса» Alice AI VLM заняла второе место в лидборде бенчмарка MWS Vision Bench —... ...

Вакууматор BlackRed YQ666: простенькая компактная модель BlackRed YQ666 — компактный вакууматор с простым управлением (всего две кнопки), который отлично справится с упаковкой продуктов для хранения или для ...

Пароочиститель Hiomee: довольно компактная модель для уборки дома Мы протестировали компактный пароочиститель Hiomee, который легко взять с собой и положить в шопер. В обзоре мы покажем, на каких задачах он работает ...

Микроволновая печь Redmond (Редмонд) MW2900: эффективная компактная модель с механическим управлением Микроволновая печь Redmond («Редмонд») MW2900: эффективная компактная модель с механическим управлением Redmond MW2900 подкупает своей простотой. В ней нет ничего лишнего и навороченного, только старые добрые механические ручки, довольно высокая мощност ...

Робот-пылесос Redmond (Редмонд) VR1326S: компактная модель со станцией для сброса мусора Робот-пылесос Redmond («Редмонд») VR1326S: компактная модель со станцией для сброса мусора Робот Redmond VR1326S по результатам тестов проявил себя как весьма удачное и симпатичное устройство. Он продемонстрировал высочайшее качество сухой ...

Кофеварка Lex LXCM 3507-1: компактная модель с управлением одной кнопкой и съемным молочным контейнером Lex LXCM 3507-1 — компактная кофеварка для тех, кто ценит простоту и удобство в приготовлении классических напитков дома. Эспрессо, капучино и латте ...

Внешний SSD Digma Mega X емкостью 2 ТБ: еще одна компактная и быстрая модель на контроллере Silicon Motion SM2320 Главный вывод из результатов тестирования со времени выхода предыдущего материала не изменился: с самостоятельной сборкой внешнего SSD при наличии на ...

Ноутбук Honor MagicBook 14 Pro (FMB-P): производительная и компактная модель на Intel Core Ultra 9 285H с почти идеальным OLED-экраном Honor MagicBook 14 Pro — на редкость удачная модель в стильном и компактном корпусе, которая при этом впечатляет беспрецедентной производительностью. ...

☰