Модели ИИ учатся разделять задачи, сокращая время ожидания сложных подсказок

Модели ИИ учатся разделять задачи, сокращая время ожидания сложных подсказок

По мере того как большие языковые модели (LLM), такие как ChatGPT, продолжают совершенствоваться, ожидания пользователей от них продолжают расти, в том числе в отношении того, насколько быстро они могут реагировать на наши все более сложные запросы, запрашивающие ответы на все более сложные проблемы и задачи. Традиционные LLM основаны на концепции «авторегрессивного декодирования», где каждый элемент («токен») в последовательности предсказывается на основе ранее сгенерированных выходных данных. Такой подход неизбежно приводит к задержкам при обработке более сложных подсказок, хотя исследователи пытались смягчить это с помощью проектов, более эффективно использующих параллелизм многоядерных компьютерных чипов. Например, спекулятивное декодирование использует быструю черновую модель для предложения токенов, которые затем параллельно проверяются более медленной, высококачественной моделью. Новый класс методов вместо этого использует «семантическую независимость», выявляя синтаксические шаблоны, такие как пункты списка, и параллельно раскрывая каждый из них. Однако они опираются на вручную созданные синтаксические эвристики, которые нестабильны и часто дают сбои, когда ответы отклоняются от ожидаемых форматов. Эти недостатки вдохновили исследователей из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Google использовать подход, основанный на обучении, для параллельного декодирования. Вместо того, чтобы полагаться на ф...
25.07.2025
Сообщает: Источник  
Рубрика: «Наука и Техника»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Bitget повышает эффективность найма с помощью ИИ, сокращая время подбора персонала на 38%Bitget повышает эффективность найма с помощью ИИ, сокращая время подбора персонала на 38% Bitget, ведущая криптовалютная биржа и компания в сфере Web3, опубликовала... Сообщение Bitget повышает эффективность найма с помощью ИИ, сокращая вр ...

Ученые Сбербанка научили легковесные модели искусственного интеллекта распознавать эмоции в сложных условияхУченые Сбербанка научили легковесные модели искусственного интеллекта распознавать эмоции в сложных условиях Ученые лаборатории искусственного интеллекта Сбербанка предложили инновационный подход к распознаванию эмоций... ...

Екатеринбург все время перенимает чей-то опыт. А чему другие города учатся у насЕкатеринбург все время перенимает чей-то опыт. А чему другие города учатся у нас? Чиновники из Екатеринбурга перенимают опыт своих коллег из других регионов. Успешные практики они стараются применять дома. Но за последние годы и на ...

Советы от деда: почему большие языковые модели не всегда годятся для решения задачиСоветы от «деда»: почему большие языковые модели не всегда годятся для решения задачи Выход ChatGPT в конце 2022 года стимулировал бизнес к внедрению искусственного интеллекта для принятия решений на основе данных. Это событие также сд ...

В России установили время ожидания скорой помощиВ России установили время ожидания скорой помощи Бригада скорой помощи в России должна доезжать до пациента за 20 минут с момента вызова, следует из соответствующего постановления правительства, с к ...

Малый порт в Находке сократил время ожидания уборки вагонов"Малый порт" в Находке сократил время ожидания уборки вагонов Маршрутизация порожних вагонов стала основным инструментом улучшения производственных показателей ...

Диспетчерам Петроградского ГУЖА удалось сократить время ожидания на линии в 100 разДиспетчерам Петроградского ГУЖА удалось сократить время ожидания на линии в 100 раз Внедрение бережливых технологий в работу единой диспетчерской службы СПб ГКУ «Жилищное агентство Петроградского района» сократило среднее время ожида ...

Собянин: Время ожидания приема врача в поликлиниках сократилось с 30 до 7 минутСобянин: Время ожидания приема врача в поликлиниках сократилось с 30 до 7 минут Это достижение стало возможным благодаря комплексным мерам, направленным на оптимизацию работы медицинских учреждений и внедрение новых технологий. П ...