ИИ-стартап Илона Маска xAI обвинили в обмане с бенчмарками

ИИ-стартап Илона Маска xAI обвинили в обмане с бенчмарками

Разгорелась дискуссия вокруг результатов бенчмарка Grok 3 от xAI: сотрудник OpenAI обвинил компанию в некорректных сравнениях. Сооснователь xAI Игорь Бабушкин защитил заявления компании, но правда, похоже, сложнее. xAI поделилась графиком, на котором видно, что Grok 3 превосходит o3-mini-high от OpenAI в сложном математическом тесте AIME 2025. Однако сотрудники OpenAI отметили, что xAI опустил ключевую метрику «cons@64», которая дает моделям ИИ 64 шанса на правильный ответ. Этот метод значительно повышает баллы, и без него модели OpenAI в некоторых случаях работают лучше. При стандартных настройках «@1», когда ИИ получает только один шанс ответить, Grok 3 Reasoning Beta и Grok 3 mini Reasoning набирают меньше баллов, чем o3-mini-high от OpenAI. Тем не менее, xAI по-прежнему называет Grok 3 «самым умным ИИ в мире». Бабушкин утверждает, что OpenAI уже делал подобные вещи в прошлом....
24.02.2025
Сообщает: Источник  
Рубрика: «Наука и Техника»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Илона Маска обвинили в использовании своего положения в правительстве СШАИлона Маска обвинили в использовании своего положения в правительстве США Федеральное управление гражданской авиации США (FAA) тестирует спутниковую сеть Starlink компании SpaceX для улучшения связи в отдаленных районах, та ...

Компанию xAI Илона Маска обвинили в незаконном использовании турбинКомпанию xAI Илона Маска обвинили в незаконном использовании турбин Агентство по охране окружающей среды США (EPA) установило, что компания xAI незаконно использовала десятки газовых турбин в Теннесси для питания свои ...

ИИ-стартап xAI Илона Маска внезапно поглотил соцсеть X Илона МаскаИИ-стартап xAI Илона Маска внезапно поглотил соцсеть X Илона Маска Инвесторы до сих пор пытаются взыскать с Илона Маска (Elon Musk) ущерб от его действий на этапе подготовки сделки с Twitter в 2022 году, но миллиарде ...

ИИ-компания xAI Илона Маска купила соцсеть X Илона МаскаИИ-компания xAI Илона Маска купила соцсеть X Илона Маска Илон Маск объявил, что его компания xAI, которая занимается искусственным интеллектом, купила социальную сеть X (бывший Twitter). Сделка прошла полно ...

Одна компания Илона Маска поглощает другу компанию того же МаскаОдна компания Илона Маска поглощает другу компанию того же Маска Платформа X Илона Маска была приобретена стартапом xAI, который также принадлежит миллиардеру. По словам самого бизнесмена, будущее обоих активов «вз ...

Одна компания Илона Маска поглощает другую компанию того же МаскаОдна компания Илона Маска поглощает другую компанию того же Маска Платформа X Илона Маска была приобретена стартапом xAI, который также принадлежит миллиардеру. По словам самого бизнесмена, будущее обоих активов «вз ...

Подписчики в ярости: Алексу обвинили в обмане из-за отмены разводаПодписчики в ярости: Алексу обвинили в обмане из-за отмены развода Популярная исполнительница Алекса заставила поклонников понервничать, опубликовав сообщение о разводе с бизнесменом Вячеславом Дайчевым, но вскоре за ...

Популярную торговую сеть обвинили в массовом обмане россиянПопулярную торговую сеть обвинили в массовом обмане россиян Множество покупателей столкнулись с проблемой возврата денег за недоставленные товары от сети гипермаркетов «Блюмарт». С декабря 2024 года они не мог ...