Исследование OpenAI опровергло способности ИИ заменить программистов

Исследование OpenAI опровергло способности ИИ заменить программистов

Компания OpenAI опубликовала результаты исследования, целью которого были способности ИИ к самостоятельному написанию кода и потенциальной замене разработчиков. Исследование опубликовано в базе препринтов arXiv. Инженеры компании протестировали две модели ИИ от OpenAI: o1, GPT-4o, а также Claude 3.5 Sonnet от Anthropic. Модели оценивались с помощью бенчмарка SWE-Lancer, состоящего из 1400 заданий для программистов с фриланс-сайта Upwork. В ходе тестирования моделям был запрещён доступ в интернет, что исключало возможность «обмана» путём копирования решений из Сети. Исследователи обнаружили, что модели ИИ, хотя и продемонстрировали «некоторую компетентность», всё же не смогли заменить даже начинающих программистов. Модели допускали ошибки и «с трудом понимали контекст», что приводило к неправильным или недостаточным решениям. При этом модель Claude 3.5 Sonnet показала наилучшие результаты, однако большинство ответов и этой нейросети всё равно были неверными. Исследователи пришли к выводу, что на данный момент ИИ не способен писать даже простой код и тем более заменить специалистов, что в корне противоречит заявлению гендиректора OpenAI Сэма Альтмана о том, что модели, способные решать задачи программирования на начальном уровне, появятся уже к концу 2025 года....
26.02.2025
Сообщает: Источник  
Рубрика: «Наука и Техника»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

ИИ оказался не способен заменить программистовИИ оказался не способен заменить программистов Способность искусственного интеллекта (ИИ) самостоятельно писать код оценили специалисты компании OpenAI. Исследование опубликовано на сервере препри ...

OpenAI купит разработчика ИИ-помощника для программистов Windsurf за $3 млрдOpenAI купит разработчика ИИ-помощника для программистов Windsurf за $3 млрд OpenAI планирует приобрести Windsurf — разработчика инструмента редактирования программного кода на базе искусственного интеллекта. Для этого к ...

Новое исследование ставит под сомнение эффективность ИИ-инструментов для опытных программистовНовое исследование ставит под сомнение эффективность ИИ-инструментов для опытных программистов Перед началом эксперимента участники предположили, что ИИ сократит время выполнения задач на 24%. Однако результаты оказались противоположными: при и ...

Крупнейшее социологическое исследование по видеоиграм в России опровергло главные мифы о российских геймерахКрупнейшее социологическое исследование по видео­играм в России опровергло главные мифы о российских геймерах Организация развития видеоигровой индустрии (РВИ) совместно с Аналитическим центром НАФИ провела крупнейшее социологическое исследование по видео­ ...

ИИ-модели готовы признаться в своих грешках, показало исследование OpenAIИИ-модели готовы признаться в своих грешках, показало исследование OpenAI Исследователи OpenAI в поисках эффективных методов аудита моделей искусственного интеллекта, склонных выдавать нежелательные результаты или пытаться ...

Великобритания разрешила Microsoft инвестировать в OpenAI 13 миллиардов долларов в OpenAIВеликобритания разрешила Microsoft инвестировать в OpenAI 13 миллиардов долларов в OpenAI Регулятор Великобритании (CMA) одобрил инвестицию Microsoft в OpenAI на сумму 13 миллиардов долларов после 14-месячного расследования. ...

Глава IBM считает, что ИИ не заменит программистовГлава IBM считает, что ИИ не заменит программистов Генеральный директор IBM Арвинд Кришна считает, что ИИ является ценной технологией, но не панацеей. Он не согласился с недавним прогнозом Дарио Амоде ...

МИД РФ опровергло информацию об эвакуации дипломатов из ВенесуэлыМИД РФ опровергло информацию об эвакуации дипломатов из Венесуэлы МИД России опроверг ложные сообщения Associated Press о якобы начавшейся эвакуации российского посольства из Венесуэлы. Читать далее ...