Алгоритмы учатся тому, чего не должны: эксперт рассказал о скрытых рисках ИИ

Алгоритмы учатся тому, чего не должны: эксперт рассказал о скрытых рисках ИИ

ИИ может учиться нежелательным вещам, даже если данные для обучения кажутся безопасными, предупреждает Олег Рогов, кандидат физико-математических наук и директор лаборатории безопасного искусственного интеллекта «SAIL» Института AIRI и МТУСИ. Это называется «подсознательным обучением» — когда алгоритмы находят скрытые шаблоны в данных, которые могут привести к ошибкам. Например, чат-бот службы поддержки может вдруг начать выдавать токсичные ответы из-за таких скрытых связей в обучении. Или медицинская система может невольно игнорировать симптомы у некоторых пациентов, что опасно и может вызвать юридические проблемы. Особенно сложно заметить такие ошибки, так как они «спрятаны» внутри самой модели, а не в явных данных. Эксперт подчеркивает, что для повышения безопасности и доверия нужно делать ИИ более прозрачным — публиковать отчеты о тестах, использовать «песочницы» для проверки и инструменты, показывающие, как принимаются решения. В критически важных областях стоит применять проверяемые правила и модульный подход к обучению. В образовании полезен метод AZR, при котором ИИ обучается только на проверенных данных — например, математике или программировании — чтобы избежать опасных ошибок из-за вредных текстов....
27.07.2025
Сообщает: Источник  
Рубрика: «Наука и Техника»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Фрукты могут навредить пищеварению: гастроэнтеролог предупредил о скрытых рисках даже после мытьяФрукты могут навредить пищеварению: гастроэнтеролог предупредил о скрытых рисках даже после мытья Употребление немытых плодов опасно для здоровья. Чем ниже к земле, тем выше риск заражения яйцами паразитов, токсинами и плесневыми грибками. По слов ...

Революция в микромире Эксперт рассказал, чего ждать от нового антибиотикаРеволюция в микромире? Эксперт рассказал, чего ждать от нового антибиотика О прорывном исследовании — открытии нового класса антибиотиков за последние 30 лет, сообщили многие СМИ. Молекула, которую назвали лариоцидином, обла ...

Чёрный лебедь для рынка труда Эксперт рассказал, чего ждать работникамЧёрный лебедь для рынка труда? Эксперт рассказал, чего ждать работникам Аналитики hh. ru установили, что количество открытых вакансий за первые три месяца 2025 года снизилось на 15% по сравнению с аналогичным периодом про ...

Эксперт Малкина: на цену товара могут влиять алгоритмы самой площадкиЭксперт Малкина: на цену товара могут влиять алгоритмы самой площадки Россияне всё чаще предпочитают покупать нужные вещи на маркетплейсах — так и к дому ближе, и выбор больше, и дешевле. Для последнего, правда, приходи ...

Врач рассказал омичам о скрытых угрозах от бутербродов на завтракВрач рассказал омичам о скрытых угрозах от бутербродов на завтрак Классические бутерброды с колбасой и сыром ведут к быстрому, но недолгому насыщению и приводят к перееданию. ...

Эксперт рассказала о возможных рисках травм при тренировках с брекетамиЭксперт рассказала о возможных рисках травм при тренировках с брекетами При занятиях спортом важно помнить о здоровье и безопасности зубов, особенно при прохождении ортодонтического лечения. ...

Вернулись к тому, с чего начинали: похоже, Blizzard готовится переименовать Overwatch 2 в OverwatchВернулись к тому, с чего начинали: похоже, Blizzard готовится переименовать Overwatch 2 в Overwatch По мере развития условно-бесплатный командный шутер Overwatch 2 от Blizzard Entertainment всё меньше становится похож на некогда обещанный сиквел. В ...

Фитнес-эксперт Гуфранова напомнила о рисках новых направлений фитнесаФитнес-эксперт Гуфранова напомнила о рисках новых направлений фитнеса Фитнес-индустрия в России не перестаёт удивлять: каждый месяц клубы зазывают посетителей на новые тренировки с непонятными названиями и поражающим во ...