Исследование выявило признаки деградации искусственного интеллекта из-за соцсетей 

Некачественный контент приводит к деградации LLM. К такому выводу пришли ученые из Техасского университета и Университета Пердью.  Исследователи «скормили» четырем популярным ИИ-моделям выборку вирусных постов из X за один месяц и отметили следующие изменения: снижение способности к рассуждению на 23%; ухудшение долговременной памяти на 30%; повышение уровней нарциссизма и психопатии по тестам личности.  Эффект усиливался пропорционально объему низкокачественных данных. Примечательно, что даже после переобучения на чистом и качественном контенте полностью устранить когнитивные искажения не удалось. Как проводилось исследование?  В рамках эксперимента авторы выдвинули и проверили «гипотезу мозгового разложения ИИ-моделей». Она утверждает, что непрерывное воздействие «мусорной» информации приводит к устойчивой деградации больших языковых моделей.  Для идентификации низкосортного контента ученые создали две метрики:  M1 (степень вовлеченности) — посты, созданные для привлечения внимания (обычно короткие, вирусные, имеют большое количество лайков и репостов); M2 (семантическое качество) — посты, помеченные как имеющие низкую информационную ценность или содержащие преувеличенные утверждения.  При сохранении единого количества токенов и тренировочных операций результаты показали, что по сравнению с контрольной группой непрерывное дообучение четырех LLM на низкокачественном наборе данных привело к ухудшению показателей в области рассуждений, понимания длинного текста и безопасности.   Постепенное смешивание «мусорного» набора с контрольным также вызвало снижение когнитивных способностей. Например, при M1 по мере роста доли некачественных данных с 0% до 100% результат на ARC-Challenge упал с 74,9 до 57,2, а на RULER-CWE — с 84,4 до 52,3. У моделей также снизилась этическая последовательность. Ученые отметили, что подвергшиеся воздействию некачественных данных ИИ становились менее надежными и более самоуверенными в неправильных ответах.  LLM начали пропускать логические шаги в рассуждениях, выдавая поверхностные результаты вместо подробных объяснений.  Что делать?  Ученые призвали ИИ-разработчиков систематически мониторить когнитивное здоровье моделей и рекомендовали три ключевых шага:  внедрить регулярные оценки для развернутых систем с целью обнаружения ранних признаков снижения качества рассуждений; ужесточить контроль качества данных на этапе предварительного обучения, используя более сильные фильтры; изучить, как вирусный контент меняет паттерны обучения ИИ, чтобы проектировать устойчивые к нему модели.  Исследователи заявили, что меры необходимы для предотвращения значительного ущерба — сейчас модели продолжают обучаться на данных из интернета. Без соответствующего контроля ИИ рискует унаследовать искажения из генеративного контента, запустив цикл деградации. Напомним, эксперты NewsGuard выявили склонность Sora 2 от OpenAI к созданию дипфейков.  https://forklog.com/exclusive/ai/simulyatsiya-dushi-pochemu-opasno-pripisyvat-soznanie-ii