Чат гопоты и его аналоги разрушают навыки мышления

Boris Paleev написал(а) к All в Jun 25 10:34:56 по местному времени:

Нello All!

https://aftershock.news/?q=node/1517328
Согласно новому исследованию Массачусетского технологического института, ChatGPT может разрушать навыки мышления
13:08 - 19/Июн/25 Mr.Wolf


"Товарищи! Рабочая и крестьянская революция,
о необходимости которой всё время говорили
большевики, свершилась!" (с) В.И.Ленин

Вредит ли ChatGPT критическим способностям мышления? Новое исследование ученых из Media Lab Массачусетского технологического института дало некоторые тревожные результаты.

Исследование разделило 54 испытуемых - от 18 до 39 лет из Бостона - на три группы и попросило их написать несколько эссе SAT, используя ChatGPT от OpenAI, поисковую систему Google и вообще ничего, соответственно. Исследователи использовали ЭЭГ для регистрации мозговой активности писателей в 32 регионах и обнаружили, что из трех групп пользователи ChatGPT имели самую низкую мозговую активность и "постоянно отставали на нейронном, лингвистическом и поведенческом уровнях". В течение нескольких месяцев пользователи ChatGPT становились все ленивее с каждым последующим эссе, часто прибегая к копированию и вставке к концу исследования.

В статье предполагается, что использование LLM может фактически навредить обучению, особенно для молодых пользователей. Статья еще не прошла рецензирование, а ее выборка относительно невелика. Однако главный автор статьи Наталия Космина сочла важным опубликовать результаты, чтобы поднять опасения, что, поскольку общество все больше полагается на LLM для немедленного удобства, долгосрочное развитие мозга может быть принесено в жертву.

"Что действительно побудило меня выпустить его сейчас, не дожидаясь полной рецензии, так это то, что я боюсь, что через 6-8 месяцев найдется какой-нибудь политик, который решит: "Давайте сделаем детский сад GPT". Я думаю, это было бы абсолютно плохо и пагубно", - говорит она. "Развивающийся мозг подвергается наибольшему риску".

Резюме и краткие результаты (из документа)

===========
С сегодняшним широким внедрением продуктов LLM, таких как ChatGPT от OpenAI, люди и предприятия ежедневно используют LLM. Как и любой другой инструмент, он имеет свой набор преимуществ и ограничений. Это исследование фокусируется на выяснении когнитивных издержек использования LLM в образовательном контексте написания эссе.

Мы распределили участников по трем группам: группа LLM, группа Search Engine, группа Brain-only, где каждый участник использовал назначенный инструмент (или не использовал инструмент в последнем случае) для написания эссе. Мы провели 3 сеанса с одинаковым групповым заданием для каждого участника. На 4-м сеансе мы попросили участников группы LLM не использовать никаких инструментов (мы называем их LLM-to-Brain), а участников группы Brain-only попросили использовать LLM (Brain-to-LLM). Мы набрали в общей сложности 54 участника для сессий 1, 2, 3, и 18 участников из них завершили сессию 4.

Мы использовали электроэнцефалографию (ЭЭГ) для записи мозговой активности участников, чтобы оценить их когнитивную вовлеченность и когнитивную нагрузку, а также получить более глубокое понимание нейронной активации во время задания по написанию эссе. Мы провели анализ НЛП и опросили каждого участника после каждой сессии. Мы провели оценку с помощью учителей-людей и судьи ИИ (специально созданного агента ИИ).

Мы обнаружили постоянную однородность в распознавании именованных сущностей (NER), n-граммах, онтологии тем в каждой группе. Анализ ЭЭГ предоставил надежные доказательства того, что группы LLM, Search Engine и Brain-only имели значительно разные паттерны нейронных связей, отражающие расходящиеся когнитивные стратегии. Связность мозга систематически снижалась в зависимости от объема внешней поддержки: группа Brain-only продемонстрировала самые сильные, широкомасштабные сети, группа Search Engine показала промежуточное вовлечение, а помощь LLM выявила самую слабую общую связь. В сеансе 4 участники LLM-to-Brain продемонстрировали более слабую нейронную связь и недостаточное вовлечение альфа- и бета-сетей; а участники Brain-to-LLM продемонстрировали более высокую память и повторное вовлечение распространенных затылочно-теменных и префронтальных узлов, вероятно, поддерживающих визуальную обработку, аналогично тому, что часто воспринималось в группе Search Engine.

Сообщаемое владение эссе группы LLM в интервью было низким. Группа Search Engine продемонстрировала сильное владение, но меньшее, чем группа Brain-only.

Группа LLM также отстала в своей способности цитировать эссе, которые они написали всего за несколько минут до этого. Поскольку образовательное воздействие использования LLM только начинает использоваться среди населения в целом, в этом исследовании мы демонстрируем насущную проблему вероятного снижения навыков обучения на основе результатов нашего исследования. Использование LLM оказало измеримое влияние на участников, и хотя преимущества были изначально очевидны, как мы продемонстрировали в течение 4 месяцев, участники группы LLM показали худшие результаты, чем их коллеги в группе Brain-only на всех уровнях: нейронном, лингвистическом, балльном.

Мы надеемся, что это исследование послужит предварительным руководством для понимания когнитивного и практического воздействия ИИ на образовательную среду.

Резюме результатов

Мы считаем, что некоторые из самых поразительных наблюдений в нашем исследовании связаны с сеансом 4, где участники Brain-to-LLM показали более высокую нейронную связность, чем сеансы LLM Group 1, 2, 3 (сетевой всплеск направленной связи в альфа-, бета-, тета- и дельта-диапазонах). Это говорит о том, что переписывание эссе с использованием инструментов ИИ (после предварительного письма без ИИ) включало более обширные взаимодействия мозговых сетей. Напротив, группа LLM-to-Brain, подвергавшаяся предварительному использованию LLM, продемонстрировала менее скоординированные нейронные усилия в большинстве диапазонов, а также смещение в специфическом словаре LLM. Хотя их эссе были высоко оценены как судьей ИИ, так и преподавателями-людьми, их эссе выделялись меньше с точки зрения расстояния использования NER/n-грамм по сравнению с другими сеансами в других группах.
===========

Авторство:
Авторская работа / переводика
Использованные источники:
https://time.com/7295195/ai-chatgpt-...arning-school/
https://arxiv.org/pdf/2506.08872
https://www.media.mit.edu/projects/y...tgpt/overview/

Комментарий автора:

В общем, то, о чем догадывались все адекватные - находит научное подтверждение. И - что забавно - не у нас, а там, в "обители добра". Это же, в действительности - очевидно: если мозг вместо работы - тупо ждет представления результатов от стороннего исполнителя - он ДЕГРАДИРУЕТ. Ибо так работает в нашем мире всё: не востребованные навыки - быстро теряются. Не требуется думать - значит умение думать будет утеряно.

Из интересного: оказывается, что мозг теряет навыки не только думать, но и даже понимать/запоминать представленную информацию. Это - к сказкам типа "да я продолжаю всё контролировать - LLM только исполняет, но я всё знаю и всё проверяю": очень быстро и все знания и навыки проверки (и корректировки) - будут утеряны.

ЗЫ. Внимание! "Мопед - не мой", а МТИ. Ожидаем в ближайшее время поток антикризисных публикаций имени Сёмы Альтмана и Ко в глобальной сети. Ну а на АШе - очередную проповедь Корректировщика с иностранным флагом о всемогуществе ИИ и т.п.

Кстати, если обратить внимание на ключевых авторов исследования - можно быстро найти в оном "руку Кремля", но этим пусть занимаются соответствующие пиндосские компетентные структуры.

Сомневающиеся и прочие заинтересованные - могут самостоятельно ознакомиться с документом, дабы составить собственное мнение и узнать подробности (ссылка приведена, объем - 206 страниц).

Продолжаем наблюдать.

Best regards, Boris

--- Ручка шариковая, цена 1.1.5-021027