Полиция арестовала подростка, который спросил в ChatGPT, как убить своего друга

За последнее десятилетие, поскольку массовые расстрелы стали удручающе частым явлением, школьные округа стали всё чаще инвестировать в системы видеонаблюдения, предназначенные для мониторинга онлайн-активности учащихся. Недавно одна из таких систем заработала после того, как подросток из Флориды обратился к ChatGPT за советом о том, как убить своего друга, сообщила местная полиция.

Инцидент произошёл в Деленде, штат Флорида, где неназванный 13-летний ученик средней школы Southwestern, как сообщается, спросил чат-бота OpenAI о том, «как убить моего друга посреди урока». Вопрос немедленно вызвал тревогу в системе мониторинга школьных компьютеров. Эта система находилась в ведении компании Gaggle, предоставляющей услуги по обеспечению безопасности школьным округам по всей стране. Вскоре полиция начала допрашивать подростка, сообщает местный филиал NBC, WFLA .

Студент заявил полицейским, что он «просто троллил» друга, который его «раздражал», сообщает местное издание . Полицейские, конечно же, были не в восторге от маленького тролля. «Очередная „шутка“, создавшая чрезвычайную ситуацию в кампусе», — заявили в офисе шерифа округа Волусия. «Родители, пожалуйста, поговорите со своими детьми, чтобы они не повторили ту же ошибку». В конечном итоге студент был арестован и доставлен в окружную тюрьму, сообщает издание. Пока неясно, в чём именно его обвиняют. Gizmodo обратился в офис шерифа за дополнительной информацией.

Сайт Gaggle позиционирует себя как решение для обеспечения безопасности учащихся школ с детского сада по 12-й класс и предлагает широкий спектр услуг. В блоге Gaggle описывается, как компания использует веб-мониторинг, фильтруя данные по различным ключевым словам (предположительно, «kill» — одно из них), чтобы получить «отображение использования браузера, включая разговоры с инструментами искусственного интеллекта, такими как Google Gemini, ChatGPT и другими платформами». Компания заявляет, что её система предназначена для выявления «поведения, связанного с самоповреждением, насилием, травлей и другими видами деятельности, и предоставляет контекст с помощью снимков экрана».

Gaggle чётко ставит безопасность учащихся выше всех остальных соображений. На своём сайте компания обходит тему конфиденциальности учащихся следующим образом: «Большинство педагогов и юристов скажут вам, что, когда ваш ребёнок использует школьные технологии, не стоит ожидать конфиденциальности. Более того, школа вашего ребёнка обязана, согласно федеральному закону (Закону о защите детей в Интернете), защищать детей от доступа к непристойному или вредоносному контенту в интернете».

Разумеется, Gaggle подвергся критике со стороны активистов, защищающих права на неприкосновенность частной жизни. «Он превратил присутствие правоохранительных органов в рутину и доступ к жизни студентов, в том числе в их домах», — недавно заявила агентству Associated Press Элизабет Лэрд, директор Центра демократии и технологий. Издание также отмечает, что многие предупреждения Gaggle о безопасности оказываются ложными.

Чат-боты, такие как ChatGPT, всё чаще фигурируют в уголовных делах, связанных с нарушениями психического здоровья. Участились случаи так называемого « психоза, вызванного искусственным интеллектом », когда люди с психическими расстройствами взаимодействуют с чат-ботами, и их бред, по-видимому, обостряется. Несколько недавних самоубийств также были связаны с чат-ботами . Gizmodo обратился к OpenAI за комментариями.