Нейросети убивают Open Source. Разработчики больше не пишут код, они чинят ошибки, которые нафантазировал искусственный интеллект




Искусственный интеллект стал проблемой для разработчиков ПО с открытым кодом. Для поиска ошибок в нем багхантеры стали применять нейросети, и те сразу же начали галлюцинировать и заваливать программистов отчетами об ошибках, не несущих в себе никакой полезной информации. Но выглядят они как легитимные, и потому разработчикам приходится тратить уйму времени на проверку каждого из них.

Интеллект искусственный, мусор реальный
Разработчики ПО с открытым исходным кодом тонут в мусорных отчетах об ошибках, написанных нейросетями, пишет The Register. Специалисты по отлову багов в открытом коде (багхантеры) стали очень активно пользоваться нейросетями для помощи в выполнении своей работы, а те начали генерировать бесполезные отчеты о несуществующих ошибках.

Издание пишет, что проникновение искусственного интеллекта в сферу багхантинга открыло «новую эру некачественных отчетов по безопасности для программного обеспечения с открытым исходным кодом» (new era of slop security reports for open source). Поддерживающие Open Source-проекты разработчики уже открыто заявляют, что охотникам за ошибками в программном коде стоит меньше полагаться на результаты, полученные с помощью нейросетей.

Вопрос мусорных отчетов об ошибках поднимается уже на очень высоком уровне. В число тех, кто намеренно обращает внимание на проблему входит разработчик систем безопасности в Python Software Foundation Сет Ларсон (Seth Larson).

Всю правду в лицо
В начале декабря 2024 г. Ларсон опубликовал в своем блоге призыв ко всем специалистам по поиску ошибок в коде не использовать в своей работе искусственный интеллект. «Недавно я заметил всплеск крайне низкокачественных, спамовых и LLM-галлюциногенных отчетов по безопасности для проектов с открытым исходным кодом», – написал он (Recently I've noticed an uptick in extremely low-quality, spammy, and LLM-hallucinated security reports to open source projects).

Галлюцинирующая нейросеть способна на долгие часы выбить программиста из рабочего графика и заставить искать ошибку в коде, которой на самом деле нет
Также Ларсон напомнил, что в январе 2024 г. с аналогичной проблемой столкнулись разработчики Curl – кроссплатформенной служебной программы, позволяющей взаимодействовать с множеством различных серверов по различным протоколам с синтаксисом URL.

Сет Ларсон отдельно прошелся по умению сгенерированных бесполезных багрепортов мимикрировать под корректные и подготовленные настоящими специалистами отчеты. «На первый взгляд эти отчеты кажутся потенциально легитимными, поэтому требуется время для их опровержения», – сказал он (These reports appear at first glance to be potentially legitimate and thus require time to refute).

Разработчики устроят самосуд
Проблема со сгенерированными багрепортами для Curl проявилась почти год назад, но за прошедшее время она так и не была решена. На нее тогда указал один из мейнтейнеров проекта Дэниел Стенберг (Daniel Stenberg), и он же в декабре 2024 г. заявил, что продукты галлюцинаций нейросетей, подаваемые под видом отчетов об ошибках, продолжают поступать ему. Стенберг подчеркнул, то ему приходится тратить время на общение и споры с отправителями таких отчетов.

«Мы регулярно и в больших объемах получаем подобный ИИ-мусор. Вы вносите свой вклад в ненужную нагрузку на разработчиков Curl, и я отказываюсь относиться к этому легкомысленно и полон решимости быстро с этим бороться. Сейчас и впредь», – заявил Стенберг.

«Вы предоставляете нам то, что кажется очевидным ИИ-отчетом, в котором вы говорите, что есть проблема безопасности, вероятно, потому, что ИИ обманул вас, заставив поверить в это, – продолжил Стенбенг. – После этого вы тратите наше время, не сообщая нам, что ИИ сделал отчет за вас, а затем продолжаете обсуждение с еще более бредовыми ответами – по-видимому, также сгенерированными ИИ».

Превратить весь интернет в помойку
Спамовый, низкосортный онлайн-контент существовал задолго до чат-ботов, но генеративные нейросети сделали его производство как никогда простым и быстрым. Результатом является «загрязнение» (pollution) журналистики, веб-поиска, а также социальных сетей, считают аналитики The Register.

Для проектов с открытым исходным кодом отчеты об ошибках, создаваемые с помощью ИИ, особенно пагубны, поскольку они требуют рассмотрения и оценки со стороны инженеров по безопасности (многие из которых являются волонтерами), которые и так ограничены во времени.

ТЕХНОЛОГИЯ И ИНТЕРНЕТ