Как проверить, что текст сгенерирован нейросетью

В 2024 году в Google сказали, что будут занижать в поисковой выдаче сайты со сгенерированным контентом. Но что делать, если вы не пишете тексты сами, а заказываете у авторов и знаете: написан текст с нуля или сгенерирован с нейросетью. Разобрались, как самостоятельно и с помощью специальных сервисов проверить, что текст сгенерирован нейросетью. Спойлер — сервисы не умеют вычислять нейросетевые тексты, если они генерировались по хорошему промпту.

Почему нельзя публиковать контент, сгенерированный нейросетями

С 2024 года в Google будут бороться с массовой генерацией контента, которую используют для повышения рейтинга сайта. Создание контента нейросетями входит в число способов, которые используют для массовой генерации контента. 

Санкции за использование ИИ будут жесткими — дезиндексация или пессимизация. По данным Nishe Site Metrics, 1,7% сайтов их базы уже были деиндексированы. А согласно исследованию Originality, которые проверяли деиндексированные сайты, 100% ресурсов содержали признаки использования ИИ для генерации контента.

В случае с пессимизацией, страницы просто опустятся на N-ю страницу результатов выдачи. Но эффект тоже будет негативным — отсутствие посетителей, конверсий, дохода с рекламы и т.д.

Возможно, блокировать сайт с ИИ-контентом начнут и в Яндексе. Потому что главная проблема большинства сгенерированных материалов — они не несут пользы. Их создают только для того, чтобы захватить как можно больше популярных поисковых запросов, искусственно увеличить количество контента на сайте и за счёт этого выйти в топ поисковой выдачи.

Как самостоятельно проверить, что текст не сгенерирован нейросетью

Нейросети обучились на множестве текстов, поэтому отличить их тексты от человеческих становится труднее. 

Но некоторые пользователи пользуются только бесплатными нейросетями, качество ответов у которых низкое. Кроме того, не все пользователи прописывают подробные и рабочие промпты. Поэтому посредственных генераций много. И их можно вычислить.

В плохих генерациях много воды и общих фраз. Если генерировать тексты по простым промптам вроде «напиши текст о том, как нейросети помогают копирайтерам», то нейросеть напишет поверхностный, короткий и неинтересный текст.

В нём не будет конкретики, деталей и примеров. Зато будет много вводных слов, причастий, деепричастий и отглагольных существительных. Часто вместо аббревиатур будут использоваться полные наименования. 

Причина в том, что нейросеть не может додумать задание за пользователя. Она может выполнять только конкретный запрос. Чем хуже промпт — тем хуже ответ. 

Если пользователь работает в бесплатной нейросети вроде ChatGPT-3.5, то без долгой редактуры хороший текст он вряд ли получит. Все потому, что такие нейросети хуже понимают запросы и обрабатывают их.

В этом тексте много проблем: все новые строки начинаются с отглагольных существительных и заканчиваются двоеточием. Это главный признак того, что текст сгенерирован нейросетью. Обычно копирайтеры начинают предложениях в списках начинают с глаголов, существительных или прилагательных и ставят после них точку. 

Вторая проблема — в тексте много деепричастий. Обычные авторы их тоже используют, но не так часто, как нейросети.

И последнее — в предложениях нет согласования. Нейросеть написала: «текст для различных платформ — социальные сети…». Хотя правильно писать «текст для различных платформ — социальных сетей…». Других ошибок на скриншоте нет. Но и текст небольшой, нейросеть не успела ошибиться еще раз.

Чтобы ответы нейросети были качественными, а тексты были разнообразными и интересными, нужно придумывать подробные промпты. Например, вот, какой промпт при работе с текстами использую я:

В итоге у меня получаются разнообразные тексты, которые остается чуть-чуть отредактировать. И по ним не скажешь, что их генерировала нейросеть.

В тексте часто повторяются одни и те же слова и фразы. Это еще одна проблема нейросетей. Причина тоже в промпте. Если в нем нет подробностей или автор не просит нейросеть быть креативной — она будет писать максимально простые тексты.

В этом тексте часто повторяется только слово контент. И это нормально, в текстах копирайтеров такое тоже бывает. Зато сам текст выглядит однотипно, в нем используются похожие по конструкции предложения. Во всех блоках придаточные и подчиненные части идут друг за другом. В общем, отдельные подзаголовки сильно похожи между собой и не несут почти никакой ценности.

Еще одно доказательство, что нейросети часто повторяются, заметил пользователь в X (Twitter). Он рассказал, что с момента популяризации ChatGPT в медицинских статьях стали чаще встречаться слова «вникать», «покопаться» и другие похожие. Все потому, что люди задают нейросети некачественные запросы и не вычитывают результат. В итоге их тексты получаются однотипными, с частыми повторами одного и того же слова.

Поэтому вычитывайте статьи и проверяйте, как часто там повторяются отдельные слова.

В каких сервисах проверять текст на нейросеть

Если вручную вычитывать текст не хочется, можно проверить его в специальных сервисах. Они проанализируют материал и покажут вероятность того, что его сгенерировала нейросеть.

Crossplag

Ссылка: https://app.crossplag.com/individual/detector 

Помогает в проверках: может вычислить только плохо написанные тексты.

Стоимость. Условно-бесплатный сервис, в котором после регистрации дают 10 кредитов на проверку текстов. Но пока что сервисом можно пользоваться бесплатно — после проверок кредиты не снимаются, возможно, в будущем это починят.

Работает сервис просто: вставляете текст и кликаете «Check». Справа появляется результат: сгенерированный текст или нет.

Я загрузил в бота 2 текста: 1 сгенерировал сложным промптом, 2 — простым запросом «напиши статью…». Первый текст бот одобрил и сказал, что нейронка в их создании не участвовала.

А второй текст сервис посчитал 100% сгенерированным. Не ошибся.

GPTZero

Ссылка: https://gptzero.me/ 

Помогает в проверках: не видит сгенерированных текстов. Но все, что оценивает на 50% человечески и ниже — можно считать сгенерированным.

Стоимость. Бесплатно можно проверить статьи размером до 5000 символов. Если нужно проверять большие тексты, придётся оформлять подписку за $15 в месяц.

Сервис хуже справляется с анализом текстов, чем Crossplag. Чтобы проверить текст, нужно вставить его в поле для ввода и нажать «Scan». Справа появится результат. Также справа есть 3 переключателя: «Result», «Deep Scan», «Sources». На вкладке «Deep Scan» вы можете посмотреть, какие именно фрагменты текста сгенерированы нейросетью, а какие слова встречаются чаще остальных. На вкладке «Sources» вы увидите, с какими референсами совпадает ваш текст.

Вот результат проверки текста, который я сгенерировал по сложному промпту:

Текст по простому промпту сервис посчитал на 59% человеческим.

Есть и другие сервисы для проверки текстов, но они с задачами не справляются и даже самые плохие тексты не считают сгенерированными. Поэтому их в подборку не брали.

Еще один вариант проверить текст — показать его нейросети и спросить ее мнение. Использовать можно простой запрос: «проанализируй этот текст и скажи: он сгенерирован нейросетью или нет».

Но и он работает не всегда. Например, один и тот же сгенерированный текст ChatGPT посчитал человеческим, а Claude (другая нейросеть) — сгенерированным. 

Что в итоге

Если человек хотя бы чуть-чуть редактирует сгенерированный текст или использует правильные промпты, никто не поймет, что текст сделала нейросеть. 

Пока что сгенерированный контент проще всего проверять вручную. В нейросетевых текстах обычно:

• много много воды и общих фраз — нейросети любят использовать много причастий, деепричастий и отглагольных существительных;
• много повторов одних и тех же слов, словосочетаний или принципов построения предложений.

Если не хотите вычитывать текст вручную, его можно проверить в сервисах Crossplag и GPTZero. Но не факт, что они правильно определят сгенерированный контент.