Когда ученик сдаёт сочинение за десять минут вместо двух недель работы, учитель по опыту понимает: что-то не так. Но как это доказать? Как отличить сочинение, написанное школьником в спешке, от текста, созданного нейросетью? Ответ кроется в метриках анализа текста — научных показателях, которые выявляют статистические отличия человеческой речи от искусственной.
В этой статье разберёмся, как устроена современная проверка на ИИ, почему работают её пять метрик, и как каждая из них помогает поймать сгенерированный текст.
Почему человеческий текст отличается от ИИ-текста?
Нейросети вроде ChatGPT обучены на миллиардах текстов и предсказывают следующее слово на основе вероятности. Это означает, что ИИ:
- Выбирает статистически наиболее вероятное слово, а не самое творческое
- Избегает экспериментов с формой и стилем
- Стремится к гладкости и предсказуемости
- Часто использует шаблонные фразы и стандартные структуры
Человек же пишет неровно: то спешит и рубит слова, то замедляется и углубляется. В тексте появляются опечатки, странные образы, необычные сравнения. Это хаос живой речи, и его можно измерить.
Метрика 1: Структурная вариативность (CV и ритм)
Представьте текст как музыку. Если все предложения одинаковой длины (12–18 слов), это звучит как метроном. Человек пишет по-другому:
«Он шёл по лесу. Деревья стояли молчаливо, серьёзно, как старики на похоронах, которые помнят войну и никогда о ней не говорят. Шаг, шаг, шаг.»
Видите? Тут есть короткие фразы, длинное сложное предложение, снова рубка. Ритм живой.
ИИ же часто создаёт текст с коэффициентом вариации (CV) длин предложений, который близок к идеалу — слишком гладкий, слишком предсказуемый.
Как это работает: Система считает количество слов в каждом предложении, вычисляет стандартное отклонение и коэффициент вариации. Если CV слишком мал (текст монотонный) или график ритма похож на синусоиду человеческого языка, это может указывать на ИИ.
Метрика 2: Лексическое разнообразие (TTR, MATTR, уникальные слова)
TTR (Type-Token Ratio) — это соотношение уникальных слов к общему количеству слов.
Если текст из 1000 слов содержит 600 уникальных слов, TTR = 0,6. Обычно для среднего школьника это значение колеблется в диапазоне 0,45–0,65 в зависимости от возраста.
ИИ часто демонстрирует искусственно высокое разнообразие слов (TTR > 0,7) — систематически избегает повторений, что нечеловеческо. Или наоборот, попадает в неестественный диапазон.
MATTR (Mean Average Type-Token Ratio) — более точный показатель, измеряющий разнообразие на скользящих окнах текста. Это помогает отловить нейросети, которые очень хорошо подгоняют TTR под «нормальный» диапазон.
Сложные слова: Проверка подсчитывает, сколько слов в тексте содержат 3+ слога. Для ученика 9 класса ожидается определённый процент, для 11 класса — выше. Но иногда нейросети генерируют текст с избытком или дефицитом сложных слов, потому что обучены на разнородных данных.
Метрика 3: Стилистические маркеры (фразы, коннекторы, энтропия)
Нейросети обучены на тексте интернета, где много стандартных оборотов:
- «В современном мире...»
- «Необходимо отметить...»
- «На сегодняшний день...»
- «Согласно точке зрения...»
Эти фразы не «вредны» сами по себе, но если текст из 500 слов содержит пять таких клише подряд, это звоночек.
Коннекторы (логические связки) — слова вроде «однако», «более того», «в заключение» — помогают понять, искусственен ли переход от одной мысли к другой. ИИ склонен их переупотреблять.
POS-энтропия (от Part-of-Speech) — показатель, как часто в тексте меняется граммати́ческая роль слов. Нормальный текст школьника имеет энтропию в определённом диапазоне. Если энтропия слишком высокая, текст выглядит случайным; если слишком низкая — он монотонен и предсказуем, как ИИ.
Метрика 4: Предсказуемость (перплексия)
Перплексия текста — это ключевой показатель, показывающий, насколько «удивительна» последовательность слов для нейросети.
Представьте, что система загрузила обученную языковую модель. Она читает каждое слово и пытается предсказать следующее. Если предсказание почти верно (вероятность 90%), перплексия низкая. Если система часто ошибается (вероятность 20%), перплексия высокая.
Парадокс: ИИ-генерированный текст часто имеет очень низкую перплексию, потому что был создан самой моделью или похожей на неё. Система беспокойно узнаёт свой же почерк.
Человеческий текст, особенно ученика, содержит опечатки, необычные выбора слов, нечаянные грамматические странности — всё это повышает перплексию, потому что модель встречает «неожиданные» последовательности.
Как это помогает: Если перплексия текста очень низкая и сочетается с другими метриками (например, высокой однородностью структуры), это мощный сигнал на ИИ.
Метрика 5: Нейросетевая верификация (кросс-проверка)
Здесь применяется кросс-проверка: система отправляет текст на анализ в другие нейросетевые детекторы (например, через API сервисов вроде GigaCheck) и собирает их мнение.
Это работает потому, что разные ИИ-модели обучены на разных данных и используют разные методы. Если ChatGPT-текст не пройдёт проверку GigaCheck'а, это очень надёжный сигнал.
Почему это важно: Одна метрика может ошибиться. Но если пять независимых анализаторов (четыре статистических + одна нейросеть) говорят одно и то же, ошибиться сложнее.
Как метрики объединяются в финальный результат?
Система не просто складывает показатели. Вместо этого:
- Каждая метрика нормализуется к шкале 0–100, где 100 = абсолютно человеческий текст, 0 = определённо ИИ.
- Учитываются возрастные нормы. Текст ученика 6 класса и 11 класса имеют разные ожидания по лексическому разнообразию и сложности структуры.
- Вычисляется взвешенное среднее: некоторые метрики получают больший вес (например, перплексия), потому что они более надёжны.
- Результат преобразуется в уровень подозрительности:
- Низкий (0–25): Текст выглядит написанным ИИ
- Средний (25–50): Признаки ИИ есть, но не критичные
- Высокий (50–75): Текст похож на человеческий, но есть странности
- Очень высокий (75–100): Текст явно написан человеком
Попробуйте проверить текст прямо сейчас
Загрузите сочинение ученика и получите подробный анализ всех 5 метрик. Первые 3 проверки бесплатны каждый день.
Начать бесплатную проверкуПочему нельзя полагаться на одну метрику?
Представьте текст про войну 1812 года, где ученик скопировал информацию из википедии... и немного её переформулировал. На перплексию эта переформулировка повлияет мало, потому что энциклопедические факты довольно предсказуемы. Но структурная вариативность и лексическое разнообразие могут быть «человеческими».
Вот почему нужно смотреть на всю картину. Три и более метрик указывают на ИИ? Это серьёзный повод для разговора. Только одна метрика странная? Может быть ошибка, исключение или просто особенность стиля ученика.
Дополнительная проверка: плагиат
Важный момент: проверка на ИИ и проверка на плагиат — разные вещи.
Текст может:
- Быть написанным человеком и содержать плагиат (скопирован из интернета)
- Быть сгенерирован ИИ, но оригинален по содержанию (ChatGPT создал уникальный текст)
Платформа AntiGPT интегрирована с сервисом Text.ru, который проверяет текст на уникальность и находит источники в интернете. Так вы получаете полную картину: нет ли плагиата, нет ли ИИ, и как сочетаются оба риска.
Проверьте сочинение учеников комплексно
AntiGPT анализирует 5 метрик + интегрирует проверку на плагиат от Text.ru. Всё в одном месте, без переключения между сервисами.
Попробовать бесплатноЗаключение
Детектирование ИИ-текста — это не магия, а статистика. Пять метрик анализа текста (структурная вариативность, лексическое разнообразие, стилистические маркеры, перплексия и нейросетевая верификация) опираются на научные основы и дополняют друг друга.
Нейросети генерируют текст вероятностно и предсказуемо. Люди пишут хаотично, творчески, иногда неправильно. Именно этот хаос и ловит добротная система проверки.
Если вы учитель и заподозрили ИИ в сочинении ученика, не спешите с выводами. Проверьте текст, посмотрите на метрики, поговорите с ребёнком. Часто это ценный момент для обсуждения этики, честности и того, как нейросети меняют образование.