Stack more LLMs: эффективное обнаружение машинно-сгенерированных текстов с помощью аппроксимации значений перплексии

Развитие больших языковых моделей (LLM) в настоящее время вызывает большой интерес в научном сообществе, в то же время прогресс методов генерации текстов стимулирует рост и постоянное обновление подходов обнаружения машинно-сгенерированных фрагментов. В более ранних исследованиях было отмечено, что значения перплексии и логарифмической функции вероятности способны отразить меру разницы между искусственными и написанными человеком текстами. На основе этого наблюдения в данной работе вводится новый критерий, который позволяет делать вывод о принадлежности текстового фрагмента конкретной LLM. В текущем исследовании предлагается новый эффективный метод, который позволяет обнаруживать искусственно-сгенерированные фрагменты с помощью аппроксимации значения перплексии у LLM. Приближение основано на предварительно собранных статистических языковых моделях. Аппроксимация позволяет достичь высоких показателей производительности системы и качества, в том числе и для фрагментов, сгенерированных большими языковыми моделями, веса которых не были опубликованы. Большое количество предварительно собранных словарей статистик повышает способность к обобщению и позволяет охватывать текстовые последовательности, которые не встречались ранее. Описанный в работе подход легко обновлять, необходим лишь новый словарь статистик, основанный на текстах, сгенерированных желаемой языковой моделью. Представленный метод в среднем достигает 94% полноты обнаружения сгенерированных фрагментов среди текстов из различных LLM, а одна проверка совершается за миллисекунды, что превосходит современные подходы в тысячи раз.