Состязательная стилометрия — это практика изменения стиля письма для снижения вероятности раскрытия стилометрией личности автора или его характеристик. Эта задача также известна как запутывание авторства или анонимизация авторства . Стилометрия представляет собой значительную проблему конфиденциальности в своей способности разоблачать анонимных авторов или связывать псевдонимы с другими личностями автора, что, например, создает трудности для информаторов , активистов, мистификаторов и мошенников . Ожидается, что риск конфиденциальности будет расти по мере развития методов машинного обучения и текстовых корпусов .
Вся состязательная стилометрия разделяет основную идею верного перефразирования исходного текста, так что смысл остается неизменным, но стилистические сигналы затемняются. Такой верный перефраз является состязательным примером для стилометрического классификатора. Существует несколько широких подходов к этому, с некоторым совпадением: имитация , замена собственного стиля автора на чужой; перевод , применение машинного перевода в надежде, что это устранит характерный стиль в исходном тексте; и обфускация , намеренное изменение стиля текста, чтобы он не походил на собственный стиль автора.
Ручное сокрытие стиля возможно, но трудоемко; в некоторых обстоятельствах это предпочтительно или необходимо. Автоматизированные инструменты, как полуавтоматические, так и полностью автоматические, могут помочь автору. Как лучше всего выполнить задачу и разработать такие инструменты, является открытым исследовательским вопросом. Хотя было показано, что некоторые подходы способны победить определенные стилометрические анализы, особенно те, которые не учитывают потенциальную состязательность, обеспечение безопасности перед лицом неизвестных анализов является проблемой. Обеспечение верности парафраза является критической проблемой для автоматизированных инструментов.
Неясно, можно ли обнаружить практику состязательной стилометрии как таковую. Некоторые исследования показали, что определенные методы производили сигналы в выходном тексте, но стилометрист, который не уверен в том, какие методы могли быть использованы, не сможет надежно обнаружить их.
Рао и Рохатги (2000), ранняя работа по состязательной стилометрии, [1] определили машинный перевод как возможность, но отметили, что качество переводчиков, доступных в то время, представляло серьезные проблемы. [2] Качмарчик и Гамон (2006) — еще одна ранняя работа. Бреннан, Афроз и Гринштадт (2012) провели первую оценку методов состязательной стилометрии на реальных текстах. [1]
Бреннан и Гринштадт (2009) представили первый корпус текстов, написанных состязательными авторами, специально для оценки стилометрических методов; [3] другие корпуса включают Международный конкурс имитаций Хемингуэя , конкурс поддельных Фолкнеров и блог-мистификация A Gay Girl in Damascus . [4]
Рао и Рохатги (2000) предполагают, что короткие, неатрибутивные документы (т. е. анонимные посты ) не подвержены риску стилометрической идентификации, но псевдонимные авторы, которые не практиковали состязательную стилометрию при создании корпусов из тысяч слов, могут быть уязвимы. [5] Нараянан и др. (2012) предприняли попытку крупномасштабной деанонимизации 100 000 авторов блогов со смешанными результатами: идентификации были значительно лучше случайных, но точно сопоставляли блог и автора только в пятой части случаев; [6] идентификация улучшалась с количеством постов, написанных автором в корпусе. [7] Даже если автор не идентифицирован, некоторые из его характеристик все равно могут быть выведены стилометрически, [8] или стилометрия может сузить набор анонимности потенциальных авторов в достаточной степени для другой информации, чтобы завершить идентификацию. [7] Определение характеристик автора (например, пола или возраста) часто проще, чем идентификация автора из большого, возможно, открытого набора кандидатов. [9]
Современные методы машинного обучения предлагают мощные инструменты для идентификации; [10] дальнейшее развитие корпусов и вычислительных стилометрических методов, вероятно, вызовет дальнейшие проблемы конфиденциальности. [11] Грёндаль и Асокан (2020a) говорят, что общая обоснованность гипотезы, лежащей в основе стилометрии, — что авторы имеют инвариантные, независимые от контента «отпечатки пальцев стиля» — неопределенна, но «атака деанонимизации представляет собой реальную проблему конфиденциальности». [12]
К тем, кто заинтересован в практике состязательной стилометрии и стилистического обмана, относятся информаторы , избегающие возмездия; [13] журналисты и активисты; [10] виновники мошенничества и мистификаций ; [14] авторы фальшивых обзоров ; [15] литературные фальсификаторы ; [16] преступники, скрывающие свою личность от следователей; [17] и, в целом, любой желающий сохранить анонимность или псевдонимность. [13] Авторы или агенты, действующие от имени авторов, также могут попытаться удалить стилистические подсказки к характеристикам автора (например, раса или пол), чтобы знание этих характеристик не могло быть использовано для дискриминации (например, посредством алгоритмической предвзятости ). [18] [19] Другое возможное применение состязательной стилометрии — маскировка автоматически сгенерированного текста под написанный человеком. [20]
При имитации автор пытается ввести в заблуждение стилометрию, сопоставляя свой стиль со стилем другого автора. [21] Неполная имитация, когда некоторые уникальные характеристики настоящего автора появляются рядом с характеристиками имитируемого автора, может быть обнаружимым сигналом для использования состязательной стилометрии. [22] Имитация может выполняться автоматически с помощью систем переноса стиля , хотя для этого обычно требуется большой корпус в целевом стиле, на котором система могла бы учиться. [23]
Другой подход — перевод, который использует машинный перевод исходного текста для устранения характерного стиля, часто с помощью нескольких последовательных переводчиков для создания кругового перевода . Такой цепной перевод может привести к значительному изменению текстов, даже до степени непонятности; улучшенные инструменты перевода снижают этот риск. Более просто структурированные тексты легче перевести с помощью машины, не теряя исходного смысла. [21] Машинный перевод размывается до прямой стилистической имитации или запутывания, достигаемого посредством автоматизированной передачи стиля, что можно рассматривать как «перевод» с тем же языком, что и входные, и выходные данные. [24] [25] При использовании некачественных инструментов перевода автору может потребоваться вручную исправлять серьезные ошибки перевода, избегая при этом опасности повторного введения стилистических характеристик. [2] Ван, Юола и Ридделл (2022) обнаружили, что грубые ошибки, вносимые Google Translate, редки, но более распространены при нескольких промежуточных переводах, однако случайные простые или короткие предложения и орфографические ошибки в исходном тексте появляются дословно в выводе, что потенциально может служить идентификационным сигналом. [26] Цепной перевод может оставлять характерные следы своего применения в документе, что может позволить реконструировать используемые промежуточные языки и количество выполненных этапов перевода. [23]
Запутывание подразумевает преднамеренное изменение стиля текста для уменьшения его сходства с другими текстами по какой-либо метрике; это может быть выполнено во время написания путем сознательной модификации или как часть процесса пересмотра с обратной связью от метрики, которая будет использоваться в качестве входных данных для принятия решения о том, что текст был достаточно запутан. В отличие от перевода, сложные тексты могут предложить больше возможностей для эффективного запутывания без изменения смысла, [27] и аналогично жанры с более допустимыми вариациями допускают большее запутывание. [28] Однако более длинные тексты сложнее полностью запутать. [29] Запутывание может смешаться с имитацией, если автор разрабатывает новый целевой стиль, отличный от его оригинального стиля. [30] Что касается маскировки характеристик автора, запутывание может быть направлено на достижение объединения (добавление сигналов для имитируемых характеристик) или пересечения (удаление сигналов и нормализация) стилей других авторов. [31] Избегание собственных особенностей автора и создание «нормализованного» текста является критически важным шагом запутывания: у автора может быть уникальная склонность неправильно писать определенные слова, использовать определенные варианты или форматировать документ характерным образом. [2] [32] Стилометрические сигналы различаются по тому, насколько просто их можно замаскировать; автор может легко изменить свой словарный запас осознанным выбором, но изменение шаблона грамматики или частоты букв в тексте может оказаться более сложной задачей, хотя Юола и Вескови (2011) сообщают, что имитация обычно успешно скрывает больше характеристик, чем запутывание. [33] Автоматизированное запутывание может потребовать больших объемов обучающих данных, написанных автором. [29]
Что касается автоматизированных реализаций состязательной стилометрии, то две возможные реализации — это основанные на правилах системы для перефразирования; и архитектуры кодировщика-декодера, где текст проходит через промежуточный формат, который (предполагается) является нейтральным по стилю. [34] Другое разделение автоматизированных методов — это наличие обратной связи от системы идентификации или ее отсутствие. [35] При наличии такой обратной связи поиск парафраз для маскировки автора был охарактеризован как эвристическая поисковая задача , исследующая текстовые варианты до тех пор, пока результат не станет стилистически достаточно далеким (в случае обфускации) или близким (в случае имитации), что затем составит состязательный пример для этой системы идентификации. [36] [37]
Как лучше всего маскировать стилометрические характеристики на практике и какие задачи выполнять вручную, какие с помощью инструментов, а какие полностью автоматически, является открытой областью исследований, особенно в коротких документах с ограниченной потенциальной изменчивостью. [38] [11] Ручная состязательная стилометрия может быть предпочтительной или даже обязательной, если автор не доверяет имеющимся компьютерам выполнение этой задачи (как это может быть в случае с осведомителем, например). [23] Программные инструменты требуют обслуживания ; Ван, Юола и Ридделл (2022) сообщают, что не существует поддерживаемого обфускационного программного обеспечения, подходящего для общего использования. [39] Чжай и др. (2022) определяют DS-PAN (Кастро-Кастро, Ортега Буэно и Муньос 2017) и Mutant-X (Махмуд и др. 2019) как современное состояние автоматизированной обфускации 2022 года. [40] Ручная стилистическая модуляция требует значительных усилий, с плохими свойствами масштабируемости ; помощь с инструментами может уменьшить нагрузку в различной степени. [41] Детерминированные автоматизированные методы могут потерять эффективность против классификатора, обученного состязательно, когда выходные данные программы переноса стиля используются в обучающем наборе классификатора. [42]
Potthast, Hagen & Stein (2016) приводят три критерия для использования при оценке методов состязательной стилометрии: безопасность , означающая, что стилистические характеристики надежно устранены; обоснованность , означающая, что семантическое содержание текста не изменено неприемлемым образом; и разумность , означающая, что вывод «правильно сформирован и незаметен». Слишком глубокий компромисс обычно является неприемлемым результатом, и эти три показателя противоречат друг другу на практике. [43] Potthast, Hagen & Stein (2016) обнаружили, что автоматическая оценка разумности, и в частности, является ли вывод приемлемо грамматически правильным и правильно сформированным, является сложной; [44] автоматизированная оценка обоснованности несколько более перспективна, но ручная проверка является лучшим методом. [45]
Несмотря на то, что безопасность является важным свойством метода состязательной стилометрии, ею все равно можно с пользой пожертвовать, если признанный потенциал стилометрической идентификации возможен иным образом с помощью нестилометрического анализа — например, автор, обсуждающий свое собственное воспитание в Великобритании, вряд ли будет беспокоиться о том, может ли стилометрия показать, что его текст типичен для британского английского языка . [46] [47]
Оценка безопасности различных подходов осложняется тем, как устойчивость к идентификации принципиально зависит от рассматриваемых методов идентификации. [48] Свойство устойчивости к неизвестным анализам называется переносимостью . [49] Грендаль и Асокан (2020b) выделяют четыре различные модели угроз для авторов, различающиеся в зависимости от их знаний о том, как будет анализироваться их текст и какие обучающие данные будут использоваться: доступ по запросу , с самым слабым аналитиком и самым сильным автором, который знает как методы анализа, так и обучающие данные; доступ к архитектуре , где автор знает методы анализа, но не обучающие данные; доступ к данным , где автор знает обучающие данные, но не методы анализа; и суррогатный доступ , с самым слабым автором и самым сильным аналитиком, где автор не знает ни методов анализа, ни обучающих данных. [34] Кроме того, когда автор выбирает метод, он должен полагаться на свою модель угроз и верить, что она действительна, и что неизвестные анализы, способные обнаружить оставшиеся стилистические сигналы, не могут или не будут выполнены, или что маскировка успешно переносится; [50] однако стилометрист, знающий, как автор пытался замаскировать свой стиль, может использовать некоторые слабости метода и сделать его небезопасным. [51] Большая часть исследований автоматизированных методов предполагала, что у автора есть доступ к запросам, который может не распространяться на другие настройки. [52] Методы маскировки, которые внутренне используют ансамбль различных анализов в качестве модели для своего противника, могут лучше переноситься против невидимых анализов. [35]
Полная потеря обоснованности сводит на нет цель коммуникации, хотя некоторая степень изменения смысла может быть терпимой, если сохраняется основное сообщение; требование только текстового вывода или разрешение автоматического резюмирования являются другими вариантами потери некоторого смысла возможно терпимым образом. [53] Переписывание входного текста для преодоления стилометрии, в отличие от сознательного удаления стилистических характеристик во время сочинения, создает проблемы для сохранения текстового смысла. [54] Грёндаль и Асокан (2020a) оценивают проблему необоснованности как «самую важную проблему» для исследований полностью автоматических подходов. [11]
Для чувствительности, если текст настолько неграмматичен, что непонятен или настолько плохо сформирован, что не может вписаться в свой жанр, то метод потерпел неудачу, но компромиссы, не достигшие этой точки, могут быть полезны. [44] Если незаметность частично утрачена, то есть вероятность, что будут выполнены более дорогие и менее масштабируемые анализы (например, консультация судебного лингвиста) для подтверждения подозрений или сбора дополнительных доказательств. [55] Влияние полной неудачи незаметности варьируется в зависимости от мотивации проведения состязательной стилометрии: для того, кто просто пытается сохранить анонимность (например, осведомителя), обнаружение может не быть проблемой; для литературного фальсификатора, однако, обнаружение будет катастрофическим. [16] Состязательная стилометрия может оставить доказательства своей практики, что является неудачей незаметности. [56] [57] В корпусе Бреннана-Гринштадта было обнаружено, что тексты имеют общий собственный «стиль». [58] Однако Грёндаль и Асокан (2020a) оценивают существующие доказательства как недостаточные для доказательства того, что состязательная стилометрия всегда поддается обнаружению, поскольку были изучены лишь ограниченные методы. [59] Улучшение гладкости выходного текста может снизить обнаруживаемость автоматизированных инструментов. [60] Общая обнаруживаемость состязательного авторства не была тщательно изучена; если методы, доступные для использования автором, неизвестны стилометристу, это может быть невозможно. [11]
Проблемы идентификации и проверки авторов в состязательной обстановке существенно отличаются от распознавания наивных или сотрудничающих авторов. [61] Преднамеренные попытки скрыть авторство описываются Юолой и Вескови (2011) как «проблема для современного состояния стилометрического искусства», [62] а Бреннан, Афроз и Гринштадт (2012) утверждают, что, несмотря на высокую эффективность стилометрии в идентификации несостязательных авторов, ручное применение состязательных методов делает ее ненадежной. [63]
Kacmarcik & Gamon (2006) отмечают, что низкоразмерные стилометрические модели, которые работают с небольшим количеством признаков, менее устойчивы к состязательной стилометрии. [64] Исследования показали, что авторы различаются по тому, насколько хорошо они могут модулировать свой стиль, при этом некоторые способны успешно выполнять задачу даже без обучения. [39] Wang, Juola & Riddell (2022), повторение и воспроизведение Brennan, Afroz & Greenstadt (2012), обнаружили, что все три метода — имитация, перевод и обфускация — значительно снизили эффективность атрибуции авторства, причем ручная обфускация была несколько более эффективной, чем ручная имитация или перевод, которые работали аналогично друг другу; оригинальное исследование показало, что имитация была лучше. [65] Potthast, Hagen & Stein (2016) сообщили, что даже простые автоматизированные методы состязательной стилометрии вызвали серьезные трудности для современных систем идентификации авторства, хотя и со значительными издержками в плане надежности и чувствительности. [66] Системы идентификации, осознающие состязательность, могут работать намного лучше против состязательной стилометрии при условии, что они знают, какие потенциальные методы обфускации использовались, даже если идентификатор допускает ошибки при анализе того, какой метод анонимизации использовался. [67]
{{cite journal}}: Цитировать журнал требует |journal=( помощь ){{cite journal}}: Цитировать журнал требует |journal=( помощь ){{cite journal}}: Цитировать журнал требует |journal=( помощь ){{cite journal}}: Цитировать журнал требует |journal=( помощь )