Машинное обучение для определения лжи: исследование американских экспертов

Группа экспертов вашингтонского аналитического центра RAND обнаружила, что модели машинного обучения могут выявлять признаки обмана во время собеседований по проверке биографических данных сотрудников национальной службы безопасности. Наиболее точным подходом к обнаружению лжи является модель машинного обучения, которая подсчитывает, сколько раз интервьюируемые используют общие слова.

Как проводился эксперимент. 103 участника исследования прочитали историю о том, как Эдвард Сноуден слил секретную информацию из Агентства национальной безопасности в 2013 году. Участникам случайным образом поручили прочитать одну и ту же историю, но эта история была представлена ​​либо как новостной репортаж, либо как записка с пометками, указывающими на то, что она содержит конфиденциальную информацию. Участники были распределены в одну из двух групп для интервью: одной группе сказали солгать о том, что они прочитали, а другой сказали сказать правду. Бывшие сотрудники правоохранительных органов опрашивали участников с помощью видеотелеконференции и текстового чата в случайном порядке. Исследователи RAND использовали стенограммы интервью и чата, чтобы обучить несколько моделей машинного обучения для определения того, могут ли эти модели отличить лжецов от тех, кто говорит правду.

Были протестированы четыре модели. Это — модели векторов слов, лингвистической позиции, метаданных и векторы слов чата и видеотелеконференции. Первая подсчитывала, сколько раз респонденты использовали общие слова. Ее точность составила 76%. Модель лингвистической позиции проверяла использование векторов позиции, сортируя слов по категориям. Ее точность — 64%. В модели метаданных с точностью 63% изучались такие характеристики речи как темп, средняя уникальная длина слова и доля слов, содержащих более шести букв. Модель векторов слов чата и видеотелеконференции с точностью 72% рассматривала векторы слов в стенограммах интервью, проведенных с помощью текстового чата и VTC. 

Главный вывод: дело не только в том, что человек говорит, но и в том, как он это говорит. По словам авторов исследования, важны также частота слов, ритм речи, выбор слов и другие лингвистические факторы, которые могут стать сигналами потенциальной лжи. Еще один вывод исследователей: модели машинного обучения могут обнаруживать признаки обмана в том, как люди выражают себя, даже в текстовых чатах без присутствия интервьюера.

Между мужчинами и женщинами есть различия. «Модели обнаружили, что мужчины и женщины использовали разные слова для обмана (другие исследователи сделали аналогичные выводы). Мужчины реже использовали слово „я“, когда лгали, и чаще использовали его, когда говорили правду. Еще один примечательный речевой паттерн — хотя он не имел никакого отношения к лжи или правде — заключался в том, что женщины чаще, чем мужчины, использовали слово „мужчина“ (например, для описания Эдварда Сноудена). Это важное различие, потому что оно предполагает, что пол испытуемого был более заметен для женщин, чем для мужчин. Это также поднимает вопрос о том, мог ли пол испытуемого или интервьюера повлиять на ответы», — сообщают авторы исследования. 

Модели машинного обучения демонстрируют гендерную предвзятость. «Все модели, кроме одной, обнаруживали обман более точно среди мужчин, чем среди женщин, что говорит о наличии гендерной предвзятости в результатах модели. Если существует гендерная предвзятость, могут быть и другие предубеждения, такие как раса и этническая принадлежность», — говорится в исследовании.