Предсказание, когда онлайн-разговоры становятся токсичными

13.07.2018

Интернет предлагает потенциал для конструктивного диалога и сотрудничества, но онлайн-разговоры слишком часто дегенерируют в личные атаки. В надежде, что эти атаки могут быть предотвращены, исследователи Корнелла создали модель для прогнозирования того, какие гражданские разговоры могут пойти на токсичный оборот.

Ранние обмены репликами, которые включали приветствия, выражения благодарности, хеджирования, такие как «кажется», и слова «я» и «мы», скорее всего, оставались благоприятными, говорится в исследовании.

Проанализировав сотни обменов, исследователи разработали компьютерную программу, которая сканирует красные флаги - например, повторный, прямой вопрос и использование слова «ты» в первых двух сообщениях - чтобы предсказать, какие изначально гражданские разговоры пойдут наперекосяк.

«Есть миллионы этих обсуждений, и вы не можете контролировать их всех вживую. Эта система может помочь модераторам лучше направлять их внимание», - сказал Кристиан Данеску-Никулеску-Мизил, доцент кафедры информатики.

«У нас, как у всех людей, есть интуиция, как определить, что-то плохое, но это всего лишь подозрение. Мы не можем сделать это в 100% случаев. Поэтому мы задаемся вопросом, можем ли мы создавать системы для повторения этой интуиции, потому что люди дороги и заняты, и мы думаем, что это тип проблемы, когда компьютеры могут превзойти людей».

Компьютерная модель - средство машинного обучения для оценки «токсичности», была правильной примерно в 65% случаев. Люди правильно угадали 72%.

В исследовании было проанализировано 1270 разговоров, которые начались нормально, но выродились в личные нападения, изъятые из 50 миллионов разговоров на 16 миллиона страницах «Talk» в Википедии, где редакторы обсуждают статьи или другие вопросы.