Дети, страдающие аутизмом, часто испытывают трудности с распознаванием эмоциональных состояний окружающих людей - например, отличая счастливое лицо от страшного лица. Чтобы исправить это, некоторые терапевты используют робота, удобного для детей, чтобы продемонстрировать эти эмоции и вовлечь детей в имитацию эмоций и соответствующее реагирование на них.
Однако этот тип терапии лучше всего работает, если робот может плавно интерпретировать собственное поведение ребенка - независимо от того, интересуется ли он, возбуждено или обращается внимание - во время терапии. Исследователи из MIT Media Lab теперь разработали тип персонализированного машинного обучения, который помогает роботам оценить участие и интерес каждого ребенка во время этих взаимодействий, используя данные, которые являются уникальными для этого ребенка.
Вооруженные этой персонализированной сетью «глубокого обучения», восприятие роботами ответов детей согласовывалось с оценками экспертов-мужчин, причем показатель корреляции составлял 60 процентов, сообщают ученые 27 июня в Science Robotics .
Человеческим наблюдателям может быть сложно достичь высокого уровня согласия в отношении участия и поведения ребенка. Их корреляционные баллы обычно составляют от 50 до 55 процентов. Рудович и его коллеги полагают, что роботы, которые обучены наблюдениям человека, как и в этом исследовании, могут когда-нибудь предоставить более последовательные оценки этих поведений.
«Долгосрочная цель заключается не в создании роботов, которые заменят человеческих терапевтов, а в том, чтобы увеличить их с помощью ключевой информации, которую терапевты могут использовать для персонализации содержимого терапии, а также для создания более привлекательных и натуралистических взаимодействий между роботами и детьми с аутизмом, »объясняет Oggi Rudovic, postdoc в Media Lab и первый автор исследования.
Розалинд Пикард, соавтор статьи и профессор Массачусетского технологического института, которая ведет исследования в области аффективных вычислений, говорит, что персонализация особенно важна для терапии аутизма: знаменитая пословица: «Если вы встретили одного человека с аутизмом, вы встретились один человек с аутизмом ».
«Задача создания машинного обучения и искусственного интеллекта, который работает в аутизме, особенно раздражает, потому что обычные методы ИИ требуют большого количества данных, которые схожи для каждой изученной категории. В аутизме, где царит гетерогенность, нормальный ИИ подходы терпят неудачу », - говорит Пикард. Рудович, Пикард и их товарищи по команде также использовали индивидуальное глубокое обучение в других областях, обнаружив, что он улучшает результаты мониторинга боли и прогнозирования прогрессирования болезни Альцгеймера.
Встреча с НАО
Роботизированная терапия для аутизма часто работает примерно так: человеческий терапевт показывает детские фотографии или флеш-карты разных лиц, предназначенные для представления разных эмоций, чтобы научить их распознавать выражения страха, грусти или радости. Затем терапевт программирует робота, чтобы показать эти же эмоции ребенку, и наблюдает за ребенком, когда он или она взаимодействует с роботом. Поведение ребенка дает ценные отзывы о том, что робот и терапевт должны идти вперед с уроком.
Исследователи использовали роботов-гуманоидов SoftBank Robotics NAO в этом исследовании. Почти 2 фута в высоту и напоминающий бронированный супергерой или дроид, NAO передает разные эмоции, меняя цвет глаз, движение его конечностей и тон его голоса.
35 детей с аутизмом, которые участвовали в этом исследовании, 17 из Японии и 18 из Сербии, варьировались в возрасте от 3 до 13 лет. Они реагировали по-разному на роботов во время их 35-минутных сеансов, от скуки и сонливости в некоторых случаях прыгать по комнате с волнением, хлопать в ладоши, смеяться или прикасаться к роботу.
Большинство детей, участвовавших в исследовании, реагировали на робота «не только как игрушку, но и относились к НАО с уважением, как если бы это был настоящий человек», особенно во время повествования, где терапевты спрашивали, как НАО будет чувствовать себя, если дети возьмут робота за по словам Рудовича, лечит мороженое.
Одна 4-летняя девушка спряталась за матерью, участвуя в сеансе, но стала гораздо более открытой для робота и закончила смеяться до конца терапии. Сестра одного из сербских детей обняла НАО и сказала: «Робот, я люблю тебя!» в конце сессии, заявив, что она рада видеть, насколько ее брат любил играть с роботом.
«Терапевты говорят, что вовлечение ребенка в течение нескольких секунд может быть большой проблемой для них, и роботы привлекают внимание ребенка», - говорит Рудович, объясняя, почему роботы были полезны в этом типе терапии. «Кроме того, люди меняют свои выражения по-разному, но роботы всегда делают это одинаково, и это менее расстраивает для ребенка, потому что ребенок очень хорошо структурирует, как будут показаны выражения».
Персонализированное машинное обучение
Исследовательская группа Массачусетского технологического института поняла, что для обучения терапевтических роботов может быть полезным обучение в области машинного обучения, называемое глубоким обучением, более естественно воспринимать поведение детей. Система глубокого обучения использует иерархические, несколько уровней обработки данных для улучшения своих задач, причем каждый последующий слой представляет собой несколько более абстрактное представление исходных исходных данных.
Хотя концепция глубокого обучения существует с 1980-х годов, говорит Рудович, только недавно было достаточно вычислительной мощности для реализации такого рода искусственного интеллекта. Глубокое обучение используется в программах автоматического распознавания речи и распознавания объектов, что делает его хорошо подходящим для решения проблемы, например, понимание множества особенностей лица, тела и голоса, которые вступают в понимание более абстрактного понятия, такого как помолвка.
«В случае мимики, например, какие части лица являются наиболее важными для оценки участия?» Говорит Рудович. «Глубокое обучение позволяет роботу напрямую извлекать самую важную информацию из этих данных, не требуя, чтобы люди вручную применяли эти функции». Для терапевтических роботов Рудович и его коллеги задумались о глубоком обучении на один шаг дальше и создали персонализированную структуру, которая могла бы учиться на данных, собранных на каждого отдельного ребенка. Исследователи записали видеоролики выражения лица каждого человека, движения головы и тела, позы и жесты, аудиозапись и данные о частоте сердечных сокращений, температуре тела и потливости кожи от монитора на запястье ребенка.
Индивидуальные сети глубокого обучения роботов были построены из слоев этих видео-, аудио- и физиологических данных, информации о диагностике и способностях аутизма ребенка, их культуре и их полу. Затем исследователи сравнили свои оценки поведения детей с оценками пяти экспертов-людей, которые постоянно кодировали видеозаписи и аудиозаписи детей, чтобы определить, насколько они были удовлетворены или расстроены, насколько они заинтересованы и как ребенок проявлял себя во время сеанса.
Изучая эти персонализированные данные, закодированные людьми, и проверенные на данных, не используемых при обучении или настройке моделей, сети значительно улучшили автоматическую оценку роботом поведения ребенка для большинства детей в исследовании, помимо того, что было бы оценено, если исследователи обнаружили, что сеть объединила все данные детей в подход «один-на-все-подходит-все».
Рудович и его коллеги также смогли исследовать, как система глубокого обучения сделала свои оценки, что выявило некоторые интересные культурные различия между детьми. «Например, дети из Японии проявили больше движений тела во время эпизодов высокого участия, в то время как у сербов большие движения тела были связаны с эпизодами разъединения», - говорит Рудович.
Исследование финансировалось грантами от Министерства образования, культуры, спорта, науки и технологий Японии; Университет Чубу; и грант Европейского Союза «Горизонт 2020» (EngageME).
