Риски использования систем искусственного интеллекта

Риски использования систем искусственного интеллекта

Для оценки безопасности информационной системы (ИС) специалистами используется риск-ориентированный подход. Согласно этому подходу интеллектуальные системы могут иметь риски в сфере обработки персональных данных по следующим пунктам:

1. Избыточная обработка персональных данных, инициированная для достижения легальной цели. Пристальное внимание со стороны надзора вызывает применение искусственного интеллекта для определения кредитоспособности клиента финансовой организации.

2. Ошибочная идентификация пользователя при удалённой обработке биометрических персональных данных. В этой сфере оцениваются уязвимости интеллектуальных систем при воздействии на них с помощью искусственной имитации внешности пользователя - дипфейк (deepfake).

3. Профилирование и агрегация персональных данных. Социальные сети, развлекательные сервисы, представляющие собой цифровую экосистему, могут накапливать большие объёмы персональных сведений о жизнедеятельности каждого пользователя, об их личных предпочтениях, взглядах, здоровье, отношениях в семье и другую информацию. В случаях, когда система научилась распознавать пользователя по его поведенческим факторам, может происходить идентификация даже тех случаях, когда пользователь выступает на партнёрских сервисах под псевдонимом или анонимно. Такое профилирование данных может нарушать права и свободы человека.

Сама по себе агрегация данных о пользователе для улучшения взаимодействия с партнёрскими сервисами не является опасной, но при достаточном накоплении личных сведений из разных источников система может стать привлекательной для вторжения в неё злоумышленников с целью создания утечки данных. Поэтому агрегирующие сервисы обязаны своевременно повышать уровень безопасности всех задействованных систем. Требуемое усиление безопасности таких сервисов контролируют государственные надзорные органы.

4. Извлечение персональных данных из потоков обезличенной информации (деобезличивание) и получение сведений индивидуального характера из Больших данных. Процессы обезличивания персональных данных и сбор Больших данных государственных и частных коммерческих информационных систем контролируют надзорные органы во всех странах. В мировом сообществе разрабатываются современные методики контроля и законной обработки обезличенных сведений.

Интеллектуальные системы могут быть подвержены рискам манипулирования поведением

1. Изучение психологического портрета пользователя системы с целью манипулирования его подсознательными реакциями. Этой теме посвящено много современных исследований надзорных организаций в России и других стран (например, предложения Европейской комиссии). В рекомендательных документах исследовательских организаций всё чаще встречается термин "посягательство на автономию в принятии решений".

Изучение подсознательных реакций пользователя может производиться с идентификацией пользователя и обработкой его персональных данных или без персонализации. Например, "умные рекламные стенды" в общественных местах могут предложить наиболее подходящие товары или услуги после оценки эмоционального и физического состояния анонимного пользователя. Внедрение этих технологий должно обязательно контролироваться государственными органами.

2. Принятие искусственным интеллектом неверных решений и осуществление действий, которые неправильно отражают волеизъявление пользователя. В случае доверения пользователем представления его интересов интеллектуальной системе возможны отклонения в решении ИИ от истинных намерений пользователя. В недалёком будущем этот риск может стать реальным при использовании интеллектуальных систем в финансовой и юридической сфере человеческой деятельности.

3. Искажение поведения интеллектуальной системы путём вредоносного воздействия на её обучающие механизмы. Риску вредоносного воздействия может быть подвержен не только человек, но и сама интеллектуальная система. Одним из самых известных способов отклонения поведения интеллектуальной системы прошлых лет можно назвать вредоносное обучение чат-бота неправильным ответам или ругательствам. Если при вредоносном влиянии на искусственную интеллектуальную систему злоумышленники используют атакующий искусственный интеллект, то результат отклонения может оказаться существенным.

Чтобы противодействовать вышеуказанным рискам и безопасно развивать системы искусственного интеллекта Европейской комиссией были подготовлены предложения от 21.04.2021 по регламентированию применения гармонизированных правил об искусственном интеллекте и внесению изменений в законодательные акты.

С целью улучшения стандартизации систем искусственного интеллекта и уменьшению вышеуказанных рисков Европейской комиссией предложено разделять эти системы на группы:

  • Минимального риска - к этой группе не применяются предлагаемые правила и рекомендации о снижении рисков.
  • Ограниченного риска - для использования этой группы систем ИИ важно: соблюдать должное информирование пользователей, чтобы они могли понимать, что взаимодействуют с машиной; пользователи должны иметь возможность отключения от этих систем по своему желанию; все механизмы, реализованные в системах ИИ, должны быть прозрачны для надзора и контроля.
  • Высокого риска - к этой группе могут относиться системы биометрической идентификации, системы управления трудоустройством и занятостью населения, управления персоналом, социального обеспечения, системы производства и транспорта, правоохранительные и судебные системы. Большая часть документа с предложениями Европейской комиссии посвящена правилам и способам снижения рисков именно этой группы систем искусственного интеллекта.
  • Неприемлемо высокого риска - к такой группе может быть отнесена система, использующая воздействие на подсознательные человеческие реакции, или любая система ИИ, нарушающая права и свободы человека.

При оптимальном уровне безопасности и установлении систем предупреждения возникновения рисков использования искусственного интеллекта в человеческой деятельности развитие интеллектуальных систем может быть полезным и прогрессивным для общества.

Другие статьи этого канала:

15 октября 2021 года (редакция текста 12 ноября 2021 года).

Автор: Демешин Сергей Владимирович (юрист).

Участвуйте в обсуждении, соблюдайте правила комментирования публикаций, указанные на главной странице этого канала.