Проект “Gaka-Chu. Робот-художник”: маленький неуклюжий манипулятор KUKA, живущий в большом мире серьезных промышленных роботов

Современные технологии призваны улучшать человеческий быт, делать жизнь человека комфортнее и веселее, освобождать время для творчества, создания нового, проведения экспериментов. Данные размышления привели команду разработчиков Airalab к идее проведения эксперимента, показывающего весь потенциал развития современных технологий и в частности возможностей платформы Робономика. Этим экспериментом стал робот-художник. Подробности ниже.

Как появилась идея проекта?

Идея робота-художника в том виде, в каком проект существует сейчас, пришла не сразу. Идейным вдохновителем для проекта стала компания Росбанк, которая совместно с компанией FANUC представила проектпромышленного робота-манипулятора, рисующего масляными красками на холсте в технике мазка:

Ведущему инженеру проекта робот-художник Алексею Овчарову идея научить промышленный манипулятор рисовать красками показалась интересным вызовом.

Ожидание vs. Реальность: какие задачи стояли перед проектом

Изначально перед инженерами проекта стояла достаточно расплывчатая задача - интерпретировать в виде картинки мнение робота о мире. Далее задача немного конкретизировалась - робот должен нарисовать некое изображение, заказанное через блокчейн. Дальше уже появилась идея подсоединить к задаче нейросети для анализа информации, ее интерпретации и последующего изображение.

Таким образом, глобальная задача заключалась в обработке и анализе ситуации в мире с использованием нейросетей, например, проанализировать так называемые “горячие видео” на YouTube и на основании этого анализа создать картинку. Постепенно стало понятно, что обработка информации со всего мира - достаточно трудоемкий процесс, требующий больших временных затрат, поэтому со временем задача была упрощена. Каким образом? После адаптации манипулятора к работе с определенным программным обеспечением (далее - ПО) была добавлена небольшая часть, которая позволила Gaka-Chu обрабатывать текст.

И уже одним из последних дополнений к первоначальной задаче стало позиционирование робота-художника как независимого экономического агента с помощью использования технологического стека AIRA.

“Если говорить в общем, то ожиданий в начале было немного больше. Ожидалось, что будет какая-то цветная картина, похожая на нарисованную человеком. Конечно, никто не ожидал от робота высокохудожественного результата типа акварельного пейзажа или натюрморта маслом, но мы предполагали, что это будет какое-то абстрактное изображение в духе современного искусства. Но с другой стороны, я очень доволен тем, что нам удалось добиться хороших результатов в изображении именно текста, потому что эта задача, как я уже говорил, непростая и в мире на данный момент не очень хорошо реализована для подобных манипуляторов последовательной кинематики”, - поделился Алексей.

Для робота абсолютно не свойственны движения вдоль линии. Заставить робота двигаться по ровной поверхности, соблюдая заданную траекторию движения и создавая ровную линию, крайне непросто. Перед инженерами проекта стояла нетривиальная задача, в достижение которой они добились впечатляющих результатов, которые можно увидеть на недавних работах Gaka-Chu:

Недавние работы Gaka-Chu.
Недавние работы Gaka-Chu.

А также посмотрев видео нашего художника за работой:

Сложности в работе над проектом

  • Режим реального времени. С манипулятором необходимо взаимодействовать в реальном времени, т.е. на выполнение конкретного процесса должно выделяться определенное количество времени. Проблема заключается в том, что ни один компьютер не может гарантировать ограниченное время выполнения процесса, а это очень важно в работе с промышленном роботом. На настройку этой части работы было потрачено много времени. Для этого использовался патч для Linux rt preempt.
  • Обработка картинки. Сложность состояла в описании изображения для воспроизведения манипулятором. В случае с мазками это не такая сложная задача, как в рисовании плавными линиями.
  • Передача заданной траектории с внешнего ПК контроллеру манипулятора. Для реализации заданного траекториями изображения необходимо как-то передать его роботу. Команда разработчиков ROS industrial создала новый ROS-пакет под коммуникационные интерфейсы RSI и EKI, чтобы можно было отслеживать состояние манипулятора с внешнего устройства, а также управлять им.
  • Описание поверхности рисования. Роботу для создания картины необходимо знать точные параметры поверхности, например, для того, чтобы кисть двигалась с определенным нажимом. Любая поверхность, будь то стол, на котором установлен робот и лежит холст, стена или мольберт, имеет некоторые неровности, углы наклона ит.д., что сильно затрудняет ее описание для робота. Данная проблема была решена лишь отчасти с помощью установки глубинной камеры на манипулятор для получения уравнения плоскости.
  • Создание градиентной заливки (плавного перехода цветов). На данном этапе для создания иероглифов нам не очень нужны плавные переходы, но с развитием проекта, возможно, мы решим и эту задачу.
  • Безопасность. Последняя, но не наименее важная трудность при работе с промышленными манипуляторами. Думаю, тут комментарии излишне ведь небольшой манипулятор KUKA при неосторожном или неправильном обращении легко может покалечить инженера.

Другие проекты роботов-художников и отличие Gaka-chu

Как уже говорилось выше, совместный проект Росбанк и FANUC вдохновил команду на создание нашего робота-художника. Но вообще идея рисующих роботов не так уж и нова. Начиная примерно с 2000х годов разные компании пытались реализовать данную идею различными способами. Одними из первых появились проекты, в которых робот повторял за человеком, рисующим картину. Сейчас существуют целые соревнования для робототехников, работающих с рисующими роботами: по всему миру роботы-художники создавали свои картины и отправляли их для оценки жюри соревнований. Победившая команда получила приз $100.000 - приз, за который стоило побороться.

Принципиальные отличия Gaka-Chu от других проектов с рисующими роботами состоят в том, что он самостоятельно анализирует информацию и на основании нее генерирует изображение, а также может самостоятельно продавать свои картины, т.е. является автономным экономическим агентом. Кроме того, Gaka-Chu не просто рисует картины - он художественно изображает текст, что само по себе является сложной задачей, т.к. с точки зрения алгоритмов достаточно сложно “ужать” текст, чтобы робот мог воспроизвести его.

“Нашего робота-художника можно считать неплохим каллиграфистом, исходя из того, что я видел в мире”, - говорит Алексей.

Как купить картину?

Для того, чтобы приобрести картину Gaka-Chu, пользователю понадобится следующее:

В каждом случае процесс приобретения может быть уникальным, поэтому для начала потенциальному приобретателю картины нужно обратиться в чате к кому-нибудь из разработчиков с просьбой сопроводить процесс покупки. Заказ выполняется через dapp. Покупатель и робот заключают контракт обязательства, по которому робот обязуется нарисовать картину и отправить ее покупателю, а покупатель обязуется перевести на счет робота необходимую сумму токенов. С помощью технологии блокчейн операция купли-продажи проходит напрямую между покупателем (человеком) и продавцом (роботом), минуя посредников.

Что демонстрирует проект?

Для робототехников данный проект интересен с точки зрения работы с промышленным манипулятором с целью получить нестандартный результат. А что же может увидеть человек, далекий от робототехники, программирования и высоких технологий?

Проект команды Airalab демонстрирует, что роботизированная единица - в данном случае промышленный манипулятор KUKA - может наравне с человеком быть участником экономических взаимоотношений. Кроме того, проект поднимает ряд философских вопросов, актуальность которых возрастает на волне грядущей тотальной роботизации различных сфер жизни человека.

На примере данного проекта команда поднимает вопрос права интеллектуальной собственности. Кому принадлежит право собственности на картину, которую нарисовал робот? В большинстве случае ответ будет “тому, кто научил его рисовать”. А если инженер, запрограммировавший робота, отказывается от права собственности на произведения робота? А если робот сам “придумал” эту картину - интерпретировал полученную информацию именно таким способом? Тут уже возникает вопрос - что такое мышление и уместно ли использовать это в контексте робота. А если робот имеет собственный кошелек с криптовалютой (единственным доступным на данный момент средством расчета между роботами) и может самостоятельно продать результаты своей работы? Может ли он считаться автором и обладать правом собственности в таком случае? Есть над чем подумать, не так ли.

“На примере проекта робот-художник мы хотели показать, что робот может обладать правом собственности, и это вполне себе нормально. То есть робот в целом может создавать, а это уже больше подходит к философским размышлениям - что вообще значить “создавать”? Пока еще люди с трудом соглашаются с этим, но этому есть причина - люди пока не понимают, что есть “мышление”, и считают, что мыслить для “нечеловека” это что-то из ряда вон выходящее”, - рассуждает Алексей.

Закончить рассказ о проекте “Gaka-Chu. Робот-художник” хотелось бы на этой философский ноте. Что есть мышление? Что есть творчество? Кому принадлежит результат деятельности неодушевленных созданий таких как роботы? Присоединяйтесь к нам в социальных сетях - давайте обсудим.

PS: в следующей части статьи поговорим об этапах работы над проектом - подпишитесь, чтобы не пропустить продолжение :)

Источник: https://zen.yandex.ru/id/5b339f318cb56900a8eb0700