Сыграть с нейросетью: как ИИ угадывает города, рисует картины, пишет музыку и считает, не зная математики

3 July

Нейросеть постоянно учится новому: она уже умеет распознавать изображения и фотографии, создавать музыку и рисовать картины. Сегодня мы расскажем о нескольких проектах на базе лаборатории машинного интеллекта Яндекса, где искусственный интеллект участвует в игре, считает без математики, а также выступает в качестве художника и композитора. 

Угадайте город и страну по фотографии

Игра в города эпохи искусственного интеллекта — это интерактивное состязание с Алисой: вы по очереди угадываете точку на карте России по фото. Иметь дело придётся не только с туристическими видами Золотого кольца, но и с примерами типовой застройки спальников и пейзажей промзон. 

Алиса учится на фотографиях из Яндекс.Карт с гео-метками. Чтобы сделать её полноценным соперником, способным ошибаться, ей показали не все фотографии. Как и вы, кадры в состязании она видит впервые, пытается найти знакомые признаки и  не может быть уверена в своём ответе на 100%: на одной и той же фотографии можно найти элементы  Петербурга, а другие — напомнят  Новый Уренгой. 

Вторая игра  —  угадывание стран. Узнавать их по стилю застройки, климату или внешнему виду местных может оказаться проще, чем конкретные города. К тому же в отличие от Алисы вы можете ориентироваться по знакам и вывескам. У нейросети функция распознавания текста в этой игре не активирована. 

Image-to-image калькулятор

Это не тот калькулятор, которым мы пользовались в школе. Нейросеть видит изображение с примерами и выдаёт ответ также в виде картинки. Пока она работает только для сложения и вычитания простых чисел. На первый взгляд, это шаг назад в истории вычислительных аппаратов. На самом деле это интересный научный эксперимент, потому что калькулятор выдаёт результат, даже не умея считать. 

Как? Нейросеть не проводит вычисления и не распознаёт рукописные цифры. Она просто находит некоторые закономерности в картинке-задании и картинке-ответе. 

Нечеловеческая музыка

Нейросеть стала соавтором полноценного музыкального альбома. Её обучили на произведениях Рахманинова, Баха и Шнитке. Она нашла закономерности и создала свои музыкальные семплы.  Для обычного слушателя результат не звучит как готовое произведение, но для музыкантов это стало отправной точкой. 

Из 25 полученных мелодий приглашенные артисты — композитор и пианист Кузьма Бодров, электронный музыкант Никита Забелин и ретро-поп дуэт «Комсомольск» — выбрали по одной для дальнейшей работы. Они дополнили треки партиями для симфонического оркестра, вокалом и эмбиэнт-звучанием — так получились три совершенно разных композиции, которые можно послушать в плейлисте «Нечеловеческая музыка».

Галерея нейросетевого искусства

Так же как нейронная сеть генерирует реалистичные лица людей она  умеет воспроизводить стиль известных художников. Посмотрев 40 тысяч картин разных авторов, ИИ начал создавать работы, подражая импрессионизму, супрематизму и даже современному стрит-арту. 

Читайте также: Как придумывали создавали галерею, где автор всех картин — нейросеть

Онлайн-проект похож на настоящую галерею искусства. В нём есть свой куратор — это тоже нейросеть. Она использует алгоритм поиска изображений по словам в Яндекс.Картинках и распределяет электронные произведения по четырем «залам»: город, природа, люди и настроение. Каждый посетитель мог почувствовать себя начинающим Чарльзом Саатчи или Пегги Гуггенхайм, получив в личную коллекцию одну из работ с выставки бесплатно. Она осталась в экспозиции, но  скачать её себе мог только владелец.

Текст: Дмитрий Коновалов