В интернете миллионы сайтов с полезной информацией, но лишь считанные проценты — на русском языке. Языковой барьер ограничивает нас, мешает познавать новое. Яндекс.Браузер помогает преодолевать этот барьер с помощью встроенного переводчика. Раньше эта технология работала только с текстом. Теперь она станет ещё полезнее.
Новый Яндекс.Браузер стал первым браузером для компьютеров, который научился переводить текст на картинках. Это значит, что больше не нужно вручную переносить текст в переводчик или использовать сервисы распознавания, чтобы понять, что написано на картинке. Браузер сделает это сам. Расскажем про наше решение и о причинах его появления более подробно.
Перевод текста на изображениях — зачем это нужно
Встроенный в Яндекс.Браузер переводчик уже много лет помогает понимать тексты на иностранных сайтах. А вот с надписями на изображениях было сложнее. Нужно было либо набирать текст вручную, а потом отправлять его в переводчик, либо загружать картинку в сервис распознавания и полученный текст также отправлять в переводчик. Когда надо перевести пару строчек на английском языке — это не страшно. Но что делать, когда страница почти целиком состоит из изображений? Например, заметная часть сайтов израильских государственных организаций предпочитает именно такой способ размещения информации. Похожую картину можно увидеть на корейских, китайских, арабских сайтах.
Аналогичная ситуация с техническими характеристиками товаров в иностранных интернет-магазинах — неудобно, когда их нельзя перевести автоматически. А хочется, чтобы было удобно. Эта потребность подтолкнула нас к идее создания технологии для перевода текста на изображениях. И теперь она есть в Яндекс.Браузере!
Как работает переводчик текста с изображений в Браузере
Вы можете пользоваться переводчиком так же, как и раньше. Но теперь после перевода страницы на нужный язык у всех изображений больше 200x200 пикселей появляется всплывающая кнопка с предложением перевести текст. Вы нажимаете на эту кнопку, изображение отправляется в Яндекс.Переводчик для распознавания и перевода, после чего возвращается обратно, но уже с текстом на нужном вам языке.
Любые изображения можно переводить и по пункту из контекстного меню без перевода всей остальной страницы.
Чтобы изображение с переводом выглядело так же, как и оригинал, переводчик делит текст на блоки, двигает слова, масштабирует шрифт и подбирает фон. Благодаря этому переведённый текст выглядит аккуратно, сохраняется его смысловая нагрузка.
Новая технология доступна в Яндекс.Браузере для Windows и macOS. В ближайшее время она появится на Linux и в мобильной версии для Android, а до конца года — и в версии для iOS. Новый мобильный переводчик уже можно попробовать в бета-версии для Android.
Работа над переводчиком текста с изображений продолжается. В ближайшем будущем мы планируем сделать так, чтобы Браузер понимал, на каких изображениях есть текст, и предлагал перевести только их. Дорабатываются и алгоритмы распознавания контекста при переводе. Текст на изображении будет соотноситься с содержимым страницы, благодаря чему перевод станет более релевантным.
Расскажите в комментариях, каких ещё функций не хватает. Ваши идеи помогут сделать переводчик лучше. Спасибо.