Переводчик распознаёт текст на изображении с помощью машинного интеллекта. Сервис хорошо справляется даже в непростых случаях — например, если текст изображён под углом или растянут. Поэтому, чтобы распознать печатную статью или инструкцию, необязательно искать сканер или пытаться сделать идеально ровную фотографию страницы.
Сервис умеет переводить как целые абзацы или строки, так и отдельные слова с изображения. Картинка, текст с которой нужно перевести, может быть в формате jpeg, png, bmp и gif.
Распознавание работает для 12 языков: английского, испанского, итальянского, китайского, немецкого, польского, португальского, русского, турецкого, украинского, французского и чешского. Переводить можно на любой из 74 языков, которыми владеет Яндекс.Переводчик.
Ранее перевод текста с фото уже запустился в приложении Яндекс.Переводчик для iOS и Android и в мобильной веб-версии сервиса.
Распознавание текста — лишь одна из возможностей разработанной в Яндексе технологии компьютерного зрения. Эта технология помогает решать и другие задачи. Например, на компьютерном зрении основан поиск похожих изображений на Яндекс.Картинках и определение марки автомобиля по фото в приложении Авто.ру.