История сервиса и ключевые этапы развития
Сервис Яндекс Картинки был запущен в 2002 году. Изначально поисковый робот индексировал только три формата: JPG, GIF и PNG. В сентябре 2007 года вышло крупное обновление, улучшившее алгоритмы поиска, и уже тогда сервисом пользовались более полумиллиона человек. В 2008 году появилась возможность просматривать копии изображений и функция «Мои находки» (сейчас — закладки). К 2011 году база сервиса насчитывала 3,9 миллиарда изображений, а обновление индекса стало еженедельным. В 2013 году аудитория достигла 6 миллионов пользователей, а ежедневное количество запросов — около 120 миллионов. С этого же года поиск начал работать не только с текстом, но и с картинками: пользователи могли загрузить изображение и найти похожие. За последние семь лет благодаря компьютерному зрению и машинному обучению качество поиска значительно улучшилось, и сервис научился решать новые задачи.
Как работает поиск по картинке: три способа
Яндекс Картинки предлагает три способа поиска изображений: текстовый запрос, голосовой поиск и поиск по картинке. Голосовой поиск активируется нажатием кнопки в строке поиска или на виртуальной клавиатуре мобильного устройства. Поиск по картинке можно выполнить двумя методами: загрузить файл с устройства или указать URL изображения. Сервис умеет распознавать товары, текст, растения, проверять фото на уникальность, а также искать по фрагментам изображения. Для уточнения результатов доступны фильтры: размер, ориентация, тип, цвет, формат файла, свежесть, обои и возможность поиска по конкретному сайту.
Мультимодальная технология: совместный анализ изображения и текста
Недавно Яндекс усовершенствовал поиск по изображениям, внедрив мультимодальную технологию. Теперь алгоритмы одновременно обрабатывают как саму картинку, так и текст, который её сопровождает на странице. Ранее система анализировала изображение и текст отдельно, что могло приводить к ошибкам, когда подпись или описание не совпадали с визуальным содержанием. Новая технология позволяет точнее определять содержание изображений, особенно в случаях противоречия между картинкой и текстом. Сначала специалисты обучили крупную модель, а затем на её основе разработали несколько компактных моделей для разных этапов обработки. Наиболее ресурсоёмкие операции выполняются заранее, благодаря чему новый алгоритм работает в реальном времени без увеличения времени выдачи. После внедрения технологии доля релевантных изображений в верхней части поисковой выдачи заметно выросла.
Поиск товаров по фотографии: от интерьера до одежды
Одна из ключевых функций Яндекс Картинок — поиск товаров по фотографии. Алгоритмы автоматически распознают предметы на изображении и предлагают купить похожие на Яндекс.Маркете и в других интернет-магазинах, включая Ozon, Lamoda, Wildberries, AliExpress и IKEA. Приоритет отдаётся максимально похожим товарам, которые есть в наличии. Чтобы поиск работал хорошо, объект должен занимать более 10% площади изображения и быть размером не менее 50×50 пикселей. Алгоритм обучения минимизирует влияние фона, но фон всё равно учитывается при ранжировании: если есть два похожих товара, но фон совпадает только с одним, он будет выше. Выборка для обучения собиралась так, чтобы максимально сближать фото товаров на белом фоне и снимки, сделанные на обычный мобильный телефон. Это позволяет находить как точные копии, так и визуально похожие вещи, что особенно полезно для поиска аналогов дизайнерской одежды или предметов интерьера по более низкой цене.
Распознавание текста и работа с документами
Благодаря технологии оптического распознавания символов (OCR), входящей в компьютерное зрение, Яндекс Картинки могут извлекать текст из изображений. Это особенно полезно, когда текст прислан в виде картинки, а не документа. Загрузив изображение, пользователь получает доступный для редактирования материал: его можно проверить на уникальность, перевести в Яндекс.Переводчике или скопировать в документ. Алгоритмы распознают текст даже на перевёрнутых изображениях. Если в тексте есть ссылка, по ней можно сразу перейти. Компьютерное зрение поддерживает 47 языков: 37 кириллико-латинских, а также китайский, японский, корейский, арабский, иврит, греческий, вьетнамский, армянский и грузинский. Кроме того, если в тексте встречается номер телефона или email, сервис подсвечивает их и позволяет сразу позвонить или написать (на мобильных устройствах).
Проверка уникальности изображений и поиск по фрагменту
Яндекс Картинки позволяют проверять фотографии на уникальность. Это полезно, например, для выявления фейковых профилей на сайтах знакомств или мошеннических объявлений о продаже недвижимости, где используются чужие фото. Достаточно загрузить подозрительное изображение, и сервис найдёт все страницы в интернете, где оно встречается, включая соцсети и сайты знакомств. Важно: поиск работает только по открытым страницам, не запрещённым к индексации. Для большей уверенности рекомендуется проверять несколько снимков. Также доступен поиск по фрагменту изображения: если алгоритмы не распознали все объекты или нужно найти конкретную деталь, можно выделить нужную часть. Это удобно для поиска отдельных предметов на сложных композициях (например, картин, ваз, посуды в интерьере) или для распознавания нужных абзацев на длинных скриншотах.
Распознавание растений и других объектов
Сервис умеет распознавать растения на фотографиях. Пользователи часто фотографируют домашние цветы или растения на улице — липы, берёзы, дубы и так далее. Алгоритмы определяют вид растения, подсказывают название и дают ссылки на товары (например, на саженцы или горшки). Это может быть не только познавательно, но и полезно для безопасности: например, если в доме есть ребёнок или животное, можно проверить, не ядовито ли комнатное растение. Алоэ и герань, например, вызывают у кошек расстройство пищеварения, а бегония и декабрист — отёк гортани. Кроме растений, сервис распознаёт и другие объекты, включая товары, животных, достопримечательности и многое другое.
Фильтры, подсказки и встроенный редактор
Для уточнения поиска доступны фильтры: размер, ориентация (горизонтальная, вертикальная, квадратная), тип (фото, рисунок, анимация), цвет, формат файла, свежесть (за последние сутки, неделю, месяц), обои и поиск по определённому сайту. При вводе текстового запроса сервис предлагает уточняющие слова и связанные картинки по схожим тематикам. Найденные изображения можно редактировать прямо в мобильном приложении: добавлять надписи, создавать рисунки или обрезать. Эта функция особенно популярна в праздники — частота использования возрастает в 2–3 раза, так как пользователи создают поздравления и открытки. Сервис также учитывает предпочтения пользователей на основе больших данных, что влияет на ранжирование результатов.
Практические примеры использования
Яндекс Картинки можно применять в самых разных ситуациях. Например, для поиска недорогих аналогов дизайнерской одежды: сфотографируйте вещь в магазине и найдите похожие варианты в масс-маркете. Для ремонта или обновления интерьера: загрузите понравившееся фото и найдите подходящие по цене обои, мебель или декор. Для проверки объявлений: загрузите фото квартиры или человека, чтобы убедиться, что оно не используется мошенниками. Для распознавания растений: сфотографируйте цветок и узнайте его название и свойства. Для извлечения текста из картинок: отсканируйте документ или скриншот и получите редактируемый текст. Для создания открыток: найдите подходящее изображение и добавьте надпись прямо в приложении.
Ограничения и важные замечания
При использовании поиска по картинке важно учитывать несколько ограничений. Объект должен занимать более 10% площади изображения и быть не менее 50×50 пикселей — иначе алгоритм может его не распознать. Фон изображения влияет на ранжирование, поэтому результаты могут отличаться в зависимости от окружения. Поиск по уникальности работает только для открытых страниц, не запрещённых к индексации; закрытые профили в соцсетях или сайты с ограниченным доступом не учитываются. Для проверки на мошенничество рекомендуется использовать несколько снимков, а не один. Также стоит помнить, что сервис не гарантирует 100% точность распознавания, особенно для редких или некачественных изображений.
Вопросы и ответы
Как найти товар по фотографии в Яндекс Картинках?
Загрузите изображение в сервис Яндекс Картинки (через файл или URL). Алгоритмы автоматически распознают объекты и предложат похожие товары из Яндекс.Маркета и других магазинов (Ozon, Wildberries, AliExpress и др.). Для лучшего результата объект должен занимать более 10% площади и быть не менее 50×50 пикселей.
Можно ли проверить фото на уникальность с помощью Яндекс Картинок?
Да, загрузите подозрительное изображение, и сервис найдёт все страницы в интернете, где оно встречается, включая соцсети и сайты знакомств. Поиск работает только по открытым страницам, не запрещённым к индексации. Для надёжности проверяйте несколько снимков.
Какие форматы изображений поддерживает Яндекс Картинки?
Сервис индексирует изображения популярных форматов: JPG, PJPG, PNG, GIF, BMP, SVG, PNM, TIFF, WEBP. Это позволяет находить практически любые картинки, размещённые на сайтах.
Как работает распознавание текста в Яндекс Картинках?
Используется технология оптического распознавания символов (OCR). Загрузите изображение с текстом, и сервис извлечёт его в редактируемом виде. Текст можно скопировать, перевести или проверить на уникальность. Поддерживается 47 языков, включая китайский, арабский и иврит.
Какие фильтры доступны при поиске в Яндекс Картинках?
Доступны фильтры по размеру, ориентации (горизонтальная, вертикальная, квадратная), типу (фото, рисунок, анимация), цвету, формату файла, свежести (за сутки, неделю, месяц), а также поиск обоев и по конкретному сайту.
Как распознать растение с помощью Яндекс Картинок?
Сфотографируйте растение и загрузите снимок в сервис. Алгоритмы определят вид, покажут название и предложат ссылки на товары (например, саженцы). Это также помогает проверить, не ядовито ли растение для детей или домашних животных.
Что такое мультимодальная технология в Яндекс Картинках?
Это новый алгоритм, который одновременно анализирует изображение и сопровождающий его текст. Раньше эти данные обрабатывались отдельно, что могло приводить к ошибкам при несоответствии картинки и подписи. Новая технология повышает релевантность результатов и работает в реальном времени.