Какой ты автомобиль? Приложение распознает авто по фотографии (шазам для авто)

30 июня «Яндекс» обновил принадлежащий компании сервис по продаже автомобилей «Авто.ру»: в его мобильных приложениях для iOS и Android появилась возможность распознавания марки и модели машин по фотографии.

Распознавание машин находится на стартовом экране мобильного приложения «Авто.ру». Можно сделать фото сразу, а можно выбрать из уже сохранённых на телефоне.

Когда фото сделано, приложение отправляет его в облачный сервис, где алгоритм занимается распознаванием машины в кадре. По словам представителей «Авто.ру», на это тратится всего 0,3 секунды, а остальное время — отправка фото на сервер и скачивание результатов — зависит от скорости мобильного интернета.

Но в Инете само собой решили проверить, как система сработает на фотографиях людей...

Первой в работу пошла фотография основателя «ВКонтакте» и Telegram Павла Дурова, которого приложение «Авто.ру» распознало в качестве гибридного автомобиля Toyota Prius 1997 года выпуска. )))

Вот она "живьем"

Попробовал свою фотку из профиля - а неплохо )) Тойота Виста

Типа такой, что ли? ))

Проверили и работу приложения в реальных условиях. Он действительно умеет определять марки машин, даже если сфотографирована всего лишь часть кузова, однако делает это корректно далеко не всегда. Пример: тайский тук-тук «Авто.ру» распознал как Honda Stepwgn.

Здесь Nissan Sunny корректно определился только при полном захвате всего кузова.

Позднее «Авто.ру» корректно определил Toyota Hilux по одной лишь части кузова, но зато Isuzu D-Max также упорно называл «Тойотой». Проблема приложения в том, что оно показывает только самый вероятный из ответов (причём сама вероятность не указана) и не даёт пользователю выбрать правильный, позволив ещё немного обучить нейросеть на новом примере.

Как утверждают в «Авто.ру», для обучения нейросети через неё уже пропустили 6 миллионов фотографий, но она знает пока чуть более 100 марок и 1000 моделей. Технология компьютерного зрения была разработана в «Яндексе», а свой мобильный сервис по распознаванию машин «Авто.ру» называют первым в мире из подобных.

Для обучения нейросети использовались реальные фотографии машин из каталога «Авто.ру», и представители сервиса отмечают, что это сыграло на пользу. На сайте публикуются снимки, сделанные на «мыльницы» и камеры телефонов, поэтому нейросеть училась распознавать машины даже в сложных условиях.

В компании объясняют новую функцию по большей части интересом пользователей к стоимости дорогих и красивых машин: теперь увидев такой автомобиль на улице можно сразу узнать и модель, и цены на неё у дилеров и частных продавцов. С другой стороны, «Авто.ру» собирается экспериментировать: компьютерное зрение будет помогать заполнять строчки объявления автоматически, учиться распознавать битые машины (и указывать эту информацию при публикации), а также выбирать наиболее «красивое» фото для обложки — последняя технология уже применяется в 10% объявлений.

via

Интересно, у кого что получится? )) Занятная игрушка...