Microsoft запустила сервис, автоматически генерирующий подписи к фото

Компания Microsoft запустила проект под названием CaptionBot — онлайн-приложение, которое автоматически генерирует релевантные подписи к изображениям.

Сервис способен анализировать как фотографии доступные в сети, так и снимки, загруженные с компьютера. В Microsoft уточняют, что компания будет сохранять все изображения, предложенные пользователями, для того, чтобы в дальнейшем совершенствовать систему.

CaptionBot работает на базе двух нейросетей: одна анализирует фотографии, а вторая генерирует описания к ним на английском языке. Чем больше через систему пропускают изображений с подписями, тем точнее становится её анализ.

8 фото via

CaptionBot легко может узнать на снимке церковь или Владимира Путина на лошади. Кроме того, система способна определить, насколько тот или иной человек похож на какую-либо знаменитость, а также распознать эмоции на лицах.

«Я думаю, это старая церковь»

«Я думаю, что это мужчина на лошади с нейтральным выражением лица. Я на 98% уверен, что это Владимир Путин»

«Я думаю, это мужчина, стоящий рядом с деревом»

Однако часто система ошибается. Например, во время проверки TJ она не смогла опознать Apple Store, девушку, играющую на барабанах, «отправила на кухню», а молодого человека в футболке описала как «мужчину в галстуке».


«Я не уверен, но я думаю, что это мужчина в очках и галстуке с нейтральным выражением лица. Это вы? Я думаю, вы на 50% похожи на Джеймса Фрейна»

«Я не уверен, но думаю, что это женщина, которая с нейтральным выражением лица готовит на плите»

«Я не могу описать это фото»

Слабовато, Майкрософт... я тут без шляпы