Пользователи Facebook и принадлежащих ему Instagram и WhatsApp 3 июля столкнулись со сбоями в работе сервисов. В случае с Facebook и Instagram неполадки привели к необычному эффекту. Вместо фотографий соцсеть показывала серые квадраты с довольно точными текстовыми описаниями изображений. То есть в том виде, в каком алгоритмы сервисов благодаря машинному анализу воспринимают пользовательские снимки.
Издание о технологиях The Verge сравнило вызванный сбоем эффект со сценой из «Матрицы», в которой главный герой видит окружающую реальность как зеленые строчки программного кода.
На описания, сделанные алгоритмами, обратили внимание пользователи соцсетей.
При этом сервисы составляют описания на языке, выбранном пользователем.
Алгоритмы определяют:
• время суток;
• место съемки — на улице или в помещении;
• наличие и количество людей в кадре, а также то, стоят они или сидят;
• человеческие эмоции (улыбаются ли герои снимка?);
• алгоритмы отличают ребенка от взрослого;
• а кошку — от собаки;
• сервисы угадывают тип фотографии (знают, что такое селфи).
Описания снимков звучат примерно так: «На данном изображении может находиться: три человека, люди улыбаются, люди стоят в помещении». Или — «На данном изображении может находиться: один или несколько человек и шляпа».
Facebook как минимум с 2016 года применяет машинное обучение для анализа фотографий. Например, соцсеть подсказывает, кто из пользователей находится на изображении, даже если на него нет тега. Как указывает TJournal, Instagram в 2018 году запустил функцию «пересказа» фотографий для людей с нарушениями зрения. Она зачитывает составленные алгоритмами теги.
Кроме того, существуют специальные расширения для браузера Google Chrome. Они помогают узнать, какими тегами сервисы помечают пользовательские снимки.
Пример того, как работает специальное расширение для Google Chrome
The Verge уже запросил комментарий у Facebook о том, используются ли данные, содержащиеся в описаниях, для таргетированной рекламы, но ответа пока не получил.