Как работает Enhanced Visual Search

Enhanced Visual Search — это новая функция в «Фото» на iPhone, позволяющая искать фотографии, связанные с достопримечательностями и достопримечательностями, даже если у них нет геолокационных данных. Механика заключается в том, что вы вводите название достопримечательности, например, Golden Gate Bridge, и приложение находит все фотографии, на которых может присутствовать этот мост, даже если он изображен не четко и без меток GPS. Как пользоваться этой функцией, в чем ее польза и почему стоит узнать больше читайте в статье Ябко.

Отличие от Visual Look Up

Visual Look Up позволяет узнать, что именно отображено на конкретном снимке — например, какой породы пес или как называется растение. Однако, эта функция работает, когда вы уже открыли фотографию и хотите получить дополнительную информацию. Enhanced Visual Search — это поиск по всей библиотеке, поэтому, когда вы ищете определенную памятку, приложение «Фото» способно «вытащить» соответствующие фотографии под названием, даже если у них нет вшитых координат или очевидной подписи.

Система шифрования и анонимность

Enhanced Visual Search требует «глобального индекса» памятников на серверах Apple, чтобы сопоставить найденные на ваших изображениях объекты с реальными ландмарками. Но в то же время компания использует сложную схему защиты данных. Во-первых, при анализе снимка iPhone создает математическую модель фрагмента фотографии и зашифровывает ее, не передавая самих пикселей на сервер. Этот зашифрованный запрос проходит через ретрансляторную сеть и дополняется «феечными» запросами, чтобы сервер не мог уверенно определить, что вы ищете. Во-вторых, сам сервер не получает ключа для расшифровки, поэтому не видит реальное содержание вашей фотографии, а оперирует только абстрактными «векторами».

Защита трафика и механизм PNNS

Apple сочетает технологию гомоморфного шифрования и метод под названием Private Nearest Neighbor Search (PNNS). Подход заключается в том, что устройство присылает к серверу зашифрованную математическую модель — «отпечаток» изображения. Сервер сверяет эту модель с глобальным индексом мест, а затем возвращает возможные варианты названий объектов. В то же время IP-адрес устройства скрывается, а часть запросов выполняется через анонимизированную сеть, чтобы исключить привязку к конкретному пользователю. В результате Apple не сохраняет никаких данных о ваших фотографиях, не может распознать ваше точное местонахождение и не видит «настоящее изображение».

Как отключить Enhanced Visual Search

Некоторым пользователям подобные алгоритмы могут показаться излишними с точки зрения использования сетевого трафика или принципиальных соображений безопасности. В этом случае отключите эту функцию с помощью опции «Настройки»: откройте «Settings», перейдите в раздел «Apps», затем «Photos» и выключите «Enhanced Visual Search». Apple отмечает, что это целесообразно в ситуациях, когда доступ к интернет ограничен или вы хотите полностью прекратить все попытки сопоставления объектов на своих фотографиях с внешней базой.

Почему это полезно?

То есть, Enhanced Visual Search является полезным дополнением к возможностям Photos, потому что выводит поиск изображений на новый уровень. Благодаря этой функции iPhone может «узнать» достопримечательности или известные места по малозаметным деталям на фото. При этом конфиденциальность пользователя остается на высоком уровне благодаря технологиям гомоморфного шифрования и анонимизации трафика. Если вы не нуждаетесь в таком поиске, настройки системы позволяют быстро и полностью его отключить.