Как найти место по фотографии с помощью нейросетей

Иногда в телефоне остается фотография красивой улицы, здания, природного объекта или необычного пейзажа, но никакой информации о месте съемки нет. Снимок могли прислать знакомые, сохранить из переписки или скачать несколько лет назад. Если подписи и геолокация потерялись, определить точку на карте становится сложнее.

Раньше в такой ситуации приходилось вручную рассматривать вывески, архитектуру, дорожные знаки и другие детали, а затем проверять догадки через поиск. Сегодня Поиск места по фото. Нейросети позволяет использовать содержимое самого изображения как источник подсказок и значительно сузить круг возможных вариантов.

Разберемся, по каким признакам технологии определяют локацию, почему результат не всегда бывает точным и что можно сделать, чтобы повысить шансы на успешный поиск.

Как вообще можно определить место по фотографии

Фотография содержит гораздо больше информации, чем кажется на первый взгляд.

На ней могут быть видны:

• дорожные знаки;
• названия улиц;
• номера домов;
• вывески;
• язык надписей;
• архитектура;
• разметка;
• общественный транспорт;
• растительность;
• рельеф;
• характерные здания и памятники.

Человек тоже способен использовать эти признаки, но ему приходится анализировать их последовательно. Алгоритмы могут одновременно сопоставлять сразу множество деталей изображения.

В результате система формирует предположение о том, где могла быть сделана фотография.

Самая простая подсказка — текст на снимке

Если на фотографии хорошо видна вывеска, название улицы или другой текст, задача становится значительно проще.

Сначала система распознает надпись, после чего ее можно сопоставить с другими доступными сведениями.

Даже небольшой фрагмент текста иногда помогает определить страну или район.

Например, значение имеют не только сами слова, но и алфавит, оформление дорожных указателей или формат номеров домов.

Поэтому перед поиском полезно внимательно посмотреть, есть ли на исходной фотографии читаемые надписи.

Архитектура тоже помогает определить локацию

Когда текста нет, приходится анализировать визуальные особенности.

Разные территории отличаются типом застройки, материалами фасадов, формой крыш, расположением балконов, уличным освещением и другими деталями.

Отдельное здание редко позволяет однозначно определить место.

Но сочетание нескольких признаков уже может значительно сократить количество вариантов.

Особенно хорошо работают узнаваемые объекты: башни, мосты, вокзалы, площади, памятники и необычные современные здания.

Природный ландшафт тоже содержит подсказки

Для фотографий за пределами городской застройки поиск устроен сложнее, но возможен.

Система может учитывать:

• форму гор;
• береговую линию;
• тип растительности;
• особенности почвы;
• характер дороги;
• климатические признаки;
• расположение водоемов.

Один лес или обычное поле почти невозможно точно привязать к определенному месту.

Но если на фотографии одновременно видны горный массив, дорога, характерная растительность и другие ориентиры, вероятность успешного определения возрастает.

Дорожная инфраструктура может многое рассказать

Даже если на фотографии нет достопримечательностей, полезными оказываются обычные элементы дороги.

Например, отличаются:

• форма знаков;
• расположение разметки;
• цвет линий;
• устройство светофоров;
• оформление пешеходных переходов;
• тип ограждений;
• направление движения транспорта.

По этим деталям иногда удается хотя бы определить страну или группу возможных территорий.

После этого поиск можно продолжать уже в более узком диапазоне.

Метаданные фотографии иногда дают ответ быстрее

Прежде чем анализировать само изображение, стоит проверить его свойства.

Фотография, сделанная смартфоном или камерой, может содержать технические данные о съемке. В некоторых случаях среди них сохраняются координаты.

Если такая информация не была удалена при пересылке или обработке, искать место визуально вообще не потребуется.

Однако многие приложения при отправке фотографий удаляют часть исходных данных.

Поэтому отсутствие координат в файле еще не означает, что определить место невозможно.

Почему поиск по исходной фотографии работает лучше

Чем выше качество изображения, тем больше деталей можно рассмотреть.

Если фотография несколько раз пересылалась, была сильно сжата или сохранена в виде снимка экрана, мелкие надписи и элементы архитектуры могут стать неразличимыми.

Поэтому для поиска лучше использовать исходный файл.

Особенно важны мелкие детали в глубине кадра: номер автобуса, указатель, название магазина или характерная конструкция здания иногда оказываются главным ключом к определению места.

Помогает ли обрезка фотографии

Иногда да.

Если на изображении много лишних объектов, можно отдельно проверить наиболее информативные фрагменты.

Например:

• вывеску;
• фасад здания;
• дорожный знак;
• памятник;
• горный силуэт;
• необычный объект на заднем плане.

Так алгоритму проще сосредоточиться на конкретном элементе.

При этом исходную фотографию тоже стоит сохранить: общий контекст может содержать важные дополнительные признаки.

Почему система может ошибаться

Многие города и районы визуально похожи друг на друга.

Типовая жилая застройка, обычная дорога или лесной пейзаж встречаются в огромном количестве мест.

Поэтому результат поиска нередко представляет собой предположение, а не точное определение координат.

Ошибки особенно вероятны, если:

• фотография низкого качества;
• нет текста и узнаваемых объектов;
• изображение сильно обрезано;
• место значительно изменилось;
• снимок сделан внутри помещения;
• в кадре присутствует только типовой ландшафт.

Поэтому найденный вариант желательно проверять по нескольким независимым признакам.

Как проверить, действительно ли место найдено правильно

Одного похожего здания недостаточно.

Лучше сравнить сразу несколько элементов.

Если предполагаемая локация найдена, стоит проверить:

• форму окон;
• расположение соседних домов;
• количество этажей;
• дорожную разметку;
• фонари;
• деревья;
• перекрестки;
• расположение вывесок;
• объекты на заднем плане.

Чем больше совпадений, тем выше вероятность правильного результата.

Иногда полезно посмотреть на объект с разных ракурсов и сравнить окружающую территорию.

Что делать, если с первого раза место определить не удалось

Не стоит ограничиваться одной попыткой.

Можно начать с общей фотографии, затем отдельно проверить наиболее заметные детали.

Если удалось определить хотя бы страну или примерный тип местности, это уже полезный результат.

После этого поиск можно продолжить вручную, используя дополнительные признаки.

Например, сочетание языка на вывеске, номера маршрута и необычного здания обычно дает гораздо больше информации, чем каждый из этих элементов по отдельности.

Можно ли найти обычный жилой дом

Иногда можно, но это значительно сложнее, чем найти известную достопримечательность.

Если дом типовой и вокруг нет уникальных ориентиров, похожих зданий могут быть сотни.

Шансы повышаются, когда в кадре есть номер дома, название улицы, остановка, магазин или другой объект, который можно связать с конкретной территорией.

Поэтому при поиске важно смотреть не только на главный объект фотографии, но и на фон.

Внутренние помещения определять сложнее всего

Фотография комнаты, ресторана, офиса или другого помещения обычно содержит мало географических признаков.

Интерьеры могут быть похожими независимо от расположения.

Помочь способны логотипы, меню, надписи, вид из окна или уникальные детали оформления.

Без таких признаков определить точное место по интерьеру значительно сложнее.

Когда такой поиск может пригодиться

Определение места по фотографии используется в самых разных бытовых ситуациях.

Например, когда хочется найти точку из старого путешествия, определить достопримечательность на сохраненном снимке или понять, где находится заинтересовавший объект.

Технология полезна и при работе с большими архивами фотографий, если часть изображений сохранилась без подписей и координат.

При этом результаты стоит воспринимать именно как инструмент поиска, а не как гарантированное доказательство местоположения.

Чем больше исходных деталей, тем точнее результат

Главное преимущество современных методов заключается в возможности одновременно анализировать разные признаки изображения.

Текст, архитектура, дороги, природа и отдельные объекты дополняют друг друга. Даже если ни один из них самостоятельно не позволяет назвать точное место, их сочетание может существенно сузить поиск.

Поэтому при работе с фотографией лучше не пытаться найти одну «волшебную» деталь. Чем больше независимых признаков удается проверить, тем выше вероятность правильно определить, где был сделан снимок.