Инструмент для поиска и сравнения изображений

💡 Усі статті, обговорення, новини про Java — в одному місці. Приєднуйтесь до Java спільноти!

Привет, всем! Хочу поделится инструментом, который я написала какое-то время назад, и вот только решила его выложить в публичный доступ, предварительно порефакторив его маленько. Написано сее добро на Maven, Java, Swing, OpenCV (с JavaCPP предустановками, JavaCV враперами — все для работы с OpenCV и подключено через Maven). У приложения есть интерфейс ввода в виде командной строки для запуска его из скриптов. Зоны ответственности приложения я разнесла по модулям: idiff-api — ядро приложения, не зависимое от конечного интерфейса; idiff-cmd — собственно консольный интерфейс. Все это находится в структуре Maven в виде структуры parent-child и всё это обильно полито соусом (шутка), поэтому со сборкой, управлением зависимостями и интеграцией в популярные среды разработки на Java проблем не должно быть. Собственно версии зависимостей управляются из parent модуля. Умеет он сравнивать изображения с отображением результата в GUI (формы написала на Java Swing) и сохранением его в файл ну и, собственно, осуществлять поиск по изображению на наличие искомого фрагмента. Все это можно выполнять с ожидаемыми очками, например: находить и, при желании, подсвечивать все области, в которых совпадение не меньше 90%. В обеих случаях я реализовала поддержку ROI — возможность искать как разницу между изображениями так и фрагмент только в указанных областях изображения. Найденные участки подсвечиваются на результирующем изображении, причем подсвечиваются и ROI (здесь, пожалуй, сохраню интригу, каким цветом... авось кто-то зайдет посмотреть только из-за этого...), если таковые были заданы. Применяла этот инструмент не часто но во всех случаях с саксесом и гордостью. Писать вздумала из-за того, что на то время, когда нужен был подобный функционал были проблемы с его наличием в общем доступе.

Из плюсов инструмента

• Он работает и справляется с возложенными на него задачами
• Исходный код приложения доступен по ссылке здесь

Из минусов инструмента

• Использую нативные библиотеки OpenCV, из-за чего нужна сборка оного на других платформах кроме Windows (тут OpenCV идет уже с собранными библиотеками)
• Сейчас я пока реализацию оставила для платформы windows-x86 (то есть для запуска приложения нужна 32 разрядная Java 6+). Для подключения, проверки и поддержки других платформ у меня нет и не было времени, хотя это должно быть не сложно при наличии времени и желания...

Из особенностей

• Необходима Java 6+ x32
• Apache Maven 3+

Из дополнительной информации

• Для поиска фрагмента по изображению использую метод CV_TM_CCOEFF_NORMED библиотеки OpenCV — нормализированный метод, который помогает снизить влияние освещения между шаблоном и изображения

Что нужно, чтобы получить работающее приложение

1. Заходим в директорию с проектом — idiff
2. Выполняем команду: mvn clean install (при этом не забываем, что Java и Maven должны быть установлены)
3. Берем по результату успешной сборки файл из idiff-cmd/target/idiff-cmd-1.0-dist.zip и распаковываем его куда душе угодно для дальнейших экспериментов

Структура сборки

• conf — директория с конфигом (пока там только log4j.properties лежит, но с чем черт не шутит...)
• lib — вспомогательные библиотеки для работы приложения
• output — всякий вывод по умолчанию ложится в эту директорию
• samples — заведомо сконфигурированные примеры для более плавного вхождения в тему
• idiff-cmd-1.0.jar — собственно исполняемый Java архив (приложение)
• opencv_core244.dll, opencv_highgui244.dll, opencv_imgproc244.dll — платформо-зависимое добро, доставшейся от OpenCV, без которого приложению будет совсем туго

Как запустить и получить первый результат

Для запуска и получения справки от приложения выполните команду из корневой директории приложения (место, куда вы распаковали приложение): java –jar idiff-cmd-1.0.jar [--help]

В результате увидим список возможный опций, с которыми приложение дружит.

Для быстрого старта уже есть список предустановленных аргументов:

• java -jar idiff-cmd-1.0.jar --find-diff-roi-sample — поиск разницы в пределах ROI с выводом на скрин
• java -jar idiff-cmd-1.0.jar --find-diff-sample — поиск разницы по всему изображению с выводом на скрин
• java -jar idiff-cmd-1.0.jar --find-template-in-source-image-roi-sample — поиск фрагмента в пределах ROI с выводом на скрин
• java -jar idiff-cmd-1.0.jar --find-template-in-source-image-sample — поиск фрагмента по всему изображению с выводом на скрин

Продвинутые команды

1. Сравниваем два изображения (опции командной строки: image1 и image2), одинаковых размерами с выводом результата на Swing форму (show-result). По клику в любом месте Swing формы происходит переключение между исходным изображением и целевым. По наведению на выделенный фрагмент изображения в Swing форме — всплывает подсказка с деталями найденной области (очки, координаты, ширина, высота). В результате на целевом изображении подсветка (result-image) — желтая (с очками попадания), на исходном (result-source-image) — зеленая (без очков попадания). Все результаты подсвечиваются.
   
   java -jar idiff-cmd-1.0.jar --image1 samples/image1.png --image2 samples/image2.png --match-type DIFFERENCES --show-result --result-image target.png --result-source-image target-source.png
2. Команда #1 с аргументом --rois 247,137,325,35 — ищет разницу только в выделенной прямоугольной области (ROI) с координатами x:247, y:137 и width:325, height:35
3. Команда #1 с аргументом --match-similarity 0.7 — ищет разницу, с точностью меньшей 0.7 (70%)

1. Для поиска фрагмента (image2) на изображения (image1) с точностью не меньшей 0.9 (90%), с выводом результата на Swing форму (show-result), и последующим сохранением результата с подсветкой в target.png (result-image) используем следующую команду:
   java -jar idiff-cmd-1.0.jar --image1 samples/sourceImage.jpg --image2 samples/templateImage.jpg --match-type TEMPLATES --show-result --result-image target.png --match-similarity 0.9

Рекомендации

• если хотите использовать приложение в скрипте, тогда просто уберите опцию show-result (не покажет вам Swing форму, а результат сохранит)
• при сравнении оба изображения обязательно должны иметь одинаковый размер
• переключение между режимами поиска фрагмента и разницы осуществляется опцией match-type. За поиск фрагмента отвечает режим — TEMPLATES, за поиск разницы — DIFFERENCES соответственно

P.S.
У самой было в свое время много идей по поводу этого инструмента, но они лишь остались у меня в фантазиях, так как реальность сурова...

Надеюсь, что этот инструмент поможет кому-либо, как это было в моем случае. Ну, на крайний случай, кусок его кода...


Спасибо за внимание.