Распознавание образов. Программа для нарезки обучающего набора картинок

Alexandr Gavriluk 15.09.2014 16:22

Блин, взяли бы и уже написали программу автоматического сплита. Все равно же писать придется. Или у вас капча?

Виталий Годзевич 15.09.2014 18:55

прошу прощения, я не знаю что такое автоматический сплит. к генерации или взлому капчи проект отношения не имеет

cgm.cs.mcgill.ca/.../projects/mhum

Alexandr Gavriluk 15.09.2014 19:03

Если у вас некий OCR то распознавание букв пишется за 3-4 дня, а вот сплитинг и проверка гипотез — все остальное время.

Виталий Годзевич 15.09.2014 19:14

спасибо за подсказки. постараюсь посмотреть

Ivan Vasyliev 15.09.2014 10:54

Кто-то может подсказать есть ли программы где можно быстро нарезать штук 100 картинок путем ручного выделения областей на фотографии и сохранения полученного файла в одной папке. Чем обычно пользуются создатели систем распознавания текста для таких задач?

То ли я чего то не понимаю то ли вы не знаете про фотошоп.

Виталий Годзевич 15.09.2014 14:06

скорее всего я многого не знаю про фотошоп. вполне возможно что продвинутые пользователи могут там написать скрипт или же юзать какие-то спец. инструменты.
для меня же фотошоп в теории может помочь решении задачи, но имеет ряд минусов — основательно платный(бедная стартаперская команда такой не потянет), имеет зашкаливающие системные требования и требует апгрейда пк для того чтобы нарезать картинок, вырезка каждой отдельной картинки и последующее ее сохранение в отдельный файл займет много мыше-кликов(времени)
мне казалось, что подготовка материала для обучения нейронных сетей стандартная задачка и под нее есть заточенный легковесный инструмент

Ivan Vasyliev

Vitaly Chernooky C, Embedded and Linux в Self-Emplyed 15.09.2014 14:11

gimp?

Виталий Годзевич 15.09.2014 14:50

есть вероятность что там есть нечто такое

Vitaly Chernooky

Alexandr Gavriluk 15.09.2014 05:15

Делаем небольшое приложение которое распознает текст и возникла потребность создать обучающий набор картинок для того чтобы натренировать нейронную сеть.

Неправильный выбор. Смотрите в сторону SVM.

Кто-то может подсказать есть ли программы где можно быстро нарезать штук 100 картинок путем ручного выделения областей на фотографии и сохранения полученного файла в одной папке.

Алгоритмы нарезки особенно слипшихся картинок букв — это самое сложное. Смотрите как сделано в Tesseract. Там жуткий микс из С++ и С, но разобраться можно.

Виталий Годзевич 15.09.2014 08:54

svm -это support vector machine?

Mikl Kovach 15.09.2014 10:49

правильно

Alexandr Gavriluk 15.09.2014 16:18

Да. И советую использовать гаусово ядро, оно отлично работает почти для всех наборов данных.
Для .NET — Accord.NET
Для Java — LIBSVM. В последней гаусова ядра нет, но есть RBF, что тоже вполне хорошее.

Vadym Drozd Computer Vision/C++ Engineer в Star 15.09.2014 19:17

а вы тестировали svm на каких выборках (размер, качество)? как он себя ведет на зашумленных данных?

Alexandr Gavriluk 15.09.2014 20:20

Качество обучаемой выборки было высоким, тестовой — зашумленной. Но там используется набор свойств, который я разглашать не могу, довольно устойчивый к шуму. Распознавание около 95%. Тестировал на гаусовом ядре. На линейном и полиномиальном где-то 85-90%.

Vadym Drozd

Dmitry Gurinovich Sr Software Engineer в eVision Software Industries 14.09.2014 13:50

На счет готовых программ не знаю, может они где-то есть. Однако, в курсе по Machine Learning предлагается следующий метод генерации training set: накачать кучу шрифтов и картинок для фона и случайным образом совместить отдельные символы с различными фонами. Думаю написать такой tool займет максимум пару часов. Приемущества такого подхода в том, что вы сможете контролировать параметры training set’а. Также, в курсе рекомендуют добавлять геометрические искажения символов, например небольшое скручивание или волнистость (как на капчах) и не рекомендуют добавлять шумы на пиксельном уровне, так как они слабо влияют на процесс обучения.

Oleg Trygub Software Engineer в Microsoft 16.09.2014 01:39

О каком курсе Вы говорите? (Just curious)

Dmitry Gurinovich

Dmitry Gurinovich Sr Software Engineer в eVision Software Industries 16.09.2014 01:47

Довольно известный курс от Andrew Ng на coursera.org. Известный потому, что это был один из первых курсов на Coursera.

Oleg Trygub

Oleg Trygub Software Engineer в Microsoft 16.09.2014 02:06

О, я даже не знал что там прямо такие задачи рассматриваются, надо пройти. А то я начал, и меня первые недели три сильно демотивировали. Задачки довольно скучные, еще из универа, ну и этот долбанный Octave вместо R. А тут оказывается что ближе к середине интересные вещи начинаются. Вам понравился этот курс? Какие еще проходили?

Dmitry Gurinovich

Dmitry Gurinovich Sr Software Engineer в eVision Software Industries 16.09.2014 02:23

Да, там первая половина нудновата и на лекциях я несколько раз засыпал :) К октаву можно привыкнуть, особенно если не успел еще привыкнуть к R или чему-то еще. Курс в целом понравился. Других курсов по Machine Learning не проходил пока.

Oleg Trygub

Alla 13.09.2014 16:08

Для скринов в работе юзаю Snagit, не знаю, как раньше без него жила))))))