Luxoft Java Hiring Week - $2000 бонусу, круті проекти та подарунки! Реєструйся!
×Закрыть

WYSIWYG-конструктор парсеров — оцените и покритикуйте идею

Здравствуйте!

Мы работаем над интересным проектом. Общая идея продукта — создать возможность человеку, не знакомому с техническими аспектами парсинга (web-scrapping, data mining), автоматизированно собирать разнородную информацию, пост-обрабатывать, агрегировать и использовать в своих целях, как то создание различного рода ресурсов, сбор и анализ статистики, наполнение готовых ресурсов. В работе с Пользователем крайне важно минимально беспокоить его чрезмерным получением от него данных и максимально использовать уже предоставленные им данные.

Сейчас находимся на этапе постановки задачи, разработки ТЗ и поиска сотрудников для начальных этапов. Полная версия текущего ТЗ — docs.google.com/...djZaI8wXK1rmsPcZzSyI/edit

Будем рады любой критике и обсуждению, а также людям, у которых был необходимый для проекта опыт.

👍НравитсяПонравилось0
В избранноеВ избранном0
LinkedIn
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Ви ж ТЗ відкритим для редагування зробили. Якщо у вас нема копії, то у мене для вас можуть бути погані новини.

Підказка: можна відкрити документ для коментування — це забезпечить можливість внесення видимих змін і порад в сам док, і в той же час захистити його від неправомірного переписування/видалення

Вопрос:
1) Сколько денег готовы платить?
2) Откуда предполагается получать бабло?
3) Чем это лучше существующих сервисов?

Идея не нова, рынок наполнен и без какой то «изюминки» влезть туда и закрепиться вряд ли получится.

Существуют 10000 +1 проектов, которые делают то,что у вас описано, и даже больше.
В вашем т/з пункт — «Процесс взаимодействия пользователя с системой» это полный ужас и вчерашний день в функциональности подобных систем. Платные системы скраппинга и дата майнинга выходят на алгоритмы взаимодействия с пользователем такого уровня —
1-Пользователь выбирает, из предложенного набора, тематику данных для скрапинга (2-3 уровней будет достаточно), например: каталоги-товары-парфюмерия.
2-Добавляет список корневых сайтов.
СТАРТ!!! Все. за такое люди готовы платить.
P.S — Погрешность скраппинга в таких случаях составляет в среднем 75-80%.

Тот алгоритм, который описан у вас, из серии — «сделай сам», вряд ли окажется экономически выгодным.

имхо, первым пунктом должен идти анализ конкурентов, пересечение по фичам Вашего продукта и существующих аналогов и почему они будут лучше
...

Проект ориентирован на максимальную простоту использования сервиса
Первый шаг. Пользователь определяет набор сущностей, с которыми будет вестись работа, типизирует поля и определяет отношения между сущностями (проектирует Модель данных)
тут как бы противоречие просматривается.
...
in my simple world, лучше продавать не инструмент WYSIWYG, а конечные парсеры сервисов. Например для Linkedin-а многи захотели попарсить контакты, так как в новой версии RESTful API они закрыли эту фичу.

developer.yahoo.com/yql, в качестве визуального редактора — yahoo pipes.

pipes.yahoo.com/pipes

“The service will be put in read-only mode until we will discontinue Yahoo Pipes on September 30th 2015”

Погасили... :(

Но кстати минус всех «интересных» продуктов — продукт может исчезнуть в любой момент.

а чем это отличается от миллионов аналогичных сервисов? www.google.com.ua/...rch?q=visual web scraping

Подписаться на комментарии