Анатомия и физиология DOU в картинках: -)

гляньте, что я нарисовал:

все очень глючно — в частности, кто на кого сколько раз ссылается, определяется тупо поиском имени в комментариях, поэтому, например, узел «Сергей» получает все линки, предназначающиеся для узла «Сергей Волошин», и т.д.:) когда построю языковую модель, буду сравнивать тексты в комментариях, тогда картинка будет точнее (и можно будет незалогиненых пользователей тоже показать).

размер вершины пропорционален числу постов от залогиненого пользователя, толщина ребра графа пропорциональна сумме упоминаний друг друга парой пользователей. ребра с весом < 4 отcекаются.

enjoy:)

Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті

Теми: data mining, graphviz, social graph

Ctrl + Enter

Sergiy Matusevych вечный чайник 07.11.2009 09:51

таке. 50 самых активных пользователей (включая незарегистрировавшихся), и 250 самых сильных линков. видно, что теперь вершина «Сергей» уже не получает линков, предназачающихся для узла «Сергей Волошин», и т.п. ну и вообще, лучше видны тенденции — напр. оживленная переписка crypto5 — Rus, восходящая звезда Сеня Лютый и Emery Emerald, etc., etc.: -)

Відповісти

Підтримати

Sergiy Matusevych вечный чайник 07.11.2009 09:00

crypto5: таки да — я в очередной раз убеджаюсь, что простое лучше сложного:) не работает мой байес (точнее, работает, но оочень криво), а вот такая простая метрика, как процент совпадения триграмм, похоже, самое оно. дешево и сердито. сейчас сгружу форум и новую картинку сгенерю.

crypto5 31.10.2009 04:17

Ну если я правильно понял задачу, то ты хочешь анализируя текст постов, определить кто кого цитирует. Я думаю что можно построить модели языка каждого поста, а потом искать расстояние между этими моделями. Если бы я решал бы ее, то наверное бы сделал следующий алгоритм: — для каждого поста создаем Forward Index. Только храним там не слова, а фразы, длина которых выше какого то порога (я бы выбрал 3 слова) + вес фразы = f (ее длина). f я бы выбрал как f (x) = x ^ 3, что бы усилить роль длинных фраз. — для каждого поста, проходим по хронологически предыдущим постам в ветке, и ищем посты, расстояние между которыми и текущим постом больше нуля. Расстояние между постами и будет мерой цитируемости. Расстояние между постами = сумма весов общих фраз.

Как видишь я в нем забил на вероятности, но думаю что они бы только усложнили дело без увеличения качества, так как часть повторяющихся фраз в одном и том же посте, ничтожно мала.

Sergiy Matusevych вечный чайник 31.10.2009 03:06

crypto5: дык если бы было совсем очевидно, я и не брался б за это дело:), а что, у тебя есть какие-то идеи получше?, а за aot спасибо, обязательно посмотрю

anonymous 30.10.2009 17:45

то-то я думаю почему yahoo не пользуюсь

Eugene LockDog Kislyy Senior Java Developer в Erbis 30.10.2009 09:17

О, я в верхнем углу левом какой-то аутист что-ли, ни с кем не связан:)

Видимо бухаем с другими чуваками в углу схемы.

Александр Маненко 30.10.2009 07:06

А мне нравится =)

crypto5 30.10.2009 00:20

Очень неочевидно как такая модель может пригодиться для обозначенной тобой задачи. Кстати если интересуешься для POST русского языка есть отличная библиотека aot.ru.

Sergiy Matusevych вечный чайник 30.10.2009 00:15

crypto5:

Ну так что такое модель? Части речи, падежи, склонения?

я имел ввиду Language model. то, о чем ты говоришь, называется POST. впрочем, я сам в этом деле пока полный пень:)

crypto5 29.10.2009 22:57

Sergiy Matusevych вечный чайник 29.10.2009 22:32

crypto5: ну, модель я и так строю, ради этого все и затевалось., а в данном случае можно выделить из комментария цитаты и посмотреть, кого именно цитируют. тупо искать по тексту, во-первых, неинтересно, а во-вторых, в цитатах часто пропущены слова и предложения и пр., так что с моделью должно быть вернее — тем более любопытно потом сравнить, какой подход лучше.

Сашко: расположение вершин роли не играет — картинка вся на совести graphviz-a:)

Сашко 29.10.2009 21:44

О, я почти в центре, по правую сторону Макса Ищенко!

crypto5 29.10.2009 21:28

А что в данном случае языковая модель и зачем она нужна?

Sergiy Matusevych вечный чайник 29.10.2009 21:23

Сергей Волошин: дык на imgur я их загружал как png: -\

Sergii Voloshyn Product Manager в DOU.ua 29.10.2009 21:21

Вот только зачем использовать JPG формат для такого рода картинок: (

Постоянно в таких случаях вспоминаю комикс

Sergiy Matusevych вечный чайник 29.10.2009 21:17

Сергей Волошин: держи побольше.:) сорри, что imgur так беспощадно их сжимает., а древовидные комментарии это неспортивно — тогда и языковая модель ни к чему, все и так видно:)

Sergiy Matusevych вечный чайник 29.10.2009 21:13

crypto5: вот далась вам всем моя работа:) работы у меня навалом, и очень интересной, но я сейчас еще смотрю лекции по machine learning на videolectures.net, и в процессе учебы экспериментирую со всякими данными.

Sergii Voloshyn Product Manager в DOU.ua 29.10.2009 21:09

Интересно вышло:) В большем размере нет?

Наверное картинка была бы намного правильнее и красивее если бы на форуме комментарии были древовидными — было бы сразу видно кто кому отвечает.

crypto5 29.10.2009 21:07

Вас там в Яху вообще работой не загружают?; -)

Анатомия и физиология DOU в картинках: -)

19 коментарів

Підписатись на коментарі