dns сервер з захистом від порно

Привіт. Почали писати dns сервер, який буде блокувати порно сайти. Проект складається з двох частин:

1. Статичний сайт з скірншотами як змінити днс сервер на різних ОС.
2. ДНС сервер.
2.1 Сервером є PowerDNS бо він вміє працювати з БД. БД вибрав PostgreSQL.
2.2 Скрапер, який буде в гуглі шукати порносайти. Слова які треба вводити в гугл можна найти на першому ліпшому порносайті в тезі <meta keywords=""/>
2.3 Бот який буде вичитувати з БД домени знайдені скрапером, заходити на них і за допомогою класифікатора баєса визначати чи справді на сайті є порно. Також пізніше буде ще один бот, який буде дивитись на неймсервери вже знайдених порносайтів і буде заносити в таблицю підозрілих сайтів, домени, які мають однакові неймсервери з порносайтами. Тобто бот кожному домену буде виставляти якусь оцінку, за певними критеріями, наскільки він є порносайтом, і після якогось порогу домен буде блокуватись.

Цікаво чи комусь був би цікавим такий сервіс щоб обмежити дітям доступ до порно і чи хтось би ним користувався?

👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Коментар порушує правила спільноти і видалений модераторами.

Коментар порушує правила спільноти і видалений модераторами.

Коментар порушує правила спільноти і видалений модераторами.

Дитё пойдёт на какой-нибудь торрент и скачает всё, что надо. Или на любую файлшару. Или в гугле в картинках поищет пока не найдёт.. Своими действиями вы только подтолкнёте его на путь исследователя-первопроходца :о)
Все попытки цензуры чего-либо в интернете выглядят весьма мило и особо забавляют тех, против кого направлены. Самый лучший способ защиты — это папа, который почитал название файлов свежих cookies и пошел за ремнём.
И если честно, то не понимаю смысл подобных запретов. По-моему, это больше родители от детей защищаются, чтобы не попасть в какую-нибудь неудобную ситуацию или не пришлось ребенку объяснять физиологию человеческого организма.

Если возраст пришел и стало интересно — то пускай себе лазит. Не монаха выращиваете же. Со временем повышенный интерес пройдёт.

чим ваш сервіс буде відрізнятись від скажімо OpenDNS.com ?

В них є багато категорій фільтаціїї — від порно до сoціальних мереж.

Идея хорошая, удачи вам.

Но вот что делать с ВКонтакте?

Там такого добра, которое вы хочете блокировать, немеряно. А заблокировав ВКонтакте, вы рискуете лишиться львиной доли аудитории — это ж центровой сайт всего интернетика :)

Запустили сьогодні сервіс — antip.org.ua . В кого є діти — можете спробувати. Наразі відсоток блокування не великий, але він буде збільшуватись з часом.

ви пропонуєте поставити головним ваш ДНС, а запасним — інший, без фільтрації.

типу, на випадок фейлу?

цікаво, що зробить Windows, якщо основний ДНС зафейлить? перейде на запасний permanently, чи щоразу намагатиметься достукатися до основного, а після таймауту юзатиме запасний?

а запасним — інший, без фільтрації.
Наразі так. З часом зробимо так як треба. Наразі керуємось принципом — «Випускаєм мало, випускаєм часто».
цікаво, що зробить Windows, якщо основний ДНС зафейлить?
Так. Справді цікаво, треба буде перевірити.

Кому цікаво чим закінчиться історія з цим проектом, ось його репозиторій — trac.asyncore.org/antip Десь за 2−3тижні випустимо 0.1.0 версію, тоді і відкриєм репозиторій повністю.

дополнительный источник «монетизации»: сливать эту базу данных всем желающим в удобном отструктурированном виде =)

Источник дополнительной монетизации — качественно отсортированный и классифицированный список ссылок.
По поводу идеи — хз, всегда найдется решение проблемы. Которая нормально решалась, когда интернетов ваших не было. Это больше защита от случайного попадания, но никак не от целеустремленного поиска. Я бы пользовался встроенными в систему средствами, потому как 100% гарантии все равно нет, а захочет — все равно найдет.

А травму можно получить и от картинки мужского полового члена в википедии.

Коментар порушує правила спільноти і видалений модераторами.

Задача интересная, и нужная, но на украинском рынке бабла на этом много не срубишь скорее всего, нужно сразу глобально позиционироваться.

Дуже і дуже цікава ідея. Сам не раз задумувався над цим питанням, але до написання чогось подібного руки так і не дійшли. Як не дивно, думки про порно фільтр прийшли не через дітей, а через скарги моїх батьків. Батько постійно працює за комп’ютером і регулярно скаржиться що при роботі в неті: «Всюди ті голі БАБИ!!! ».

Одним словом ідея супер, на рівні DNS, думаю, ще ніхто робити не пробував.

Залюбки допоможу з розробкою (мейліть).

> Залюбки допоможу з розробкою (мейліть).
Не можу найти emeil в вашому профілі, тому запишіть мій — crchemist @ gmail.com Для розробки ми використовуємо:
Trac
Mercurial
PostgreSQL

Python-3.2

Одни наши клиенты (правда в России) пользовались таким сервисом (лет 5 назал начали) Была у них надбавка к тарифу (кажется 12о рублей в месяц) за детcикий интернет. Жутко популярной услуга не стала, но и что бы не провалилась нельзя сказать. Пишите в личкеу — спрошу у тамошниз админов как сейчас оно

Я думаю имеет смысл — пробежаться по ISP (их сравнительно немного, в смысле сотни, а не тысячи) и спросить — нужно ли им такое? — есть ли такие серисы и пользуются ли они ими?

C другой стороны, стартап рассчитанный на местную публику. которыз не больше 1000. где еще много носителей не самых прятных черт нашего менталитета... и без перспективы выхода за рубеж, где подобные сервисы (к примеру www.opendns.com/) есть давно... — я бы не вкладывался, если бы у меня в кармане не было какого=то особенного ноу-хау.

opendns.com цікавий сервіс. В овпенднс є недоліки, які як на мене заважають ним користуватись (принаймні в нас):
1. OpenDNS серверів нема в україні, навіть при швидкому інтернеті бровзання (принаймні перший захід на якийсь сайт) троха повільнуватий.
antip.org.ua буде розміщений в Україні, а в ідеальному випадку сам сервер буде в ISP
2. OpenDNS складний в користуванні. В opendns інтерфейс не готовий для звичайного користувача, який має вдома компютер для того щоб дивитись фільми і сидіти в контакті і твітері. Нема української мови. На OpenDNS треба реєструватись.
antip буде мати український інтерфейс, не буде жодної реєстрації чи чогось подібного. простенький сайт який буде мати лише скріншоти як змінити dns в віндовсі. Пізніше можливо програмки мінімальні для зміни DHCP налаштувань.
3. OpenDNS має купу різних налаштувань нікому не потрібних. Наш сервер буде блокувати тільки порно і проксі сайти (типу hidemyass.com). В купі з попередніми пунктами система може бути цікава компаніям які через проксі блокують фейсбук, gmail і тд. Проблема таких фірм в тому що можна нагуглити проксі сайт (hidemyass.com) і через них заходити на gmail і тд. Такі фірми можуть надалі використовувати своє проксі, а antip для того щоб користувачі не могли зайти на проксі сайти. так як наш список автоматично весь час буде оновлюватись — їм нетреба буде весь час ті штуки моніторити. Просто налаштуються antip dns — тай по всьому

4. OpenDNS не вміє працювати з локальними мережами. Для ISP це неприйнятний варіант

«Нікому не потрібні налаштування», — це ви погарячкували, я так вважаю. Мені наприклад їх не вистачає. Скажімо можливості додавати статичні локальні хости (типу mylocalserver 10.0.0.2). Це б сильно спростило мені життя. Також вам слід задуматись над архітектурою в цілому, на одному сервері це жити довго не зможе. anycast як ваірант теж потрібен.

> на одному сервері це жити довго не зможе
угу: (Приблизно пораховували скільки буде даних. Получається приблизно 120 млн записів в БД в всіх таблицях (домени + неймсервери + деякі дані будуть дублюватись)

Треба буде щось думати, коли ціна за сервер стане зависокою. Стараємось не дуже завязуватись на PostgreSQL. Стараємось використовувати БД суто для збереження даних, і по максимуму уникати перенесення якогось функціоналу в БД. Є варіант що якусь частину даних пізніше можна буде розміщувати в Appengine Datastore

Ми думаємо запустити antip.org.ua для звичайних людей. Хоча в більшій мірі нас цікавлять ISP. Вони б могли ставити сам DNS в себе і пропонувати своїм клієнтам альтернативний dns, а дані для нього кожного дня брати по підписці з нашого сервера, на якому буде працювати система.

Ви б користувались альтернативним DNS вашого провайдера якби в них був такий?

Мне кажется Вы изобретаете велосипед. Чем вас не устраивают прокси-сервер? Устанавливаете локально прокси, ставите фильтр по содержанию загружаемых хтмл страниц и вуаля.

> Мне кажется Вы изобретаете велосипед.

Найпопурярніший подібний сервіс — це opendns.com. В ньому є купа недоліків для звичайних користувачів. Якщо попросите, наведу цілий список чим наш сервіс по ідеї може бути кращим.

> Чем вас не устраивают прокси-сервер?
Для нас головне мати систему (базу даних) яка має правильний і актуальний список порносайтів. Фронтенд може бути будь-який. Можливо і проксі колись зробимо.
А не влаштовує мене проксі тим що я маючи права рута зможу його обійти. Чому дитина програміста не зможе цього зробити:)
> ставите фильтр по содержанию загружаемых хтмл страниц и вуаля.

Зараз є купа таких рішень і напевно ви погодитесь що вони більше злять (блокують хороші сайти). Ми хочемо зробити саме систему з мінімальною кількістю промахів. Фільтри по контенту в принципі не можуть дати такий результат.

Поразмыслив над Вашей идеей еще раз, должен признать что она хороша:) Хороша по сравнению с прокси-сервером, например, тем, что она будет доступна и понятна не только людям из ИТ, а и простым смертным, особенно если для ее активации нужно будет просто позвонить провайдеру и заказать.
Удачи Вам!

Да что плохого в порно, в конце концов?:)
А идея эта — даже сам автор говорит, что может заблокировать, а может и не заблокировать... Полуидея. Нет в ней 100% защиты от порно. И автор это признает. Так, простите, нафиг оно надо если нет надлежащего качества?
Кстати, socks5 предусматривает подмену ДНС сервера.

ИМХО, много денег вы брать не сможете, потому что гарантировать защиту от порно не сможете. ДНС сервер для этого просто не предназначен, и точка. Фтопку.

Ось антивіруси беруть купи грошей, але теж пропускають і false positives в них теж дуже часто трапляються:) В блокуванні якогось контенту не може бути 100відсотків. І це цілком нормально.

Ребенок програмиста, который сможет получить права рута найдет возможность скачать порнуху обойдя DNS сервер.:))

Взять хотя-бы торренты. Как с ними бороться?

> Взять хотя-бы торренты. Как с ними бороться?

наразі за торенти не думали. Треба почитати про протокол. Думаю ту саму технологію можна застосувавати для блокування певних айпішок через проксі. Проксі, чи ДНС сервер, чи Adblock subsсripiton — це можливі фронтенди для системи.

ИМХО, если я в URI строке броузера наберу http://123.45.67.89/ вместо porno.com — то DNS сервер ничего ресольвить не будет — ему запросы отправляться не будут, поэтому никакого ограждения от порно контента не будет. О том, как ресольвить IP адрес вручную (получить А и С записи:) — знает любой школьник:
1) запустить в ДОС окне tracert.exe < имя_сайта>

2) воспользоваться веб-службами, по типу dnsstuff.com

ИМХО, ограничить доступ к порно можно только через прокси (или socs-proxy). ДНС сервер можно обойти вышеуказанным способом.

Да и в броузерах механизм parental advisory никто не отменял

> ИМХО, если я в URI строке броузера наберу http://123.45.67.89/ вместо porno.com — то DNS сервер ничего ресольвить не будет — ему запросы отправляться не будут, поэтому никакого ограждения от порно контента не будет.

насправді буде.
1. картинки та відео які переважно містяться піддоменах. в 90відсотках випадків так і буде

2. віртуальний хостинг. коли на одній айпішці крутиться багато сайтів. тому хідер HOST є обовязковим. це теж великий відсоток сайтів

> 1) запустить в ДОС окне tracert.exe < имя_сайта>

не спрацює бо всі запису для домену буде наш DNS віддавати.

> 2) воспользоваться веб-службами, по типу dnsstuff.com.

Те саме що і з віртуальним гостингом і піддоменами.

> ДНС сервер можно обойти вышеуказанным способом.

Насправді не получиться. Але тут є ще одна цікава штука — тихенько від дитини змінити DNS на компютері. Тоді коли з гугла вона буде пробувати зайти на якийсь сайт, а її буде редіректити на вікіпедію або щось подібне — вона просто не зрозуміє що сталось і буде думати що гугл погано шукає

> Да и в броузерах механизм parental advisory никто не отменял

Я дивлюсь це зі своєї сторони. Особисто я зможу скачати інший бравзер і тд. На рахунок DNS — особисто я не знаю як обійти його так щоб один порносайт я нормально міг дивитись менше ніж приблизно за дві години.

dnsstuff.com сработает, потому что этот сайт не является как порно, а в постящихся через форму данных нет ничего крамольного. Но дело не в этом — по-идее да, даже если и каким-то хитрым способом выйти на главную страницу порносайта — картинок и прочей графики мы не увидим, потому что ДНС сервер просто по определению не отресольвит хост, в мета тэгах главной страницы которой имеются запрещенные ключевые слова (а картинки ведь грузятся по HTTP)
Но... Че-то мне кажется, это все равно можно обойти — если написать socks-proxy (через который, естественно, пойдет весь HTTP трафик браузера), который будет в запросах искать //имя_хоста/ ресольвить его через абсолютно не крамольные веб-службы, и подменять на //ip_address/ — то это будет хаком:)

Є багато онлайн проксі. Ми їх теж будем блокувати.

> если написать socks-proxy

ну це треба дуже любити порно, якщо в 7−13 років заради цього писати свій власний проксі:). Та, в такому випадку dns не захистить, тільки психіатр:)

це є єдиний варіант про який ми знаєм. його і справді обійти ми не можемо, нажаль. Ну відео там слава Богу нема.

По суті для нас головне актуальна БД, далі ми можемо запустити ше й проксі яке буде фільтрувати по контенту — але це вже інша історія. Наразі зробити найменше геморою для кінцевого користувача.

Цікавить ваша думка — Ви саме через відкритий гуглкеш справді відмовились би від користування системою? Цікавить наскільки це реальна проблему через яку користувачі не схочуть користвуватись системою

> Цікаво чи комусь був би цікавим такий сервіс щоб обмежити дітям доступ до порно і чи хтось би ним користувався?

Я cейчас пользуюсь Windows Parental Controls для сына в семёрке. Достаточно жестко коцает сайты, но приносимая польза больше вреда. До этого пользовался K9 Web Protection в Windows XP, может перейду на него опять.

Они хороши временем реакции на появление сайтов и различных методик обхода. Всё остальное мелочи. Естественно, менять DNS сервер несколько радикальное решение, и совсем негибкое, проще фильтром в браузере.

>, но приносимая польза больше вреда.

всьому треба знати міру. ми пишемо сервіс з огляду на те щоб краще він показав порно, ніж заблокував звичайну сторінку. Також є механізм який весь час слідкує за БД і дивиться чи відсоток заблокованих сайтів є в нормі і при збої якогось скрипта — коли може почати блокуватись все підряд — механізм блокування відключається до моменту поки не буде зясована причина. Ми робимо все можливе щоб уникнути блокування звичайних сайтів.

> Они хороши временем реакции на появление сайтов
Наш сервіс по ідеї теж має бути реактивним. Для цього передбачено два механізми:
1. В нас є список nameserver-ів на яких гостяться порносайти. Відповідно якщо на nameserver є 100 сайтів і всі з них — порно. То при спробі зайти на 101ий про який ми нічого не знаєм — ми його автоматично блокуєм, тому що дуже велика ймовірність того що там теж буде порно. після певного аналізу — пізніше він може бути розблокований, але суть в тому щоб найшвидше зреагувати

2. Є ситуація коли порносайт не є популярним. І про нього не знає інтернет. Тільки ті хто його зробили і дитина його якимось чином найшла. Тобто в нашій системі його нема. Такі сайти ми знаходимо за допомогою логів нашого сервера, який знає до яких доменів звертаються люди. Це одне з інших джерел — всі сайти від людей теж попадають в БД і аналізуються

> проще фильтром в браузере.

як я написав вище в коментарі. Мене це не зупинить — тому велика ймовірність що дитина не дурніша за мене.

> и совсем негибкое.
ну тут з якої сторони подивитись.
1. не залежить від ОС. DNS ви можете тихенько поміняти в дитині на телефоні з якимось андроідом.

2. a) Ваш провайдер не має DHCP (наприклад як в мене в локальній мережі.). Тобто всі налаштування (в тому числі DNS-сервера) ви прописуєте самі в себе. В такому випадку змінити DNS зовсім не складно. б) Ваш провайдер має DHCP і сам встановлює всі налаштування. Тут треба буде програмку для вашої ОС щоб вона змінювала DNS.

Також ми говорили з локальними мережами. Вони готові пропонувати в якості послуги пропонувати своїм користувачам альтернативний DNS для блокування порно- і проксі- сайтів.

Mike Gorchak якщо б ваш провайдер пропонував такий DNS, ви б ним скористались?

Вибрано саме dns, так як я справді не бачу способу його обходу.

> > Вибрано саме dns, так як я справді не бачу способу його обходу.
Следующий (и самый деревянный) способ обхода DNS сервера — это файл hosts (под Вендой), в котором уже заранее в текстовом формате имеются сопоставления ip адреса с именем хоста. Поищите в системе hosts, hosts.sam — и все будет ясно.

Я знаю про /etc/hosts. Це теж не варіант для перегляду порносайтів. Цей метод не підходить.
Не підходить бо
1. Вам треба мати справжні айпішки серверів. В вас їх нема. Так, вам треба знати про dnsstuff.com. Ок. Виконали
2. Скільки часу вам треба буде з файєрбагом посидіти щоб визначити всі хости з відео і картинками на порносайті і потім їх прописати в /etc/hosts?

3. Змінювати hosts для дитини ризиковано. Тому що це довго, а по друге це легко можна відслідкувати і натякнути їй, що ви знаєте що вона по порносайтах лазить. Думаю це взагалі супер варіант, так як більше вона лазити вже точно не буде.

Струдомпрасцал Вашапраграм ще варіанти?

Блин, сначала банить порносайты, потом — прокси-сервера, следующий шаг ходить строем и петь песни?:)

Как говорится, на каждую хитрую ж... найдется свой болт с резьбой. Сколько времени потребуется — это уже вопрос другой, я лишь рассматривал технические моменты, но, думаю, немного, и этими файлами даже обмениваться могут. А в 7−13 лет дети очень продвинутые (нашумевший почтовый червь ILoveYou вообще написал школьник). Да и запретный плод — сладок, так что лучшее ограждение от порносайтов — это ремень.

ну крім проксі більше нічого не потрібно банити. <br>

> Да и запретный плод — сладокТут якраз і перевага над іншими програмами. DNS можна змінити і дитина не побачить.

> так что лучшее ограждение от порносайтов — это ремень. ну може не ремінь, а правильне виховання. Щодо програм блокування порно — я вірю що це в якійсь мірі допомагає. Крім того це спокій батьків, які сидять на роботі і знають що як змогли — так захистили.

> и этими файлами даже обмениваться могут. набагато більшою небезпекою я вважаю не порно сайти, а гейпорносайти. не думаю що з такими сайтами теж обмінюватись будуть. Та й в більшості — люди дивляться порно потайки від інших, тому з цим я не бачу жодної реальної проблеми. Багато чого залежить від середовища. Не уявляю собі середовища в якому діти hosts файлами з порно обмінються.

Для нас головне практичне застосування системи. Звичайно, що в теорії все можливо. Який відсоток ці теоретичні методи будуть мати на практиці? <br>

Крім того звичайно не існує ідеальних систем і наша теж буде пропускати порносайти. Нас цікавить відсоток дітей, яких ця система захистить. Ні в якому випадку не буде і не може бути 100відсотків. Будуть діти які обійдуть хаками захист (але ще раз нагалошу що ідеально було би якби дитина просто не знала що dns змінений), будуть також ті, які найдуть сайти що не блокуються системою.

На нашу думку саме dns-сервер дозволить збільшити цей відсоток в порівнянні з іншими системами які треба встановлювати на компютер, адже його можна, але найважче обійти. Крім того може бути якась допоміжна система на компютері, яка блокує по контенту

Чому Ви вважаєте, що саме DNS обійти найважче?

Як на мене, найважче обійти transparent proxy, який встановлено у ISP — там, додатково, є можливість аналізувати поле HOST HTTP-заголовка.

Також думаю, що варто дати можливість юзеру оперативно вмикати/вимикати фільтрацію (щоб батьки могли отримувати доступ до «полунички»).

> Як на мене, найважче обійти transparent proxy, який встановлено у ISP

Це теж хороша ідея. І як я написав це також може бути фронендом для системи. На все потрібен час, також ISP, які погодяться встановити систему. DNS дозволяє користувачам і без згоди ISP використовувати Antip. Саме тому наразі ми орієнтуємось виключно на DNS сервері як фронтенді, хоча як я писав вище — DNS сервер, це всього лиш фроненд, його можна замінити будь-чим іншим. Головне — це мати реактивну, падучостійку систему, яка буде містити актуальний список порносайтів з мінімальною кількістю false positives.

> Також думаю, що варто дати можливість юзеру оперативно вмикати/вимикати фільтрацію

Нажаль це неможливо. Не бачу способу це реалізувати без встановлення якогось ПЗ на компютер. Основна перевага Antip-у якраз в тому що його можна включити на компі, ноуті чи телефоні без встановлення жодних програм і саме тому його стає дуже важко відключити (або навіть замітити в системі).

реализовать это можно, причем очень просто

одна страничка на пхп при заходе на которую определяется внешний ipшник и переключатель, пускать через обычный днс или через отфильтрованный. На самом деле тема очень интересная

є можливість аналізувати поле HOST HTTP-заголовка.

С проксей есть возможность анализировать непосредственно контент каким-нибудь AI классификатором. Подключается к SQUID через ICAP протокол. Тема не новая, участвовал в таком проекте 5 лет назад, жалко загнулся проектец.

Впринципе отличить порно картинку от не-порно — в 2011 году вполне решаемо, только тут надо на какой-нибудь патент не наступить случайно.

так. це дуже цікаво. хотілось би з цим побавитись. але певно ще не скоро — наразі тільки ядро системи реалізоване. стільки всього ше дописати треба...

Удачи вам! Тема классная!

Ми рухаємось троха в іншому напрямку. Основним пріоритетом для нас є мати актуальну і якомого більшу базу доменів. В цій базі зберігається вся можлива інформація про домен і також історія. В майбутньому було би цікаво додати інформацію про урльки. Також зараз в процесі розробка REST API до цієї бд.

Класифікатор це добре. І в нас він зявиться за якийсь час, але в вигляді ботів які будуть лазити по сайтах і записувати дані в БД. Використовувати класифікатор real time як ви пропонуєте троха ризиковано. Дуже важливим є запобігання фальшивих спрацьовувань.

Щодо проксі. То воно зявиться, просто пізніше. ДНС, проксі — це все клієнти системи. Зараз затик в тому що треба для кожного популярного днс сервера чи проксі писати скриптик, який би запускався на клієнті, тягнув з нашого сервера домени і оновлював базу даних відповідного днс сервера чи проксі.

> Mike Gorchak якщо б ваш провайдер пропонував такий DNS, ви б ним скористались?

Врядли. Потому что рядом с тем 101ым сайтом находятся далеко не только порно сайты, а, например, варезные помойки. А DNS как я уже сказал слишком радикальный подход и мне будет неудобно переключаться между детским и взрослым интернетом.

Ну, а если по себе не равнять, то идея имеет шанс на жизнь.

Підписатись на коментарі