Python conf in Kharkiv, Nov 16 with Intel, Elastic engineering leaders. Prices go up 21.10

Эталонный справочник населённых пунктов Украины

При разработке нового проекта возникла необходимость в справочнике населённых пунктов нашей родины. В наличии уже есть дамп области — города. Но ... хочется сделать всё правильно. Есть надежды, что цифровые сервисы у нас разрастутся и вопрос интеграции различных сервисов будет актуален.

В связи с этим, хотелось бы изначально ориентироваться на некий стандартный справочник (касательно населённых пунктов). Т.е. что бы ID города и области был таким же как и у всех остальных.

Что бы была возможность синхронизировать этот справочник — в связи со сменой официального названия, и т.д. В идеале что бы там были координаты, население и прочие плюшки. Не правильно все Горiшнi Плавнi переименовывать вручную.

Варианты которые кажутся наиболее рациональными :
— конвертация и периодическое обновление по OpenStreetMap
— найти открытый государственный источник данных (идеально , но где ? )

Натолкните на правильный путь.

LinkedIn
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

были б еще с координатами

Може комусь стане у пригоді — ось є щось подібне digisales.com.ua/...​-adresa-ukrainy-2018.html

по суті продають те, що у вільному доступі укрпошти

ukrposhta.ua/...​idnik-poshtovix-adre/opis

см. геопортал «Адміністративно-територіальний устрій України» atu.minregion.gov.ua
разделы Довідник atu.minregion.gov.ua/ua/ustriydo2015
& карта (с пошуком) atu.minregion.gov.ua/ua/karta

допоки цей довідник не можна скачати у машино-читабельному форматі, толку з цього нуль

База также есть бумажная (hard copy):
Адміністративно-територіальний устрій України / А. І. Жежера (авт.-упоряд.). — К. : Держ. підпр. «Державний картографо-геодезичний фонд України» ДП «Укркартгеофонд», 2005. — 800 с. (тираж 500 прим.; ISBN немає?!?)
У них же ( gki.com.ua ) она есть, вероятно, и в электронном виде...

Повний і найактуальніший довідник населених пунктів України є у кабінеті виборця у розділі відкриті дані на сайті www.drv.gov.ua

а как же от туда, забрать список по всей стране

Каждую неделю обновляется полный справочник населенных пунктов с индексами на сайте УкрПочты в формате csv:
ukrposhta.ua/...idnik-poshtovix-adre/opis

Кстати из ВРУ мне тогда так и не ответили

Похоже, что эту возможность уже убрали...

Беріть звідси 486.kiev.ua/geospatial/uadm джерело OpenStreetMap

Не правильно все Горiшнi Плавнi переименовывать вручную.
Hand-made наше все.

Тут просили натолкнуть на правильный путь — наталкиваю. Держкомстат обрабатывает не только запросы ведомств, но и запросы граждан. Спросите их, ЕСТЬ ЛИ открытый источник таких данных, который поддерживается в актуальном состоянии. Сами ж они чем-то пользуются?

Не думаю. Вероятнее всего то что можно назвать первоисточником прямо у них на серваке лежит.

Ви сильно гарно думаєте про держустанови... :)

От Міністерство інфраструктури України, с почтовыми индексами, но только на украинском, csv.
data.gov.ua/...6a-497e-b80d-8879425e8f9c
Похоже DBF от Укрстат лучше.

116 МБ у форматі CSV? Нічого собі. Що ж там за інфа? (зараз не можу скачати)

Структура така:
область | район | населений пункт | вулиця | будинок | vpz_ua | поштовий індекс | region | district | settlement | Post office | street_en | houses_en | поштовий індекс

Всі населені пункти, вулиці, будинки з індексами. База Укрпошти. Коли вона мені була потрібна то Укрпошта захотіла за доступ не менше 2500 грн. на місяць, тоді я просто купив двомовну базу (укр, рос) в одного з сайтів за 800 грн.. Укрпошта повинна мати найактуальнішу базу. Обіцяють оновлення кожен квартал, тобто наступного місяця чекаємо на оновлення. З мінусів — тільки українська та англійська, виходячи з реалій ринку російська теж необхідна для багатьох проектів.

Ну так то ж саме «цікаве» вам залишилося, я його від учора намагаюсь розділити на складові, але щось поки що вдалось відокремити лише різні області, міста обласного значення й райони...

Не все так просто коли у MySQL треба бачити сусідні рядки. В MS SQL, PostgreSQL є віконні/аналітичні функції, які із цим би справились швидше, а у MySQL приходиться викручуватись через локальні змінні.

КОАТУУ — складний, але доволі непоганий класифікатор. Головне зрозуміти принцип побудови. Отже, країна ділиться на області, АР Крим та міста глобального підпопрядкування (Київ та Севастополь). Область ділиться на райони та міста обласного значення. Райони діляться на міста, смт, села, селища. Деякі ради підпорядковуються містам різного рівня.

Та воно то все зрозуміло, але чому б це все діло не розкидати по-людськи на різні таблиці? Не уявляю хоча б один випадок, коли може потребуватись усі оці населені пункти з різним підпорядкуванням скидати в одну купу.

Єдине що рятує — якщо сортувати за полем із загадковою назвою «TE», то можна візуально прослідкувати зв’язки різних рядків...

Тому що це класифікатор. Ключ — значення. Ви ще не бачили товарний класифікатор імпортно-експортних операцій.

Номер КОАТУУ формується за певною логікою, і вона описана в окремому документі. Але є одне але, є деякі «виключення» із правил, тому розбір КОАТУУ на запчастини та побудова дерева залежностей ще той гемор

Там ще поняття сільради є, на яке зав’язано багато. Плюс вони йдуть окремим рівнем підпорядкування — село підпорядковується однойменній сільраді і це 2 різних записи в БД.
UPD скачав SQL файл — там жесть :) колись мені попадався довідничок (на жаль, він під NDA, а то я б поділився), то там красиво, з parent_id і нормальним позначенням типу населеного пункту

Є ще отака жесть: Електронний довідник «Україна. Адміністративно-територіальний устрій».

Таке враження, що ті хто це створював, знаходяться ще на початку якихось 90-их років (дані надають у rtf-форматі, з різними табличками на окремих листах =)

Написал письмо в соотв. отдел ВРУ, со ссылкой на данный топик.
Возможно, есть либо планируется API доступа к данным.
На самом деле, шикарный источник !

База есть бумажная (hard copy):
Україна: Адміністративно-територіальний устрій (станом на 1 січня 2012 р.) / Верховна Рада України; за заг. ред. В. О. Зайчука; Г. П. Скопненко (відп. ред.), В. І. Гапотченко (упорядник). — К. : Парламентське видавництво, 2012. — 784 с. — 2000 прим. — ISBN 978-966-611-865-6.
У них же она есть, вероятно, и в электронном виде...

У всех административных уровней (область, район, сельские советы, населенные пункты) есть уникальный код КОАТУУ. Почему бы его не использовать как уникальный ID.
На сайте гос статистики есть полный список, обновляется каждый месяц. Все недавние переименования городов уже внесены.

Ukrstat.gov.ua — рубрика методология и классификации/клас фикации/коатуу

У всех административных уровней (область, район, сельские советы, населенные пункты) есть уникальный код КОАТУУ. Почему бы его не использовать как уникальный ID.
Использовать в своей базе данных уникальный ID, создание/изменнеие которых вы не контролируете — плохая идея — сами ключи могут меняться, в них могут быть ошибки, в определенный момент каталог могут перестать поддерживать, или вам понадобиться добавить еще одну страну, в которой вероятно будут использоваться совсем другие идентификаторы, или просто добавить данные из еще одного каталога.

Ключи могут генерироваться по плохому алгоритму и вы в своем хранилище получите проблемы с локальной/глобальной кластеризацией и в итоге проблемы с производительностью.

Более того, в случае с КОАТУУ это еще более плохая идея, так как это целочисленные ключи, которые могут иметь leading zeros. При перемещении этих ID по системе в каком-то месте из-за плохого кода эти нули могут потеряться, конец предсказуем.

Не думаю, что автор имел ввиду ID на уровне primary key базы данных.

Ух ти, прикольно, дякую.

Це ще треба знати що шукати. Мабуть же і раніше ця база була. Стільки шукав, не гуглиться по 

База даних населених пунктів України

А тут раз

КОАТУУ site:ukrstat.gov.ua
і перший лінк — те що треба =). Одне погано — формат файлів бази даних ... якийсь DBF — точно менш поширений, ніж простий дамб для MySQL.

Тепер не знаю чим відкрити на Ubuntu цей DBF, при спробі вибрати кодування для LibreOffice, відвалюється... Прийдеться ставити собі dbf2mysql...

Учитывайте, что КОАТУУ, иногда могут менятся. Основанием для обновления номера являются изменения подчиненности и названий объектов административно-территориального устройства Украины. Например, если деревня переходит в подчинение другого сельсовета.

Маша, ніяких «деревень» у нас немає, слава богу, є лише села...

П.С. Ще не погано було б розшифрувати яким кодуванням бази закодовані, бо не latin, не utf8, не cp1251... Капець якийсь...

Как вариант, там в архиве должен быть еще excel файл, его можно превратить в csv...
или здесь tools.perceptus.ca/text-wiz.php?ops=7 можно содержимое екселя в sql запросы превратить

Эх молодежь... про досовские кодировки уже не помнят. Про базу данных FoxPro даже не слышали наверное )))

Сталкивались недавно с подобной задачей. В интернете информацию нашли только в приведенном здесь в комментариях sql дампе. но она не актуальна как минимум из-за декомунизации. А так самая актуальная база у укр почты.

Пользуйся почтовыми индексами в качестве ID — не ошибёшься. Единственное что под города где индексов несколько (вроде только Киев сейчас) бери основной индекс.
Коды телефонов тоже канают. Но если хочешь полагаться именно на гос.сервис — присосись к сайту Укрпочты, а там по индексу. Только надо именно синхронизировать со своим кешем, потому что их сайт не круглосуточный, нередко ночью уходит в несознанку.

А вот и нет. Даже мелкие города с 50 000 населением имеют по 5 почтовых отделений, соответственно 5 разных индексов.

Последние 2 нуля. Этого достаточно.

Пользуйся почтовыми индексами в качестве ID — не ошибёшься
(facepalm)

MySQL dump населених пунктів України (в архіві формату 7z, 184 кБ) українською мовою.

Спарсив із сайту Укрпошти (у розділі «Пошук за місцем розташування») десь у 2010 році.

Що стосується «стандарних ID населених пунктів України для всіх баз даних»... не бачу в цьому сенсу.

Ищу уже 4 год,ни налоговая,ни статистика его не выкладывает в свободный доступ

Не знаю как насчёт эталонного, но можно попробовать загружать список через api Новой Почты.
oborot.in/novaposhta/area.xml
oborot.in/novaposhta/city.xml

В гос.справочнике город Киев должен быть выделен отдельно

Горішні Плавні наявні. Отже база уже після декомунізації.
Сіл немає.

Подписаться на комментарии