Я засадив ШІ копати архіви по селах

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Всім привіт. Мене звати Володимир, працюю девопсом, а у вільний час зробив штуку, яка не окупиться ніколи, і саме тому вона мені цікава.

На цьому тижні я написав на Reddit та Тредс, і пост несподівано розлетівся. Але що мене здивувало: найбільше питали не про історію, а про інженерію, тобто як я не даю моделі брехати. Тут аудиторія, яка таке питає професійно, тому розкажу саме цей бік, а не зворушливу частину.

З чого почалось

Спробуйте загуглити своє село або село, звідки ваші баба з дідом. Ви знайдете один і той самий абзац: дата заснування, скільки людей, рядок про війну. Він стоїть слово в слово на десяти сайтах, і від повторення виглядає як факт. Звідки він узявся, не перевіряв ніхто, бо там ні трафіку, ні грошей.

Нормальний шлях перевірити це такий: Похилевич 1864, Słownik geograficzny, списки 1900 року, дореволюційна преса через LIBRARIA, томи «Реабілітованих», метричні книги з ЦДІАК і ДАКО. Сотні годин над сканами, частина з них рукописні і не українською. Жодна жива людина цього для свого села не зробить, бо це не вечір, це місяці.

Чому це не скрейпер

Перше, що хочеться зробити, це написати парсер. Не працює: кожне джерело це інший формат, інша мова, інша орфографія, а половина взагалі картинка з рукописом. Модель тут не «генерує контент», вона робить нудну роботу: гризе OCR газети столітньої давнини, зводить написання одного прізвища в п’яти варіантах, знаходить той самий двір у двох ревізіях.

Як виглядає прогін по одному селу

Це не один промпт. Село йде конвеєром:

• розвідники, кожен у своїй зоні джерел (архівні описи, преса, метрики, краєзнавство, люди поіменно), і кожен не знає, що знайшли інші
• зведення, яке складає їхні звіти в один файл і навмисно НЕ згладжує суперечностей, а виписує їх окремо
• автор сторінки, який бачить тільки свій зріз зведення, і пише з виноскою під кожним твердженням
• звірка: окрема модель з чистим контекстом читає готову сторінку проти її джерел, не знаючи, хто її писав. На біографіях ганяю двома моделями незалежно, бо розбіжність між ними це найкращий сигнал, що місце слабке

Як я не даю галюцинувати

Два прийоми, і обидва нудні.

Перший: твердження без джерела не існує. Під кожним реченням на сайті виноска, звідки воно. Це не гарантія істини, бо джерело саме може брехати, але це гарантія, що є що перевіряти, і видно кому саме не вірити.

Другий: гейт на білді. Якщо сторінка не сходиться зі своїми джерелами, вона не публікується, лишається чернеткою, а список блокерів я читаю руками. Тобто «майже правильно» не виходить у світ взагалі, і це рішення, яке довелось приймати свідомо: краще хай село чекає місяць, ніж стоїть вигадана дата.

Що не вийшло

Рукопис. Я пробував спеціалізовані HTR-моделі, і вони вигадують прізвища, що для метричної книги означає «вигадують людей». Довелось відкотитись до дорожчого варіанту: сторінка за сторінкою очима моделі, по одній, без довгих циклів.

І про ціну, бо тут люблять конкретику: одне село це мільйони токенів, наприклад, останнє село увібрало в себе 6.3м токенів. Лімітом я вперся швидко, і основна оптимізація була не в промптах, а в тому, щоб агент не дивився на скани, які йому не потрібні.

Де воно зараз

42 села Макарівщини на Київщині, близько 350 сторінок про події, 117 біографій, 8717 записів із метричних книг, 546 джерел з посиланнями. Безкоштовно, жодної реєстрації чи смс.

mistok.wiki

Напрацювання зі сканів і метрик поступово складаю сюди: github.com/OuFinx/mistok-chytalnia

Якщо ваші люди з Макарівщини, спробуйте пошукати своїх. І якщо знаєте джерело, яке я проґавив, кидайте, буду вдячний.

Та і в цілому якщо будуть якісь ідеї — то кажіть.