Дякую за назву класу, з нею легше шукати, хто вже розв’язував цю задачу. Archivarius я подивився: ще у 2005 році він шукав по офісних документах з урахуванням словоформ української, тож запит «договір» мав знаходити і «договору». Для пошуку по копіях у мене та сама вимога, і лексична частина зводить слова до словникової форми.
OneDrive і скани я назвав тому, що в попередньому коментарі ви питали, як відпрацьовуються виключні випадки, і це вони. У теці OneDrive з режимом «файли на вимогу» документ може лежати на диску лише заглушкою, і цілком він читається лише після скачування. А копію скану, розпізнаного точнішим способом, застосунок навмисно не перезаписує грубішим прочитанням, і там копія свідомо відрізняється від свіжого перетворення.
Про механізм. Події з теки ловить бібліотека chokidar, яка на Windows підписується системним викликом ReadDirectoryChangesW. Пауза фіксована: спершу розмір файла має півтори секунди лишатись незмінним (звірка кожні 0,3 секунди), потім іде ще 2 секунди тиші, і кожна нова подія за цей час відкладає перетворення наново.
На кожен документ записано SHA-256 вмісту, а поруч розмір із часом зміни для швидкої звірки: збіглися вони, отже файл той самий, розійшлися, тоді рахується хеш. Окремої контрольної суми на сам файл з відбитками немає. Він пишеться через тимчасовий файл з резервною копією поруч; якщо файл не читається, береться резервна, а якщо зіпсована і вона, з’являється сповіщення про втрату запису, і копії Word будуються наново. PDF тоді чекають ручного запуску навіть з увімкненим автоматичним OCR: переробка всього архіву коштує часу, і рішення про неї має приймати людина.
Архів, до якого ніхто не повертається, заважає пошуку: стара редакція документа знаходиться поруч з чинною, виглядає так само, і людина бере ту, що вище. У законодавстві це особливо гостро, бо сусідні редакції часто відрізняються кількома рядками.
Про «запечатаний набір» на прикладі. Вагу між пошуком за словами і пошуком за змістом я підбирав на тих самих 34 запитах, на яких потім і назвав 94%. Тобто цей результат підігнаний під знайомі запити, і на нових він найімовірніше буде нижчим. Тому наступного разу набір запитів ділиться надвоє: на одній частині підбирається вага, а результат міряється на другій, якої під час підбору ніхто не бачив.
Як це працює. Windows сама повідомляє застосунку, що файл у теці змінився. Застосунок чекає кілька секунд, поки Word закінчить запис, і робить копію заново. Нову копію він спершу пише в окремий файл і лише потім ставить на місце старої, тож обірвана посередині копія на диску не лишається. Якщо файл змінили, поки застосунок був вимкнений, він помітить це при наступному запуску, бо порівнює файли з тим, що запамʼятав минулого разу.
Тепер коли копія з документом не збігається. Поки йде перетворення, копія відстає: для звичайного документа це секунди, для довгого скану хвилини. Якщо перетворення впало, лишається стара копія, а в застосунку зʼявляється позначка помилки. Файл OneDrive, який лежить лише в хмарі і ще не скачаний, Windows віддає не до кінця; застосунок має прийняти це за помилку і не записати пів документа, але перевіряв я це лише на імітації, бо OneDrive у мене не стоїть. Скан, уже прочитаний сильнішим способом, слабшим прочитанням застосунок не перезаписує. Закріплену людиною копію застосунок лишає як є. Якщо ж людина правила копію руками, перед перезаписом застосунок зберігає її правку окремо.
Тож точніше так: копія відповідає документу, коли застосунок увімкнений і нічого з переліченого не сталося.
Дякую, подивився обидва варіанти. mcp-documents-reader зручний, коли асистент уже знає, який файл відкрити: він читає один документ за шляхом, а PDF бере текстовим шаром через pypdf, тож скан без розпізнавання для нього порожній. Мені ж складніше вгадати, де саме лежить потрібне, тому розпізнаний текст готується заздалегідь, і такий інструмент міг би читати вже його.
Foundry IQ справді сильний для компанії: він бере дані зі SharePoint чи OneLake і сам стежить, хто що може бачити, а Work IQ спирається на сигнали Microsoft 365. Але для цього документи мають жити в хмарі Microsoft, тоді як мені потрібна тека на власному комп’ютері.
Історії редакцій застосунок не веде: копія завжди відповідає останньому збереженому стану оригіналу. У вашому DELMOS робочий продукт має незмінні ревізії з хешем і лежить у Git, і там це потрібно, бо погодження спирається саме на ревізію. Мій випадок простіший: людина лишає файли там, де вони вже лежать, і якщо їй потрібна історія, її тримає Subversion чи git, історія версій OneDrive чи SharePoint, а копія просто йде слідом за кожною новою редакцією. Тому власного сховища версій застосунок не заводить.
У кошик потрапляють лише Markdown-копії, і жоден вихідний файл туди ніколи не йде. Звідси й строки в днях: кошик стежить, щоб копії безкінечно не займали диск, і для довшого зберігання є варіант без очищення.
Коли документ повертається в теку, з нього знову будується свіжа копія, а зовнішню векторну базу оновлює вже той інструмент, що її веде. Своєї пам’яті в застосунку немає взагалі, і тут мені близький ваш життєвий цикл об’єктів знань з глави 19: відповідь асистента сама фактом у базі ставати не повинна. У мене копія будується лише з документа і ніколи з відповіді асистента, тож помилка асистента назад у копію не потрапляє.
Сподіваюсь, що розумію. У досліді про користь пошуку ви порівнювали пошук по сирих абзацах і по кандидатах: на сотні RFC сирий текст трохи виграє, бо нагору спливають службові рядки шапок, а на повному корпусі пошук по сирому тексту сильно просідає, тоді як кандидати тримають той самий рівень. Для мене звідси урок простий: мій замір на невеликому наборі документів нічого не гарантує для великого архіву, і його треба повторити на більшому.
На GitHub прочитав главу про верифікацію бази знань, і там якраз є те, чого бракувало тим двом ідеям. Набір, на якому сам підбираєш налаштування, себе прикрашає, тож потрібен ще запечатаний, якого під час налаштування не бачиш. А випадки варто групувати за документом, щоб майже однакові тексти з одного джерела не опинились по обидва боки.
За уточнення про серію дякую: з книги видно, що вона про доказові системи для галузей з високою ціною помилки, і організаційний шар там лише одна з частин.
У багатьох старі файли справді просто лежать, і це нормально. Мені ж доводиться повертатись до нормативних документів і власних старих текстів по конкретне формулювання, тож для мене питання «коли знадобиться» має відповідь. А якщо у вас такої потреби немає, це теж корисна відповідь: опитування якраз і має показати, наскільки вона поширена.
Дякую за статті. Прочитав обидві з коментарями, а слідом ще п’ять статей серії, щоб зрозуміти, з чого виросла ваша порада.
За вашою класифікацією зі статті про межу довідки й експертизи мій застосунок належить до довідкових систем, на щабель витягу. Згоден з цим.
Перший етап, як ви його описали, мені близький: видача набором фрагментів, і при кожному джерело, версія й дата документального стану.
Щодо копій на всі файли: ваша шкала форматів зі статті про артефакти якраз пояснює мій вибір. Щоб дістати фрагмент з верстки чи растру, текст однаково доводиться витягти, а це на вашій шкалі найдорожчий крок. Копія зберігає результат цього кроку, тож він не повторюється на кожен запит.
Зі статті про детекцію собі беру дві ідеї. Перша: негативний контроль, як ваш пончик з джемом, тобто запити, відповіді на які в корпусі немає. Друга: запити, виведені з посилань документів один на одного; у нормативних актах таких посилань повно, і набір можна добрати без ручного підбору. Розбіжність вердиктів у HYP-002 між сотнею документів і повним корпусом звучить для мене як пряме попередження.
Історія під архітектурною статтею, де дві версії проєкту злились у пошуку, теж влучила: редакції одного закону майже близнюки, тож фільтр за версією до самого пошуку мені тепер видається обов’язковим.
Розходимось ми хіба в масштабі: ваша серія про організацію зі статусами документів і правами доступу, а я роблю інструмент для однієї людини з її власною текою, тож шару курування в мене не буде. Тріаж фрагментів і довіра за способом видобутку при цьому потрібні так само.
У вашому списку наступних дослідів є юридичні тексти як корпус поза RFC. Якщо дійдете до нього, мені буде цікаво порівняти, що ламається у вас і в мене.
Якщо питання про мій застосунок, то так. Оригінали він лише читає і не видаляє ніколи. Коли ви самі видалили документ, його копія лишається з позначкою, і її можна відправити в кошик застосунку; кошик чиститься сам через 7, 14 чи 30 днів або не чиститься взагалі, як налаштуєте, і до того часу копію можна повернути. Копії цілої теки теж прибираються однією дією. А от із векторної бази чи з пам’яті асистента, куди текст уже потрапив, застосунок нічого не забере, це питання до того інструмента.
Так, проблема саме в цьому: знайти потрібне місце, коли не пам’ятаєш, у якому з сотень файлів воно лежить. Оформлених use cases поки немає, є мій власний досвід: пошук Windows дає список файлів, а далі відкриваєш кожен. Опитування я запустив, щоб зібрати сценарії інших людей і не будувати все лише під себе.
1. Прив’язка. Для сканів, що розпізнаються посторінково, номер сторінки стоїть у копії маркером. У DOCX лишаються заголовки, а індексу абзаців і bbox немає, і відкрити оригінал точно на місці застосунок поки не вміє. Тож зараз результат справді «файл і приблизний текст», і ваше «сторінка 7, абзац 3» я беру у вимоги.
2. Структура. Одна копія на файл лишиться, бо саме її читають інші інструменти. Для пошуку текст ділиться на фрагменти за заголовками. На тестовому наборі з 34 запитів зважене злиття BM25 і локальних ембедингів дало 94% у топ-3 проти 91% у найкращого з двох окремо, тому там гібрид. sqlite-vec я розглядав, але для особистого архіву поки вистачає плаского індексу, а FTS5 за вашою порадою гляну.
3. OCR. Tesseract працює локально, українська й англійська. Якість зараз оцінюється на рівні файла, і сумнівні файли позначаються, а впевненість по сторінках і фрагментах стоїть у планах. Ваш приклад з «18» і «1В» дуже влучний.
4. YAML front matter уже є: джерело з типом файла і час генерації. Автора й теки там поки немає, їх варто додати.
5. Синхронізація. Після збереження документ перечитується цілком. Зміну видно спершу за датою й розміром, далі за sha256 вмісту, а перейменований чи переміщений файл впізнається за хешем без повторного розпізнавання. Хешів фрагментів поки немає, бо фрагментних посилань теж ще немає; коли вони з’являться, ваша схема з fragment_id і tombstone дуже доречна. Плагін до Word поки поза межами.
6. Видалений оригінал лишає копію з позначкою, і людина сама вирішує, прибрати її чи ні. Нові файли в теці підхоплюються автоматично.
Щодо P.S.: окремої статистики по собі я не вів. Тестовий набір з пункту 2 зібраний на двох сотнях нормативно-правових документів, а як часто такий пошук трапляється в інших людей, якраз і питає опитування. Чи варте воно окремого застосунку, я хочу зрозуміти з відповідей, тому ваші коментарі корисні мені не менше за опитування.
NotebookLM зручний, коли документи можна завантажити в хмару Google. Мені треба було, щоб робочі документи лишались на компʼютері, а їхні текстові копії оновлювались самі після кожного збереження.
Дякую :) У цю нору я свідомо не поліз. Застосунок робить лише нижній шар: чисті текстові копії поруч з оригіналами, які самі оновлюються після кожного збереження. Чанкування, векторна база й агенти лишаються тим інструментам, які людина вже обрала.
Для себе я приблизно з цього й почав. Зʼясувалось, що головна робота там у тому, щоб чисто витягнути текст з Word і PDF і тримати його свіжим, коли документи змінюються. Тому ця частина й виросла в окремий застосунок.
Замахнутись можна, але агенту так само потрібен чистий і свіжий текст документів. Тому я почав з цього шару, а агентів можна підключити поверх нього.
Дякую, Recoll гарний варіант для локального пошуку. Мені хотілось ще, щоб текстові копії документів лежали поруч з оригіналами і їх могли читати інші інструменти, зокрема AI-асистенти.
На Windows Word теж знаходиться за вмістом, якщо тека в індексі. Скрипт по PDF працює, але його треба написати й підтримувати, а сканований PDF без OCR він не прочитає взагалі. Мені хотілось, щоб це робилось саме й одразу для всіх тек.
Щось схоже є, і вміст Word Windows теж індексує, якщо тека потрапила в індекс. Але результатом буде список файлів, і потрібний абзац далі шукаєш усередині кожного. Саме на цьому кроці я й губив час.
Дякую за такий детальний розбір!
Про наміри
Застосунок працює локально на Windows. Ви додаєте теку, і він поруч з кожним Word і PDF створює текстову копію в Markdown з тією ж назвою, а потім стежить за змінами й оновлює її, коли документ збережено. Оригінали він лише читає, сканований PDF проходить через OCR. Пошук по цих копіях є в самому застосунку, а ще їх може читати будь-який інший інструмент, від Recoll до AI-асистента, якому ви довіряєте свої файли.
Ваша думка про перехід від запиту до перевірюваного місця в оригіналі дуже влучна, візьму її у вимоги. З прогнозом щодо кількості відповідей ви, мабуть, праві, тож якщо знайдете кілька хвилин на опитування, це мені дуже допоможе.
Опитування зібрало 11 відповідей, усі в українській формі, англійська не отримала жодної. Для висновків про ринок цього замало: 7 з 11 людей працюють у розробці чи ІТ, бо розсилка пішла переважно сюди і в ІТ-чати.
Windows мають 7 людей, решта 4 працюють на macOS чи Linux. Архів понад сто документів на Windows назвали 4 людини, і саме під такий випадок я роблю застосунок.
З цих чотирьох пошуком Windows шукають троє, двоє відкривають файли по черзі, ще двоє питають ШІ-асистента, і по одному шукають у самому Word чи переглядачі PDF та спеціальною програмою. Останній пошук троє закінчили менш ніж за 5 хвилин, один витратив від 5 до 30, тож гострого болю пошуку ця вибірка не показала.
Усі четверо тримають частину документів на диску компʼютера і на Google Диску. Двоє ще й на зовнішньому диску, а Dropbox і мережевий диск на роботі назвали по одному. Тільки на диску компʼютера не тримає ніхто. Єдина конкретна скарга в розгорнутих відповідях якраз про це: файли розкидані між компʼютером і кількома Google Дисками, і при частому редагуванні губиться, де що лежить.
У трьох з чотирьох ШІ-асистент має доступ до теки чи диска, один завантажує файли вручну. Асистентів назвали пʼять: ChatGPT, Claude, Gemini, Copilot і Cabina.ai, перші три по троє, решта по одному.
Щоб дати програмі доступ до документів, трьом потрібна робота без інтернету, двом незмінні оригінали і відкритий код, одному відома компанія-розробник; ще один окремо дописав, що довіряє компанії з багаторічною історією і гарантіями.
Читання сканів першою функцією не обрав ніхто, пошук і текст з Word та звичайних PDF обрав один, обидва однаково ще один, а двоє відповіли «Жодне з цього». Один з цих двох пояснив, що хоче розумнішого пошуку: щоб програма розуміла, про що документи і як вони повʼязані, і за метою в запиті знаходила найпотрібніший.
Ранній доступ попросили всі четверо і ще троє поза цією групою. Дякую вам, напишу кожному, коли буде що показати.
Я хотів з відповідей зрозуміти, чи варта задача окремого застосунку. Чотирьох відповідей для цього замало, тож перевірятиму її на практиці. Опитування я закрив.
Дякую всім, хто писав у треді. Тут назвали Recoll, NotebookLM, Archivarius 3000, mcp-documents-reader, Zotero і Citavi, Spotlight на Mac і власний RAG, і для мене це готова карта того, чим люди вже розвʼязують цю задачу.