Між Львовом і Сан-Дієго: історія української наукової статті, що потрапила на NeurIPS

Привіт! Мене звати Ірина Войціцька, я — студентка 4 курсу програми «IT та аналітика рішень» УКУ, а також співавторка наукової роботи, яка цього року пройшла на глобальну конференцію Neural Information Processing Systems. NeurIPS входить до трійки найкращих конференцій зі штучного інтелекту та машинного навчання у світі — поруч з ICML та ICLR.

Ця історія почалася з Лесі Семенової (Rutgers University), яка в межах програми RAI for Ukraine створила команду з двох українських студентів: мене і Богдана Турбала для роботи над дослідницьким проєктом. Саме завдяки цій співпраці з’явилася наша робота, яку цього року прийняли на NeurIPS. У колонці поділюся, як наша команда дійшла до NeurIPS, коротко поясню тему нашого дослідження, як проходить конференція та про що найбільше говорять науковці під час нетворкінгу.

Про що наша стаття

Щороку на конференцію подається колосальна кількість робіт: цього року — близько 21 тисячі пейперів, з яких до програми відібрали 5 290, у тому числі й нашу статтю. Програма NeurIPS складається з основного треку та воркшопів. Автори прийнятих статей приїжджають на конференцію й презентують свої ідеї в різних форматах: усні доповіді, постерні сесії, воркшопи тощо.

Стаття «ElliCE: Efficient and Provably Robust Algorithmic Recourse via the Rashomon Sets», яку ми подали на NeurIPS, охоплює тему Responsible AI. Її ядро — питання етичності та прозорості моделей машинного навчання. Сучасні моделі стають дедалі складнішими: нейронні мережі з тисячами параметрів часто працюють як «чорна скринька». Наприклад, модель банку відмовляє клієнту в кредиті, але пояснити, чому саме, — не може. Це створює проблеми і для людей, і для регуляторів. Наша команда зосередилася на контрфактичних поясненнях (counterfactual explanations). Це відповіді на запитання: що людині потрібно змінити, щоб модель ухвалила інше рішення? Наприклад: підвищити зарплату на певну суму, зменшити рівень заборгованості за кредитними картками. Це називають algorithmic recourse — алгоритмічний засіб «виправлення» рішення моделі. Важливий принцип: такі пояснення мають бути здійсненними та логічними. Не можна пропонувати людині збільшити зарплату у 100 разів, змінити стать чи расу. Йдеться про реалістичні кроки, які можна зробити за відносно короткий час.

Основна складність полягає в тому, що пояснення, яке було валідним для поточної моделі, перестає бути таким, якщо модель змінюється, донавчається чи оновлюється. Дослідження пропонує підхід, як зробити контрфактичні пояснення валідними не для однієї конкретної моделі, а до сету майже оптимальних моделей (також його називають Rashomon set), апроксимуючи його за допомогою еліпсоїду в просторі параметрів моделі. Завдяки цьому методу контрфактичні пояснення стають надійнішими, навіть якщо сама ШІ-модель працює з певною невизначеністю.

Проблема в тому, що для складних моделей, таких як нейронні мережі, цю множину знайти майже неможливо. Тому ми апроксимуємо її: використовуємо підхід, що працює для лінійних моделей, але застосовує його до останнього шару нейромережі. Алгоритм у статті математично доведений для лінійних моделей. Для інших класів моделей з останнім лінійним шаром (наприклад, нейронні мережі чи NAMs) він працює радше як евристика — але інтуїтивно зрозуміла і підтверджена експериментами. Експерименти проводилися саме з цими трьома типами моделей. Фактично це крок до того, щоб рішення ШІ-систем були не тільки точними, а й пояснюваними, стійкими до змін моделей і гуманними до людей, на яких ці рішення впливають.

Отже, наше дослідження розв’язує проблему нестабільності контрфактичних пояснень рішень ШІ, пропонуючи метод, який забезпечує надійні та етичні пояснення, що залишаються чинними навіть при зміні моделі.

Як все починалося

Робота над темою почалася восени 2024 року в межах програми «RAI for Ukraine» — стажування для студентів українських університетів. Цю програму створив Center for Responsible AI, New York University у співпраці з Українським католицьким університетом. Учасники програми працюють над дослідницькими проєктами у командах по двоє-троє людей разом із менторами. Леся Семенова зібрала нашу команду: я (УКУ) і Богдан Турбал (КНУ ім. Т. Шевченка), задала напрям та сформулювала дослідницьке питання, з якого стартував проєкт.

Протягом першого семестру ми працювали з дуже широкою, дотичною темою. Це був стартовий етап, коли ти читаєш багато статей, пробуєш різні ідеї, але ще не бачиш чогось, що можна перетворити на повноцінну публікацію. Зараз це виглядає логічним першим кроком, але тоді здавалося, що ми просто топчемося на місці й витрачаємо час.

Поворот стався у другому семестрі. Леся запропонувала радикально звузити фокус до контрфактичних пояснень і переформулювати питання. Перші версії алгоритму були, м’яко кажучи, «не дуже»: вони працювали за іншими принципами й не давали потрібної якості. Нам доводилося декілька разів усе відкидати та починати майже з нуля. Було багато тупикових ітерацій, і в такий момент важливо вчасно визнавати, що це не працює, шукати інший підхід.

У березні Леся запропонувала поставити ціль потрапити на NeurIPS. Формально будь-який дослідницький проєкт має на меті статтю, але саме тоді ми сфокусувалися на конкретній конференції, дедлайнах і вимогах.

Цей шлях був зовсім не «лінійним». Були періоди, коли ми не розуміли, що робити далі, як і моменти, коли з’являвся сильний прогрес. На відміну від звичайної роботи з чіткими завданнями, у дослідженні потрібно постійно самим вирішувати, куди рухатися. Це, з одного боку, виснажує, а з іншого — дає відчуття справжньої свободи та відповідальності за результат.

Богдан активно працював над експериментами та кодом. Я відповідала за структурування, деталізацію, написання тексту та перевірку математичних доведень — те, що не всі дослідники люблять, але без чого хороша стаття просто не з’являється. Леся постійно давала фідбек, надсилала релевантні статті, допомагала зі структурою експериментів та самим алгоритмом, а ще переформулювати місця у статті, де аргументація була недостатньо переконливою.

До кінця травня ми вели активну роботу над статтею, потім — подача на мейнтрек NeurIPS. Останній тиждень проходив в режимі «speedrun»: майже без сну, постійно на зв’язку, з нескінченними дрібними правками. Але на цьому все не закінчилося.

Як подати статтю: анонімність, дедлайни й стрес

Окремий вимір цієї історії — вимоги самої конференції. Основна стаття обмежена 10 сторінками. Але щоб показати, як працює алгоритм, потрібно багато експериментів — тому до неї додалося ще близько 30 сторінок додатків.

Після подачі починається довгий цикл рецензування. Система розподіляє роботи між рецензентами, які протягом кількох тижнів пишуть повні відгуки з оцінками та запитаннями. NeurIPS дуже суворо ставиться до анонімності. Рецензенти не мають знати, хто автори. Це означає, що в тексті не може бути нічого, що прямо чи опосередковано «засвітить» команду. Код, який додається до статті, потрібно повністю очистити від метаданих, щоби не лишилися сліди авторства. Логіка цього правила доволі проста: максимально уникнути упередженості (як позитивної, так і негативної). Це ніби «сліпе» прослуховування музикантів.

Коли автори отримали рецензії, вони мають тиждень на rebuttal — короткі, максимально аргументовані відповіді та, за можливості, додаткові експерименти. З чотирьох рецензій, які ми отримали, дві були справді корисними, ще дві — радше про пунктуацію або питання, на які вже були відповіді в тексті. Досить сумно отримувати такі рецензії, адже з’являється відчуття, що статтю не прочитали уважно. Але на всі коментарі однаково потрібно відповідати максимально коректно: пояснювати ще раз, додавати експерименти, посилатися на конкретні сторінки та рядки.

Далі починається внутрішня дискусія між рецензентами, під час якої вони узгоджують позиції, формують метаревʼю та попередні рекомендації. За ними програмний комітет фіналізує список. 18 вересня ми нарешті дізналися, що статтю прийнято. До початку жовтня ми мали час підготувати фінальну версію: переробити фігури, додати графіки, оновити експерименти, ще раз покращити алгоритм.

А далі настав час планувати поїздку в Сан-Дієго)) Витрати на неї були покриті завдяки гранту від Genesis.

NeurIPS зсередини

2025 року NeurIPS проходила в Сан-Дієго та Мехіко-Сіті й зібрала понад 26 тисяч учасників — дослідників, інженерів та представників компаній на кшталт Google, OpenAI, DeepMind, Meta AI. Навіть попри те, що я знала попередні цифри, конференція виявилась ще більшою, ніж я очікувала. Одночасно відбувалося все: туторіали, воркшопи, доповіді, постерні сесії, соціальні івенти, зустрічі з компаніями.

Наша презентація в основному треку тривала три години. Цей час я запам’ятала як суцільний потік людей і запитань: що саме ми зробили, як працює алгоритм, що означають наші результати. Окремий інсайт — усвідомлення, що «таких як ми» — дуже багато. Я не очікувала, що стільки людей вивчають algorithmic recourse. Під час нашої постерної сесії Богдан познайомився зі студентами з Польщі, які працювали над схожою ідеєю. Найчастіше нас питали, як застосувати наш метод до LLM. До речі, це один із потенційних напрямів, над якими ми думаємо далі.

Ми багато ходили на постерні сесії інших команд, лекції та соціальні івенти. Фактично це місце, де визначають, у який бік рухатиметься машинне навчання та ШІ в найближчі роки. На NeurIPS дуже багато розмов про LLM, reasoning та explainability. На воркшопах обговорювали, як змусити великі моделі не просто генерувати текст, а справді «думати»: комбінувати підходи на кшталт chain of thought, debate та інших патернів, щоб модель сама вирішувала, коли що застосувати. Багато уваги приділяють ідеям створювати загальні методи, які можна переносити між доменами, а не заточувати їх під один-єдиний напрям, наприклад, тільки медицину або тільки право. Ще одна велика тема воркшопів — енергоефективність LLM та моделей для відеогенерації: як не спалювати зайві ресурси без втрати якості.

Поїздка в Сан-Дієго — це ще й про людей. Можливість побачити наживо Богдана, з яким більшу частину часу ми працювали онлайн, нарешті зустрітися з Лесею. Приємним відкриттям стало те, скільки українців було на NeurIPS — переважно це люди, які живуть і працюють у США чи Канаді та просто приїхали на конференцію.

Якщо підсумувати мій особистий досвід NeurIPS, то головний інсайт простий: мені ще дуже багато треба вчитись і працювати.

Що мені дала NeurIPS

Для мене це був перший великий досвід повноцінного дослідження. Я навчилася розуміти, як влаштований дослідницький процес: як формулювати питання, як читати статті так, щоб справді зрозуміти, що в них відбувається, як не тонути в потоці інформації, а витягати з нього корисне.

Ми вже продовжуємо роботу над самим методом: зараз у команді четверо людей, і ми хочемо зробити наш алгоритм зрозумілим для «звичайних» користувачів — через візуалізації та інтерфейс, який дозволяє працювати з поясненнями без заглиблення в код. Я бачу в цьому потенціал для наступної статті, можливо, вже у форматі воркшопу. Також планую навчатися на магістратурі та продовжувати шлях у дослідженнях.

Мені важливо відчувати, що моя робота приносить користь. Приємно усвідомлювати, що створюєш методи, які потенційно можуть зробити рішення моделей менш дискримінаційними й більш прозорими для людей, яких ці рішення стосуються.

Присутність українських робіт на NeurIPS історично була мінімальною. Сподіваюся, у наступні роки наших досліджень на NeurIPS ставатиме все більше. Це чудова можливість опинитися в епіцентрі інновацій, де можна побачити, над чим прямо зараз працює світова спільнота в машинному навчанні й ШІ, і водночас — реальний внесок у глобальну науку, де українські імена з’являються поруч із топовими університетами та компаніями. Варто пробувати, подавати свої роботи. Шлях наукової статті від Львова до Сан-Дієго — складний і виснажливий, але цілком реальний і зовсім нестрашний.