Все вірно) З LoRA можна дійсно і більше моделі спокійно вмістити, але велике питання в ефективності такого тренування. Для вивчення самої мови, особливо в пре-трейн фазі лора точно слабенька. Квантизація теж має більше безпекових ризиків, їх легше джейлбрейкати або якось там з ними генерувати «шкідливий» контент.
Стосовно TPU з Gemma2 раніше дуже дивна інтеграція була, там декілька місяців пішло щоб в Hugging Face додали JAX конфіги для другої джемми) З Gemma 3 стало краще, також гугл нарешті зробили якийсь фреймворк де якось підтримується HF формат в поєднанні з JAX так, щоб не сильно треба було писати вручну код: github.com/AI-Hypercomputer/kithara

Під юзерами я маю на увазі звичайних тестерів, якщо протестуєте модель на національний сентимент то було б дуже класно :) В даному випадку я би виділила дві переваги моделі — розмір (влізає в менші GPU без квантизації) та фокус на двомовність замість багатомовності. Ці два моменти допомгають легше файнтюнити модель на кастомні таски українською і деплоїти її локально за умов обмежених ресурсів. Gemma 2 27B потребує побільше GPU для хорошого файнтюну, з власного досвіду в TPU взагалі сумно з інтеграцією. Gemma 3 виглядає солідніше в цьому плані, особливо враховуючи їх нову ідею з QAT (Quantization-Aware Training). Але як квантизація, так і багатомовність погіршують якість моделі певною мовою, тому якщо налаштовувати під свою локальну задачу, то може бути ще більше галюнів.
Як ви правильно зазначили, це був, зокрема, і науковий проєкт, у межах якого ми проводили експерименти з ефективного тренування моделей та роботи з даними (зараз працюємо над більш детальним технічним репортом). Крім того, це чудова нагода привернути більше уваги до репрезентації української мови загалом.

Вчора помітили що Hugging Face нестабільно працював, це посилання працює? huggingface.co/...​amayLM-Gemma-2-9B-IT-v0.1

Це один із варіантів, так. Наша модель v0.1 вже на рівні з Gemma 3 і на даний момент нам важливий фідбек від юзерів щоб розуміти які аспекти можна покращити, або якщо модель має специфічні проблеми в генерації українською мовою, тому ми завжди раді будь-якому фідбеку.

Ми також слідували формату ЗНО бенчмарок від інших авторів, які запитання у формату АБВГ, наприклад, huggingface.co/datasets/osyvokon/zno — це був Shared Task на минулорічному Ukrainian NLP Workshop в ACL

Дякую за чудове запитання! Ми використовували стандартний фреймворк (github.com/...​/lm-evaluation-harness-uk) для автоматизації перевірки моделей на бенчмарках. Через це ми брали результат просто як відсоток правильних відповідей, оскільки кастомні метрики точності не дуже підтримуються там; також для укр мови та літератури максимальний бал вже не може бути 200, оскільки ми не включали запитання з вільним типом відповідей — брали тільки запитання виду АБВГД. Тому якщо брати тільки тести, то на трієчку потягне :)
Звичайно, це не зовсім відповідає реальній шкалі оцінювання ЗНО, але відсоток правильних відповідей також легше презентувати на іноземну аудиторію, яка зазвичай не розуміє формат ЗНО. Ми плануємо пізніше випустити system card як більш технічний звіт, де ми також проведемо аналіз моделей ближче до реального балу ЗНО.

Ви якось переоцінюєте свою важливість, вважаючи що я зареєструвалась на ДОУ заради вас) Я особисто зайшла прочитати цікаву розповідь про роботу в Швецарії, вашу причину релокації я чудово розумію, але виникло досить логічне питання щодо вибору статусу проживання в країні.
Я зрозуміла ваше питання і ні, я не приїхала на семестр по обміну, я поступила на повну магістерську програму, подавши документи ще в грудні, ось так і «вийшов» статус В, ви ж заходили на мій лінкдин і мали побачити скільки і де.
Ви двічі проігнорували моє питання і схоже що відповідь на нього я вже не отримаю, але ви вже встигли назвати мене нахабним тролем та фейком, шкода.

Добре, якщо не втікали, то нащо тоді брати статус біженця? :)

У Швейцарії я отримав статус людини, що потребує захисту.

Виникає питання, чи це роботодавець вас переконав взяти статус S чи це було ваше особисте рішення? Перміт В для ІТ досить реально отримати, особливо якщо ви дійсно хороший фахівець, то компанія доведе чому ви їм потрібні, а я так розумію що ви їм дуже були потрібні :)
Я сподіваюсь ви пошукали якусь інформацію про обидва варіанти перед прийняттям такого рішення — для початку перевага статусу S над пермітом В лише в фінансовій допомозі та у всяких безкоштовних дрібних плюшках, в додаток статус захисту в теорії можуть прикрити в Швейцарії в будь-який момент і чи дадуть вам перміт В після того як ви сиділи на статусі біженця велике питання. Також врахуйте що кількість місць на статус в кантонах обмежена, тобто ви ще і потенційно забрали місце в людини яка цього статусу більше потребує (в кантоні Берн та Цюрих ще в червні перестали видавати статус захисту через перенаповнення).
Наприклад, ваша сім’я мала повне право отримати статус S, це я можу зрозуміти і тут питань нема. Ви юридично теж звичайно маєте право на статус біженця, але в моральному плані імхо не дуже. Якщо я правильно розумію, ви нібито втікли від війни зі Львова фактично перед 24.02 ще і отримуєте бенефіти статусу біженця разом із швейцарською з/п айтішника, тоді no comments.

P.S. Я виїхала з Києва в кінці березня і в мене був вибір між статусом S та пермітом В — я обрала перміт В.

Доброго дня, підтвердіть, будь ласка, мій аккаунт (він вже прив’язаний до Linkedin)!