Head of AI в OFMS LTD
  • Постнавчання LLMs: від базових генераторів до розумних помічників

    Все правильно пояснюєте. Температура тіла точно не є доречним порівнянням. Temperature T — це параметр що скалює логіти перед софтмаксом:
    — T —> 0, більший детермінізм, softmax грубо кажучи стає argmax i система бере найбільш імовірний токен. До речі, при цьому класична ентропія мінімізується, менше хаосу і більше консистентності.
    — T —> inf, ймовірності вирівнюються і софтмакс повертає ~уніформний розподіл імовірностей з логітів. Ентропія росте == повний рандом вибору токенів, і грубо кажучи ростуть галюцинації.

    Загалом ця історія про репараметризацію розподілу, а сама назва, якщо не помиляюсь, з фізики — там аналогічним чином є скалювання енергії температурою Т (замість логітів, як в нашому випадку)

    Підтримав: Serhii Litviachenko
  • Постнавчання LLMs: від базових генераторів до розумних помічників

    це тематика агентів і агентних систем, зокрема reasoning & planning (with tool selection). можете почитати ось цю статтю arxiv.org/abs/2502.04644, там досить гарно розписано.

    Підтримав: Serhii Litviachenko
  • Постнавчання LLMs: від базових генераторів до розумних помічників

    ID — це маркер виклику який є частиною сесії на бекенді; вся логіка та стан — на боці зовнішньої системи (оркестратора, таск менеджера, абощо). ЛЛМ сама по собі стейтлес. Стан зазвичає містить інфо про проміжні дані, IDшки, а також увесь релевантний контекст.

  • Постнавчання LLMs: від базових генераторів до розумних помічників

    під фундаційними моделями, окрім звичних нам ЛЛМ, я ще мав на увазі мультимодальні моделі різного рівня складності, world foundation models — для симуляції як тексту, так і латентних просторів відео, 3Д, дій, тощо (e.g. arxiv.org/abs/2503.24320, tesseractworld.github.io). І тут основною стане парадигма агентів. Я думаю буде видно з часом, але можливо розкриються купа задач, які ми поки що навіть вважаємо unrealistic. І думаю що окремий, новий закон скейлінгу (Moore’s-law-style) буде це описувати.

    Підтримали: Mykola Gatilov, yvs2014
  • Постнавчання LLMs: від базових генераторів до розумних помічників

    З одного боку може здатись, що це дуже дорога покупка VSCode форку за $3B, та насправді цінність Windsurf’у в даних телеметрії (буквально вся end-to-end поведінка розробників, від АІ/tool usage до патернів написання коду).

    ОАІ цією покупкою перетягує ковдру agentic AI code assistants на себе. Добре це чи погано — не знаю, будем бачити, але загалом на розвиток агентів це має вплинути позитивно.

    Підтримав: Avenir
  • Постнавчання LLMs: від базових генераторів до розумних помічників

    Рости буде — до 10-100М токенів контексту досить скоро може бути нормою. Але це типовий приклад diminishing returns — дорожче вчити, робити інференс, навіть флеш-атеншн не гумовий, missing middle problem.
    Але загалом, я притримуюсь думки, що хороший RAG нічим не гірший від чистого long-context processing. Саме тому усі Антропіки, ОАІ, Meta, DeepMind та ін. — всі будуть зрощувати довжину контексту зокрема з мотивації робити high-capacity RAG пайплайни або різні модулярні/агентні системи

    Підтримав: Mykola Gatilov
  • Де вчитися на ІТ-спеціаліста в Україні. Огляд університетів, умов вступу і можливостей для студентів

    Молодші курси навчаються онлайн, старші — у змішаному форматі.

    молодші курси як раз таки офлайн навчаються в НаУКМА, прошу виправити.

  • AI Meetups — Cutting-Edge Reinforcement Learning Techniques for Robotic Control

    дякую та, виправлять. я на ревʼю прогледів :)

    Підтримав: Vika Parkhomenko
  • УКУ чи НаУКМА?

    Тут опять же зависит от каждого, всё равно всё так или иначе упирается в студента. В его инициативу в универе, интерес к хакатонам/стажировкам/проектам и так далее.

  • УКУ чи НаУКМА?

    Понял, спасибо. Ну в принципе, если человек толковый, то вовсе не удивительно

  • УКУ чи НаУКМА?

    Ответ выше к вам

  • УКУ чи НаУКМА?

    Та не все так, сорри. Я просто не увидел образования и опыта работы , и не имел ввиду что, что-то не так .

  • УКУ чи НаУКМА?

    Ну насколько я знаю SWE и CS все таки чуть разные направления, хотя и они и похожи в чем-то.
    Data Science — это микс различных домейнов, в т.ч. математика, понимание бизнеса, софт скиллс, программирование ну и конечно МЛ.
    Пока что знаю, что Data Science более сложное направление и как правило его изучают на магистратуре/PhD. А вот SWE уже после (и даже без) бакалавриата можно освоить в какой то мере. В принципе, в дата саенс можно вкатиться например с эконом образования (или опять же просто пройдя пару курсов и имея хорошего ментора). Все относительно

    По вопросу, насколько знаю SE/SWE нету в УКУ. Есть CS (БП), есть DS и вроде слышал хотят сделать DE (магистратура).

    Підтримав: Boris Fedorovich
  • УКУ чи НаУКМА?

    Хорошие слова, но почему учеба не может быть бесплатной? Особенно если человек толковый. И я таки сомневаюсь что найдется много идейных/принципальных людей, которые откажутся сэкономить лишний раз)

    Підтримали: anonymous, anonymous
  • УКУ чи НаУКМА?

    Ну да, я сказал про Дата Саенс. Но топик стартер имел ввиду КН в УКУ, пивотом чего Дата Саенс и есть в принципе. Хотя по хорошему CS и SE очень похожи, по крайней мере в Могилянке

  • УКУ чи НаУКМА?

    історію дівчини, яка під час навчання в УКУ змогла потрапити на престижні стажування за кордоном, складається враження, що УКУ вже далеко попереду навіть Могилянки, та можливо я просто занадто захопився відгуками та історіями щодо Комп‘ютерних Наук в УКУ.

    Да, стажировки это реально круто, но далеко не каждому они помогут, и далеко не каждый их получит.

    У каждого свои мнения и свой путь вката на рынок труда, но стажировки — точно не мой путь.

    Как выпускник БП ИПЗ, и в скором времени студент МП Прикладная Математика, и как человек, который лично знает ребят с УКУ (МП Data Science) могу сказать следующее.

    tl;dr (based on personal opinion)

    — КМА и УКУ — оба топ универа в айти в Украине. Остальные — и близко не рядом, по комплексу различных факторов.
    — И там и там крутые коммьюнити, и много умных и талантливых ребят. Отличные преподы, и отношения между студентами (есть всегда исключения)
    — УКУ дает супер варики пойти работать к их компаниям-партнерам, в КМА такие варианты тоже есть, но они менее яркие.
    — По стажировкам не рисерчил ибо не интересно такое, но предполагаю что в УКУ с этим точно получше.
    — Ну и бюджет/контракт — тут каждому свое. Хочу сказать что пару месяцев назад я серьезно думал платить 7.5к баксов за DS в УКУ, но хорошо что передумал. Ибо поступаю на ПМ в КМА и я там, где хочу быть.

  • УКУ чи НаУКМА?

    стажування в Гугл

    Стажировка от гугла действительно серьезная вещь, угу. Дает много шансов в будущем)

    Більше того в нас в УКУ є кілька людей які після 4го курсу вже мають по 6к$/міс (причому всі мають різні напрямки) за Могилянку не скажу.

    Ну смотри, все зависит от хардов и софтов и понимания человека, где он сейчас находится и что может сделать. Я не сомневаюсь, что в УКУ идут очень умные и талантливые ребята, но в КМА поверь таких тоже хватает.

    по 6к$/міс (причому всі мають різні напрямки)

    6к/мес это где, во Львове? И мне уж любопытно, какие направления?)

  • УКУ чи НаУКМА?

    в НаУКМА існує така собі когорта ватних диверсантів

    Скажу вам так, к счастью, лично не встречался и не пересекался с упомянутыми вами диверсантами, но не сомневаюсь что такие есть. Их немного, и я думаю они не имеют большого импакта в целом на коммьюнити КМА.

    Зараз в Могилянці почути українську мову стає більш рідкісне явище ніж російську.

    З приводу української мови — ви вже вибачте, але хто як бажає і хоче, так і спілкується. Це особиста справа кожного. Далеко не завжди мова — це чіткий предиктор, адже «в семье не без урода» буває всюди.

    Підтримав: anonymous
  • УКУ чи НаУКМА?

    Очень обоснованное и объективное мнение. Впрочем, просмотрев ваш линкедин я не сильно удивлен.

  • УКУ чи НаУКМА?

    Бакалавр ИПЗ НаУКМА, добавлю что серьезно думал между УКУ Data Science или НаУКМА Прикладная Математика на магистратуру. За бакалавриат сделал вывод что Могилянка для меня — это огонь и действительно та альма-матер.

    Так же пообщался с ребятами которые учились/закончили DS программу в УКУ. Они знают мой опыт и бекграунд, и сказали что мне будет максимум 1-2 дисциплины в семестр интересно. Это, а так же то что ПМ поинтересней для меня сейчас выглядит, заставило меня остановить свой выбор на Могилянке. И не пожалел — сейчас 20/20 заявок, скоро будут объявлены бюджетные места, и хорошая вероятность что я попаду на бюджет. Опять же сэкономить 64к грн это очень неплохо.
    Конечно каждому свое, кому-то коммьюнити заходит в УКУ, но я знаю что в Могилянке коммьюнити не хуже, если знать где ее искать. Так же по скиллам и по знаниям есть свои плюсы и минусы и там и там, как и везде. Но КМА и УКУ это однозначно два топа — лично для меня.

    Универ дает максимум 30% знаний, остально зависит от желание студента — каждый решает за себя. Так сказать сори ребята из УКУ, но я бы не пошел на DS на магистратуру туда, по своим причинам конечно же, а тем более за относительно немалую сумму в ~200к грн.