Я теж вкрай розчарований. CoT + Self-Reflection — нічого фундоментально нового, а піар був такий наче в них дійсно є козир в рукаві.

Ну, тобто, бляха, залиште ці речі прикладним AI інженерам для application-level, не треба їсти їх хліб, працюйте над фундаментальною моделлю.

Але ж ні, вони тупо витискають з ринку перспективні технології навколо AI, підминаючи екосистему під себе. Адже ясно, що вони зможуть забезпечити найкращий результат, володіючи топовою закритою базовою моделлю.

Отже, відправляється в сраку цілий клас рішень з Agentic workflows і prompting техніками, бо це все неефекивно застосовувати поверх O1.

Те саме було, коли OpenAI припинили підтримувати text completion API в топових моделях на користь свого chat-api, закривши інший клас перспективних розробок.

Тим самим були «Custom GPTs» відносно RAG, знецінюючі наявні відкриті рішення, хоча тут їм досягнути бажаного ефекту не вдалось.

Це вкрай неетичний спосіб ізолювати перспективні зони досліджень в своїх моделях від зовнішнього світу.

Я сподіваюсь, така огидна поведінка керівництва OpenAI нарешті приведе до остаточного відтоку ключових інженерів до компаній з вищими морально-етични нормами, де вони зможуть зробити значно більше для галузі вцілому.

Тут хочеться віддати належне Марку Цукербергу і менеджменту META як взірцю відкритості, дуже позитивно впливаючому на галузь.

Мій прогноз — OpenAI зможе втримати лаври розробника № 1 топових мовних моделей не більше року.

Найймовірніше, їх посуне Google, але тут вже немає впевненості, і я не те щоб радий цьому, бо до Google теж є претензії.

Нова модель штучного інтелекту Grok тепер може генерувати зображення в соцмережі X

Модель не може. Їх чат-бот (додаток) може, використовуючи Grok для генерації промптів для FLUX.

Та ні, там є режим, де відповідає текстом (іконка навушників — голосовий режим, іконка мікрофону всередині текстового поля — speech 2 text)

Що думаєте про такий механізм роботи? І як воно б працювало на практиці?

Він давно є і працює на практиці (в мобільному додатку) 🙂

Замість тисячі слів

i.imgur.com/Ov3TyTF.png

Суб’єктивно — reasoning / coding гірше, будь-які художні якості, природність комунікації — значно краще.

+

Це просто інтеграція Azure ML / AI Services в GitHub з єдиною маркетинговою ціллю — вивести ці продукти в дещо зміненій формі на ширшу аудиторію.

Сподіваюсь, розробників взяли з GitHub, бо команда Azure явно неспроможна в юзабельні сервіси адміністрування.

Ймовірно, вони навіть захоплять ринок, витісняючи Amazon BedRock, Google Vertex та дрібніших inference-провайдерів, наскільки це можливо в контексті дихотомії топових LLM (моделі Anthropic не поспішають на платформу Майків, OpenAI до Амазону, Google — взагалі нікуди не поспішають, a true-open тільки Meta і Mistral).

*Пішов інтегрувати нову Azure AI Inference client library for Python, що там використовується, в ai-microcore*

Ну то похрестіть вже правильну дитину 🙂

Індустрії потрібні нові лички Double Senior, Triple Senior, etc. 🙂
Lead engineer буде просто триндіти не по темі, а Triple Senior виконає втричі більше задач — profit!

*будь ласка, не показуйте цей коментар менеджерам / ейчарам*

Краще б вона повернулась до цього.

Але ні.

Вони вигадують все більш збочені, тормознуті і переускладнені форми того самого. Вірусять це серед інженерів, недоотримавших в фундаментальних аспектах своєї освіти.
Інженери пхають цими піськами в менеджмент і лідів, беручи масою.

Вищі щаблі менеджменту, чия технічна експертиза є скромную, бо випадає з компетенцій цього рівня, приймають рішення про впроваждення технологій.

В ретроспективі ці рішення не визнаються помилковими, самі знаєте чому.

Інженери з п.1 стають євангелістами вищеозначених рішень, адже вони це вже вміють і їм треба себе продати.

Гівно шириться світом і рулить індустрією. Цикл замкнено.

не отримуємо частину прибутку, не отримуємо річні бонуси, не отримуємо відсоток з продажів і т.д., а просто працюємо за фіксовану зп — то чи має сенс рвати дупу

А кар’єрне зростання що, відміняли?

Аутсорсингова компанія, а не продуктова — це, звісно, ваш вибір.

Проте маю зазначити, що з одного боку і тут іноді бувають можливості перейти у внутрішні команди клієнта, а з іншого боку, галери врешті-решт теж зацікавлені конвертувати свої кадри у вищі форми технічного персоналу :)

У вас екзистенційна криза формошльопства.

Ваш приклад з Jira-тасочкою і PM каже про те, що вас сприймають саме як формошльопа, якщо це є класикою вашої робочої комунікації.

Ви кажете абсолютно вірні речі в наступному розділі, де ви уявляєте, як задаєте питання.

Отже, розмістіть своє тіло в зручній позі на зручній та м’якій поверхні таким чином, щоб повністю розслабивши його м’яз за м’язом, тіло продовжувало утримувати цю позицію без зусиль з вашої сторони.
Перевірте чи вам комфортно, зручно в кожній точці свого тіла, ітеративно опитуючи його частина за частиною, спускаючись від тулуба до рук-ніг і далі кожного пальця, затримуючи свою увагу на кілька вдохів-видихів в кожній точці.

Зверніть увагу на своє дихання. Протягом п’яти повільних, розслаблених вдихів-видихів, переконайтесь, що в цій позі дихається легко і ваша діафрагма вільна.
Закрийте очі. Звільніть всій розум від зайвих думок. Уявіть, шо ви глечик, що само-наповнюється водою і вона повільно витікає назовні, рівномірно зі всіх сторін. Вона прохолодна і кришталево чиста, як ваші думки. Побудьте у цьому стані. Дихайте. Після десятого вдоху-видиху задайте собі запитання:

Що заважає мені зараз ініціювати наради і підіймати ці важливі питання, демонструючи свою проактивність, демонструючи відповідальність не лише за безпосередьо реалізацію, а за фічу вцілому і систему в широкому контексті?

Чи готовий я до наслідків такої поведінки, що в строки від шести до дванадцяти місяців приведуть мене до промоушена в тім/тех-ліда, архітектора чи девілері менеджера?

Як себе почуваю в кожній з цих ролей? Яка роль мені подобається найбільше? Чи розумію я всі необхідні компетенції в цих ролях? Коли я прєісполнюсь всім об’ємом компетенцій бажаної ролі, як я зможу вдало інтегрувати цей пазл в свій план персонального розвитку?

Видихайте. Розкрийте очі. Пройдіть через вищеозначений ментальний цикл кілька разів, трохи зміщуючи концептуальний фокус думок в напрямку, що пробуджує в вас ентузіазм та емоції.

Візьміть чорнильне перо. На якісному, оздобленому приємними вам орнаментами, запишіть для себе майбутнього follow-up. Перечитайте. Вкладіть його в рамочку та помістіть в верхню шухляду робочого столу.

Ви почуваєтесь краще. Болючі запитання відпали самі собою. Вас зцілено.

Якщо бажання лайкнути цей коментар не взмозі виразити весь ступінь вашої вдячності, невеличка транзакція на гаманець TRet4hqeAfEH5foDybQy9AMsi1Yxwd9Yya (Tether USDT) перетвориться на смачні ніштяки для великого сірого кота Ареса.

Для Європи / США, боюсь, ці платіжні системи можуть відштовхувати клієнтів, можливо варто розглянути Stripe + окреме рішення для України

Теоретично так з точки зору співвідношення ціна-можливості.
Вузьке місце на користувацьких ПК — тупо об’єм VRAM,

Якщо на нових архітектурах якісь оптимізації й дають наприклад ~1.5x приріст швидкості — це вже не так важливо, як і вцілому скільки там ядер / TFLOPS, бо мовна модель, що повністю вмістилась в VRAM буде видавати в будь-якому випадку більш-менш прийнятну для роботи швидкість, трошки не влізла і довелось робити offload в RAM — вже біда, чекаєм не секунди-хвилини, а десятки хвилин.

Вцілому, я думаю, хороша ідея перед покупкою відеокарти — спробувати на ній погоняти цільові моделі, з якими ви хочете працювати, оплативши кілька годин, наприклад, на runpod.io

Простота алгоритмів є однією з ключових складових читабельності коду.
Таким чином алгоритмічна складність протиставляється таким метрикам як швидкодія, або, наприклад, вартість підтримки коду, в рамках економічного аналізу.

«правильно» / «неправильно» залежить від того, що ви робите і в якому контексті.

Якщо аналізуєте економічну доцільність — тоді однозначно «правильно».

Ще й в перервах між роботою зможете майнити ефір ))
Хоча я не впевнений, що воно окупається сильно вище вартості електроенергії в 2024

Треба щоб в VRAM повністю влазило, бо RAM — то вже відразу inference speed downgrade на порядок.Так шо я б товаришу топік-стартеру радив би просто багато дешевої VRAM на ігрових картах відносно свіжої архітектури Nvidia

На відносно стареньких відяшках Nvidia з ~6GB VRAM нормально працюють моделі ~7b (з квантизацією).

Якщо розглядати не ноут, а стаціонарний ПК для себе, я б взяв би 2 ігрові карточки Nvidia по 16GB кожна, тоді можна й наприклад щось типу mixtral 8×7b з квантизацією запустити.
(Рівняємось на об’єм VRAM на Kaggle, можете подивитись в актуальних змаганнях, що там на 32GB VRAM запускають)

Ну, або 4×16, якщо орієнтуватись на більшість 70b+ моделей (квантованих!)

Якщо мова про «великі-великі LLM», купувати для них залізо під ПК розробника економічно невигідно, вам треба арендувати GPU в хмарі.

В цілому, ще вигідніше просто використовувати LLM через API-провайдерів, і економічно і в плані економії на розробку, бо ви зможете займатись безпосередньо вашою бізнес-логікою з state-of-the-art моделями, а не писати костилі для подолання дитячих хвороб менш просунутих LLM... що будуть тупо неактуальними через пів-року.

Upd, а сьогодні вже однозначно стверджувати, що № 1, складно...
Mistral 2 Large released (open weights)
:)