Як невидима армія розробників покращує Claude Code та заробляє $280 за завдання

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Поки вайбкодери продовжують захоплювати світ, Anthropic запустила масштабний проєкт і залучила близько тисячі реальних програмістів для покращення Claude Code.

Розробники змушені витрачати колосальні бюджети на тестування та виправлення помилок нейронки руками професіоналів, щоб Claude Code навчився писати нормальний код, який буде легко підтримувати в майбутньому.

Проєкт Marlin та армія фрілансерів

Робота ведеться через платформу розмітки даних Snorkel AI і отримала внутрішню назву Marlin.

Головна мета цього процесу зводиться до складного та детального налаштування алгоритмів, щоб нейронка могла імітувати роботу професійного девелопера. Компанії на кшталт Anthropic, Meta, Google та інших регулярно передають подібні завдання на аутсорс. Таким чином вони формують цілу невидиму армію робітників по всьому світу, які крок за кроком розгрібають галюцинації ШІ.

По 280 доларів за одне завдання

Умови праці виявилися досить привабливими. За створення правильних підказок та детальну перевірку згенерованого коду підрядники отримують по 280 доларів за задачу. Як зазначають самі підрядники, зазвичай на виконання одного такого завдання йде близько години часу.

Проте ці гроші не завжди даються легко, адже іноді фрілансерам доводиться витрачати додаткові зусилля на тривалі суперечки та погодження результатів із модераторами платформи. Самі учасники проєкту при цьому навіть не знають, яку саме версію моделі вони оцінюють у конкретний момент.

Як саме проходить навчання

Усі залучені до процесу фахівці, як зазначають, мають реальний бекграунд у розробці ПЗ. Їхня робота полягає у класичному А/В тестуванні двох різних моделей. Інженери обирають репозиторії на GitHub із тисяч доступних варіантів і створюють цілком реальні PR`и з пропозиціями нових фіч чи виправленням багів. Після цього вони формують серію питань для моделі і ставлять додаткові запити, щоб перевірити здатність ШІ успішно утримувати контекст розмови.

В одному з кейсів розробник просив ШІ реорганізувати систему збереження метаданих під час виконання. Завдання полягало в тому, щоб зробити архітектуру максимально зрозумілою для інших програмістів без зміни самої логіки роботи продукту.

Інша задача стосувалася безпеки популярної платформи ML з Open Source кодом MLFlow. Підрядник мав перевірити здатність моделі блокувати спроби ін’єкції команд під час завантаження пакетів Python. LLM-модель повинна була надійно закрити вразливість і одночасно залишити доступ для усіх дозволених опцій pip. Інструкція проєкту вимагала від інженерів оцінювати готовий до продакшену код на основі правильності, безпеки, надійності та простоти подальшої підтримки.

Якщо раніше для розмітки датасетів наймали людей без профільної освіти за копійки, то в цьому випадку компанії шукають досвідчених експертів. Платформи переходять на пошук фахівців зі ступенями доктора філософії, медицини чи права. Сервіси на кшталт Snorkel AI, Scale AI, Handshake чи Mercor пропонують розробникам до 110 доларів за годину роботи, а топові експерти, як зазначають, взагалі можуть заробляти понад три тисячі доларів на тиждень. Сподіваюся, це не так само, як з Onlyfans, бо щось схожий вайб трошки простежується :)