Developer Farm: Як я зробив AI-конвеєр, який фізично не може «обдурити» тести

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

TL;DR: Зібрав на старому залізі (Ryzen 3 + GTX 1050 Ti 4GB) автономний AI-конвеєр, який пише код за специфікацією та верифікує його через архітектурну ізоляцію. Результат: фіча за 26 секунд, вартість $0.03, PASS з першої ітерації. Жодних SaaS-підписок, жодного vendor lock-in. Код відкритий: github.com/illyar80/developer-farm

Проблема: Закон Гудхарта в епоху LLM

Пів року експериментую з автономною AI-розробкою. Пробував усе: Cursor, Windsurf, Devin, Aider, SWE-agent. Щоразу впирався в одну стіну — закон Гудхарта:

«Коли міра стає ціллю, вона перестає бути хорошою мірою» — Чарльз Гудхарт

Коли агент бачить тести та acceptance criteria, він неминуче оптимізує код під проходження тестів, а не під вирішення задачі. Комерційні інструменти борються з цим через промпти та пост-рев’ю. Але промпти — це дисциплінарний захід, а не архітектурна гарантія. Агент розумніший за промпт.

Мені потрібна була система, де фізично неможливо порушити чесність коду. Де порушення ізоляції — це не warning у логах, а помилка типізації на етапі компіляції графа.

Так народився Developer Farm.

Рішення: 4-шарова архітектура з жорсткими контрактами

Ідея не нова — у теорії систем це називається separation of concerns на стероїдах. Я просто довів її до логічного кінця для AI-розробки.

PLANNING        →  TaskInput (що зробити)
                   ↓ TypedDict без критеріїв
EXECUTION       →  CodeArtifact (git diff)
                   ↓ TypedDict без worker_id
VERIFICATION    →  Verdict (score + reason)
                   ↓ Тільки агрегати
OPTIMIZATION    →  Proposal (через human-in-the-loop)

Критично не те, що кожен шар робить, а чого він НЕ БАЧИТЬ:

Це не філософська концепція. Це TypedDict контракти, які LangGraph перевіряє на кожному переході. Спроба передати acceptance_criteria у Execution — це ValueError: 🚫 GOODHART VIOLATION.

Стек: чому саме це

LangGraph, а не CrewAI / Temporal / чистий Python

Пробував усе. Для моїх вимог LangGraph — єдиний, хто одночасно:

1. Закріплює ізоляцію в типах. TypedDict для кожного вузла.
2. Підтримує цикли валідації нативно. Методологія вимагає до 3 ітерацій validator → revise — це одне conditional edge.
3. Влізає в 16GB RAM. Overhead ~50MB.
4. Дає streaming з коробки. astream_events(v2) мапиться на SSE для дашборду.
5. Вбудований persistence. SQLite checkpointer замінює мій кустарний скрипт відновлення.

Ollama + Qwen2.5-Coder-3B, а не vLLM

Спочатку намагався підняти vLLM. На GTX 1050 Ti (Pascal, без тензорних ядер) це біль: або OOM, або 3 tok/s. Перейшов на Ollama — вона через llama.cpp автоматично балансує шари між VRAM та RAM. Результат: стабільні 10-14 tok/s, graceful degradation при нестачі пам’яті, OpenAI-сумісний API з коробки.

OpenRouter для Planning та Verification

Локальна 3B чудова для генерації коду, але слабка для планування архітектури та code review. Для цих шарів використовую Qwen-Max та Qwen-Turbo через OpenRouter: planning ~$0.02/виклик, verification ~$0.01/виклик.

Реальні результати

Запустив тестову фічу: «Python-модуль з функціями add, subtract, multiply, divide, обробка ділення на нуль, type hints, docstrings».

Перший прогон

══════════════════════════════════════════════════════════════════
📊 ПІДСУМКОВА СТАТИСТИКА
══════════════════════════════════════════════════════════════════
  Метрика                       Значення
 ────────────────────────────────────────────────────────────────
  Результат                      ✅ PASS
  Ітерацій                             1
  Загальний час                      26.4s
  Planning                          4.5s
  Execution                        12.8s
  Verification                      9.0s
  💰 Загальна вартість              $0.030
══════════════════════════════════════════════════════════════════

Вердикт верифікатора (score 0.97):

«Code correctly implements all four arithmetic operations. Type hints complete. Division by zero handled with ValueError. Docstrings present. Minor PEP 8 issue: one blank line instead of two between top-level functions.»

Прогон з retry loop

Навмисно ускладнив задачу, щоб активувати retry. Система зробила 4 спроби, кожна — у своєму git branch:

$ git log --all --oneline
b9cc6f1 (agent/task-002-fd010dae) feat(task-002): Create Python module...
a97190e (agent/task-002-ffceae8a) feat(task-002): Create Python module...
cf3dbeb (agent/task-002-5a9e50aa) feat(task-002): Create Python module...
98012a5 (agent/task-002-3be77fac) feat(task-002): Create Python module...
4dbd63f (HEAD -> master) chore: initial commit

Це і є Goodhart-proof у дії: воркер на кожній ітерації не бачить, чому попередня провалилася в деталях. Натомість отримує абстрактний feedback:

«Code quality needs improvement. Consider adding documentation for public APIs.»

Без конкретних термінів на кшталт «docstring» або «min_score=0.7». Інакше воркер почне формально відповідати рубриці, а не вирішувати задачу.

Економіка: $0.03 проти $30

Для порівняння:

• Cursor Pro: $20/міс за ~50 фіч = $0.40/фічу (13x дорожче)
• Devin: $500/міс = $10+/фічу при активній роботі (330x дорожче)

Локальний інференс Execution обнуляє основну статтю витрат. У SaaS-моделі Execution — це 70-80% собівартості.

Порівняння з конкурентами

Я не конкурую з ними напряму. Вони продають «AI-співробітника». Я будую «AI-завод із гарантією якості». Перше — для тих, хто хоче делегувати. Друге — для інженерів, які відмовляються делегувати розуміння.

Ключовий код: межі, які не можна порушити

Ось як виглядає захист на рівні контрактів:

# contracts.py
from typing import TypedDict
from typing_extensions import NotRequired

class TaskInput(TypedDict):
    """Що отримує воркер від Planning."""
    task_id: str
    description: str                    # Технічний опис
    context_files: list[str]
    language: str
    target_path: str
    # ⛔ НЕМАЄ: acceptance_criteria, test_cases, rubric

class CodeArtifact(TypedDict):
    """Запечатаний артефакт від воркера."""
    artifact_id: str
    task_id: str
    files_changed: list[str]
    git_diff: str
    logs: str
    worktree_path: NotRequired[str]
    branch_name: NotRequired[str]
    # ⛔ НЕМАЄ: worker_id, task_description, original_prompt

FORBIDDEN_IN_TASK_INPUT = {"acceptance_criteria", "test_cases", "rubric"}
FORBIDDEN_IN_ARTIFACT = {"worker_id", "task_description", "original_prompt"}

def seal_task_for_execution(task: dict) -> TaskInput:
    """Planning → Execution: обрізаємо все зайве."""
    leaked = set(task.keys()) & FORBIDDEN_IN_TASK_INPUT
    if leaked:
        raise ValueError(f"🚫 GOODHART VIOLATION: {leaked}")
    return {k: v for k, v in task.items() if k in TaskInput.__annotations__}

Кожен перехід між шарами проходить через функцію seal_*. Спроба передати заборонене поле — це не тихий warning, а миттєвий fail.

Git worktrees: ізоляція на рівні VCS

Кожен воркер отримує свій git worktree та branch agent/{task_id}-{artifact_id}. При FAIL worktree автоматично видаляється (cleanup у verification_node). При PASS — залишається для merge.

$ git worktree list
/opt/developer-farm                              abc1234 [master]
/opt/developer-farm/worktrees/fd010dae          b9cc6f1 [agent/task-002-fd010dae]

Reconciler: Kubernetes-style control loop

Фоновий процес, який кожні 10 секунд:

• Перевіряє heartbeat всіх threads
• При timeout >120s — resume з checkpoint
• Захист від infinite retry (max 3 спроби)
• Автоматичне відновлення після збоїв

Це перетворює систему з «працює поки дивишся» на «працює само».

Швидкий старт

Вимоги

• Ubuntu 22.04 (протестовано)
• Python 3.11+
• NVIDIA GPU з 4GB+ VRAM (протестовано на GTX 1050 Ti)
• 16GB RAM
• OpenRouter API key (отримати безкоштовно)

Встановлення

git clone https://github.com/illyar80/developer-farm.git
cd developer-farm

# Встановлення всіх залежностей, Ollama, моделей
chmod +x bootstrap.sh
./bootstrap.sh

# Активація оточення
source venv/bin/activate

# Налаштування API ключів
cp .env.example .env
nano .env  # Додайте OPENROUTER_API_KEY

Використання

1. Створіть специфікацію:

mkdir -p work/my-feature
cat > work/my-feature/user-spec.md << 'SPEC'
# Feature: JWT Auth
Implement login and token refresh with FastAPI.
Constraints: Python 3.11+, RS256, rate limiting.
SPEC

2. Запустіть пайплайн:

python -m graph.graph work/my-feature/user-spec.md

3. Перевірте та змерджте:

# Перегляд згенерованого branch
git log agent/task-001-* --oneline

# Diff від master
git diff master...agent/task-001-

# Merge
git merge agent/task-001- --no-ff

4. Моніторинг через дашборд (опціонально):

# Термінал 1
python -m dashboard.server

# Термінал 2
python -m graph.graph work/my-feature/user-spec.md

# Відкрийте http://localhost:8080

Що далі

У планах:

• OPTIMIZATION шар — самоеволюція системи через human-in-the-loop proposals
• Підтримка інших LLM — Anthropic, OpenAI, локальні GGUF
• Веб-інтерфейс для написання специфікацій (інтеграція зі Storyblok)
• Kubernetes deployment для масштабування

Висновок

AI-агенти без архітектурних меж деградують. Закон Гудхарта не зник із появою LLM — він просто став працювати швидше. Інженерна відповідь на це — не розумніші промпти, а чесніша архітектура.

Якщо ви будуєте AI-системи і стикалися з проблемою оптимізації агентів під метрику — діліться досвідом у коментарях. Як ви вирішуєте цю проблему: промптами, архітектурою чи поки що ніяк?

Репозиторій: github.com/illyar80/developer-farm

Ліцензія: MIT

Залізо для тестів: Ryzen 3 2200G + GTX 1050 Ti 4GB + 16GB RAM