Лайфхак для PM

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Привіт, хочу розповісти про один хак для «проджект манагера».

1. Питаємо chatGPT як створити чатбота для слака на AWS Lambda
2. Питаємо chatGPT як користуватись Jira API
3. Питаємо chatGPT як створювати запити в chatGPT API
4. Поєднуємо це все за допомогою chatGPT
5. ...
6. Ну і звісно моє найулюбленіше
7. Звільняємося, бо тут вам вже робити більше нічого.

Відчуття від використання API

Основна проблема API в тому, що ви не можете задати сталий контекст. Тож відчуття складається таке, що ви питаєте дуже ерудовану й ввічливу людину, але по-перше вона гадки не має чим ви займаєтесь, а по-друге зараз друга ночі й ви тільки-но її розбудили. Ну й наостанок вам потрібно отримати відповідь за один запрос.

Також, коли намагаєшся задати контекст, розумієш наскільки його багато у команди, котра працює разом. Навіть банальне «Що в нас на Васі» поставить модель у тупік.

Тепер про особливості.

• Температура. Використовував від 0.3 до 0.6, великої різниці не побачив.
• Кажуть що треба задавати «модель поведінки», накшталт «Act as terminal». Може в якихось кейсах це й працює, але «термінал» дуже часто намагається пояснювати свої відповіді.
• Доречі відповіді. Якщо ви думаєте, що попросите повернути JSON й отримаєте лише його у відповідь — ви помиляєтесь. Чат обов’язково буде намагатися вставити пояснення. А коли ви махнете рукою й почнете просто парсити JSON з віповіді — він поверне вам 2 JSON-а
• Генерація коду. Якщо вам прийшла в голову ідея написати коротесенький код, котрий буде транслювати запит юзера в SQL/JQL/іншу мову запросів — то в мене для вас погані новини. Ні, транслювати то воно буде, але дуже «творче». Може додати додаткові фільтри чи забути додати параметри "по замовчуванню«.Чи просто сказати «замало даних, додайте контексту».
• Рандом. Ми звикли, що запит до stateless функціЇ з однаковими параметрами дає однакову відповідь. Але не в випадку запросів до chatGPT API. На один й той же запит, може бути сконструйовані дуже різні відповіді, особливо якщо ви просите чат сгенерувати щось. Отже половину часу, ви будете намагатися зробити такий промт, щоб отримати однакову відповідь. Чи...
• Замість генерування там де можливо — використовуйте аналіз. Тобто замість запросу «транслюй запрос юзера в JQL» краще попросити повернути JSON з основними даними з запросу (юзери, релізи, типи тасків, таке інше). Так, це може значно зменшити універсальність вашого бота, але значно підвищить адекватність відповідей.
• Якщо ви просите GPT аналізувати запрос юзера та дістати з нього дані, то з’являється ідея додати в промт «параметри за замовчуванням». Ну типу «якщо юзер не вказує пріоритет, то поверни <medium>». Це не дуже вдалий підхід, бо якщо умов більше однієї-двух — то чат починає їх забувати. А от що дійсно треба повідомити — то це «якщо не сказано явно, поверни порожню строку». Бо інакше модель з великою вірогідністю буде намагатися додумати.
• Бачив ідею говорити чату повернути відповідь обернену якоюсь послідовністю, типу «ХХХ». Sounds good, does not work. Точніше, іноді work, іноді — ні.

Ну й трошки фантазій про майбутнє

GPT не є чимось принципово новим. Ви й раніше могли натренерувати нейромережу робити майже все, що може модель. Але зараз це просто стало НАБАГАТО простіше. Все що вам потрібно — це в декілько речень додати ваш контекст — й ваша нейромережа готова генерувати відповіді. Головна проблема — це розмір контексту.

Chatgpt3.5turbo має 4к токенів ліміт. Якщо ми забронюємо 500 токенів для відповіді, то в нас на контекст та запитання залишиться 3500 токенів (~2000 слів англійською).

Так, існує gpt4 32k, котрий може працювати з лімітом у 32к токенів на запит. От тільки якщо ваш запит буде містити хоча б 10к токенів (десь 4-6к слів) то він буде коштувати $0.6. Й ви все ще навряд чи зможете навіть описати структуру бази проекту, не кажучи вже про використання GPT для пошуку відповідей по корпоративній Вікі чи коду.

Тож поки всі тремтять від перспективи GPT5, я очикую появи можливості зберігати «профілі» з розширеним контекстом. Якщо за незахмарні гроші можливо буде зберігати хоча б 1гб свого контексту, це може багато чого змінити. Як альтернатива, зараз з’являється можливість локально розгорнути іншу мовну модель типу Llama.

Що далі? Ну ми вже говорили, що контекст дуже важливий для отримання правильної відповіді. Й зараз часто трапляються випадки, коли швидше зробити самому ніж пояснювати чату чи іншим людям що ти хочеш. Тож як на мене, наступним кроком буде інтерфейс на кшталт Neuralink, котрий дозволить миттєво передавати дані та запит.