1. Так
2. А що «середнє по Андріях» це не ймовірність? підказка — відповідь на це питання має бути числом від 0 до 1, а точніше два числа:)
3. Кожен раз з різним порогом? А простіше? якщо я хочу побудувати графік на 1000 точок це буде трохи затратний спосіб особливо якщо набір даних для оцінки великий.
4. Все вірно.
8. Вірно, а ще?:)
Дякую за підказку на рахунок Facets і Chrome!
Дякую! попрошу редакцію виправити.
Допустимо прогноз погоди (з цілого тижня) передбачив дощ на 5 днів з понеділка по пятницю.
Дощ насправді випав в неділю, понеділок і вівторок.
Точність = 3 / 7 (три дні (пон, вів, суб) передбачені правильно, решта неправильно)
Позитивна точність (Precision) = 2 / 5 (позитивне передбачення справдилося для пон і вів)
Покриття (Recall) = 2 / 3 (з насправді позитивних нед-вів правильно вибраний пон і вів)
Всі три метрики тут відносяться тільки до передбачення дощу на конкретний день, ми не беремо до уваги години коли він мав падати в яких точно місцях, передбачення температур і вітру.
Буду вдячний якщо поділитеся досвідом як їм пішло
Напишу з радістю, але хотілося б почути питання по тому що не зрозуміло і відповіді на завдання у статті.
Дякую! До картинок ще доберемося, наразі як на нашу думку трохи рано. Хотілося б побачити як читачі справляться з завданнями до статті
Ви праві, є багато бізнес-логіки яку ми опустили. Ще він може не «паритися з моделями» і повпливати на видачу балів напряму. Нам всерівно на Івана Івановича — в нас головний герой Коля і ми слідуємо по його невпевнених кроках в машинне навчання:)
Якщо в межах курсової Коля отримає задачу вирахувати «правильний» прохідний бал то він може побудувати кілька різних моделей кожна з яких бінарна і передбачає кількість балів >= X. Ми доберемося і до числових моделей, наразі розлядаємо простіші варіанти
Маєте рацію, якщо б ми передбачали оцінку як числову величину а не «здав» чи «не здав» то ми б брали таку або схожу метрику як помилку. При числових передбаченнях часто застосовується en.wikipedia.org/...oot-mean-square_deviation але якщо проміжок значень для передбачення душе широкий, RMSE збиває модель з пантелику і перенавчається під великі значення
Перепрошую що ми не виправдали ваші очікуванні по формулах:) в контексті даної статті для того щоб зробити її якомога доступнішою помилка = 100% — точність.
В реальному житті це значно складніше. Ми трохи більше заглибимося в наступній статті в те що саме оптимізовує тренер в наступній статті, там є різні варіанти в залежності від наших цілей. Але для того треба ввести ще кілька метрик для моделей
Дуже дякую за книгу, виглядає справді цікаво!
На рахунок нейронних мереж — справді є тенденція витіснення ними інших типів моделів, про повне витиснення ще рано говорити. Моя думка — працювати з нейронними мережами складніше, не тільки тому що для них потрібно більше ресурсів а і тому що таку модель тяжче розуміти, складніше управляти процесом тренування, вона має дуже суттєві схильності перенавчатися і гірше узагальнюється.
Наша рекомендація — завжди починат з дерев, Logistic Regression або інших типів моделей які легше розуміти, якщо вони є застосовними до проблеми (скажімо у вас не по відео, аудіо чи картинках треба передбачати). При наявності часу і ресурсів пробувати нейронні мережі і порівнювати. Важливо порівнювати точність на різних наборах даних для оцінки — особливу увагу приділити набору який містить найсвіжіші дані при тренуванні на попередніх. Для нашого прикладу тренувати на попередніх екзаменаційних роках і оцінювати на остайньому.
Нейронки можуть дати трохи кращу точність, але час який треба потратити на них більший, тому для кожної проблеми треба оцінювати потенційний виграш.
тренер — brute_force_train()
Мінімізація помилки або максимізація точності відбувається в тренері — функції brute_force_train()
Так, дякую за уважність! Помилка в тексті — правильно буде «результат другого тесту важливіший ніж першого»
Слушне зауваження. Це *може* дати кращу оцінку. Я б спробував і порівняв обидва методи при вирішенні такої задачі.
Розділю відповідь на дві:
1. МЛ в тестуванні можна використовувати. Приклад — передбачити що конкретна зміна коду приведе до помилки (тестувальник напише багу).
2. Тестування МЛ — одну частину ми трохи зачепили — це оцінка якості моделі. Точність це не дуже хороша метрика але її просто пояснити, в наступній статті подивимося глибше. Тестування результатів роботи МЛ є занадто широким щоб відповідати в коментарі. Якщо можете напишіть конкретніше як ви його використовуєте і я спробую щось запропонувати.
Дякую за уважність! Так 1 і 2 це помилки.
На рухунок реалізації
calculate_accuracy()
- перша версія використовує функцію
predict_exam_failure()
яка по суті і є моделю. Далі в розділі «Моделі» є обновленна версія яка приймає функцію як параметр.
Стаття виключно по машинному навчанні. Я тему штучного інтелекту зачепив якраз для того щоб відділити його від машинного навчання і сфокусувати на остайньому.
Якщо Ви розумієте як працюють алгоритми машинного навчання їх можна і брутфорсом називати і ворожінням на відбитках ліній магічних ідентифікаторів:) Ця стаття для людей які мають нуль або мало досвіду з машинним навчанням і я не переконаний що для таке спрощення полегшить розуміння чи сприйняття сутностей і підходів. Буду радий почути будь-які ідеї як донести принципи роботи МЛ доступним способом.
З того що Ви описали, мені видається що варто шукати складніші практичні проблеми і їх вирішувати. Я не рекомендую далі насідати на курси.
Подивіться, які цікаві проблеми над якими не працює ніхто в межах Вашого проекту спробуйте їх вирішити і зробити прототип для команди. Це може означати придумати трохи штучну проблему. Будьте готові до того що перших N рішень будуть нікому не потрібні — в процесі Ви наберетеся того досвіду який не дадуть Вам курси і буде чіткіше видно що варто вчити далі.
Добре! Спробуйте складніші запитання:)
2. У Вас є ця інформація:) див. посилання на дані ввгорі.
3. Напишіть код який порахує таблицю.
8. Непогані варіанти.