• Форум
  • Стрічка
  • Зарплати
  • Робота
  • Календар
  • Спільноти
  • DOU Day 3775
Вхід і реєстрація
Vadym Boikov
  • Профіль
  • Коментарі 7
  • Статті 1
  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Это то , к чему мы в итоге и пришли :)

    На счёт 1-2% — тут же ещё зависит степень сжатия. Можно уменьшить картинку на 10%, а можно и в 2 раза. Тут будет ситуативно от оригинального размера

    6 лютого 2020 8:36
    Підтримав: Eugene Dobrovolskyi
  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Ольга, я частично ответил на ваш вопрос в соседнем комментарии.

    Принятия решений оптимизации production performance, там где есть pandas — это уже вне моей компетенции, но теперь это будет актуальной тема для инженерного блог-поста :)

    18 січня 2020 4:59
  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Одна из проблем pandas, что его очень легко неправильно использовать, если не знать всех принципов работы. И этим регулярно злоупотребляют data scientist`ы. (Мое личное наблюдение). В таком случае performance резко падает. И да, один из вариантов — оптимизация кода и типов данных. На некоторых проектах — это чисто инженерное решение. К сожалению, детального сравнения оптимизированного кода c pandas и кода без него у меня нет.

    А в случае, когда данных уже много и их надо параллелизировать — то тут точно надо искать альтернативы. (Spark/dask, etc)

    18 січня 2020 4:53
  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Взять несколько картинок. Уменьшить их bicubic обеими библиотеками, сравнить результат по MSE

    16 січня 2020 12:52
  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Выпиливается. Надобность pandas — его удобство для рисерча.
    Но когда перформанс в продакшн важен, выпиливание pandas — первое место для оптимизации

    16 січня 2020 12:49
    Підтримав: Olga Nikandrova
  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Как раз-таки облегчить. Например, пока все не перешли на нейронные сети, в computer vision только и занимались что придумывали kernel’ы. Что в каком-то роде и есть feature engineering.

    15 січня 2020 9:40
    Підтримав: Anton Bocharov
  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Антон, спасибо, хороший поинт. Я неявно подразумевал, что этот пункт входит как раз 80% времени работы с данными.
    Feature engineering достаточно уникален для каждого проекта, поэтому и не уделил ему достаточно внимания в статье. Но да, вы правы, без фичей далеко не уедешь :)

    15 січня 2020 9:37
    Підтримали: Vitaliy Rudnytskiy, Anton Bocharov

Не пропустіть

11 травня, Online
Онлайн-курс «Кібербезпека для військової сфери» з керівником CISO від robot_dreams
12 травня, Online
Вебінар «LinkedIn як стабільний канал лідогенерації: стратегія, інструменти та AI»
14 травня, Online
Вебінар «Delivery у 2026: як залишитись конкурентним, коли клієнти очікують дешевше, швидше і з AI»
15 — 16 травня, Київ
DOU Day 2026 — найбільша технічна конференція від спільноти DOU
15 травня, Online
Безкоштовний JS курс від Binary Studio Academy
15 травня, Online
Міні-курс «Метрики бізнесу: дашборд для фаундера»
16 травня, Київ
Kyiv Project Management Day 2026 Spring
23 травня, Київ
AI JavaScript fwdays’26 conference
26 травня, Online
Освітня програма «Defence Tech для нетехнічних спеціалістів» | Beetroot Academy
9 липня, Київ
DOU Product Day 2026
© 2005—2026 DOU.ua
Нас уже 868 543. Ми в соцмережах: Facebook Twitter GitHub LinkedIn Telegram YouTube TikTok Instagram WhatsApp
Пошук програмістів на Джині
  • Контакти
  • Реклама
  • Legal
Пишіть нам на [email protected]
Скористайтесь акаунтом
×
  • Google
  • LinkedIn
  • GitHub
  • Facebook
Увійти за поштою.
  • Вхід
  • Реєстрація
  • Відновлення пароля
Неправильний пароль
Реєстрацію по email закрито
Ви неправильно вказали свою пошту
Або скористайтесь акаунтом.
Для того, щоб зробити ваш профіль повноцінним, вкажіть вашу пошту.
Ми відправимо вам лист з посиланням для підтвердження.
Ви неправильно вказали свою пошту
з умовами використання сайту і політикою конфіденційності.