Вийшов Polars 2.0. Розбираємо головні зміни

💡 Усі статті, обговорення, новини про Python — в одному місці. Приєднуйтесь до Python спільноти!

Розробники випустили Polars 2.0 — нову основну версію популярної бібліотеки для роботи з даними. Серед головних змін — потоковий рушій за замовчуванням для відкладених запитів, початкова підтримка обчислень із вивантаженням даних на диск, новий тип Map та помітно ширші можливості SQL.

А тепер давайте детальніше глянемо, що ж змінилося.

Головні зміни

Потоковий рушій тепер працює за замовчуванням

У Polars 2.0 виклик collect() для LazyFrame за замовчуванням використовує потоковий рушій замість рушія, який виконує всі обчислення в оперативній пам’яті. Це має на меті зменшити споживання пам’яті та пришвидшити виконання багатьох відкладених запитів.

Але є важливий нюанс. Потоковий рушій не гарантує порядок рядків для операцій, де він не є частиною результату, зокрема join, group_by та unpivot. Якщо код покладався на такий порядок, після оновлення результат може змінитися.

Наприклад:

left = pl.LazyFrame({"k": [0, 1, 2], "l": ["a", "b", "c"]})
right = pl.LazyFrame({"k": [2, 1, 0], "r": ["x", "y", "z"]})

left.join(right, on="k", how="left").collect()

У Polars 2.0 порядок рядків у результаті вже не обов’язково відповідатиме left. Якщо він важливий, це потрібно вказати явно:

left.join(
    right,
    on="k",
    how="left",
    maintain_order="left",
).collect()

Старий рушій, який працює в оперативній пам’яті, теж залишився. Його можна встановити для окремого запиту або для всього процесу:

pl.Config.set_engine_affinity("in-memory")

lf.collect(engine="in-memory")

З’явилося вивантаження даних на диск

У Polars 2.0 за замовчуванням увімкнули початкову підтримку обчислень, які можуть виходити за межі доступної оперативної пам’яті. Якщо Polars наближається приблизно до 80% доступної RAM, підтримувані операції можуть почати вивантажувати частину даних на диск і продовжити виконання запиту. Типове обмеження для використання диска становить 64 ГБ.

Наразі це працює для сортування, віконних функцій та багатьох виразів. Підтримку join і group_by розробники ще планують додати.

SQL стає повноцінною частиною Polars

У новій версії команда приділила значно більше уваги SQL і наблизила його можливості до основного API Polars. Розробники розширили підтримку SQL та покращили оптимізатор. Серед змін — автоматична зміна порядку join, усунення повторного виконання однакових підзапитів і динамічні предикати з фільтрами Блума.

Окремо команда протестувала Polars SQL на запитах, побудованих на основі TPC-H і TPC-DS, та порівняла його з DuckDB 1.5.6, DuckDB 2.0 alpha і DataFusion 54.0.0.

Тести проводили на двох конфігураціях: c7a.4xlarge із 16 vCPU та 32 ГБ оперативної пам’яті й c7a.metal зі 192 vCPU та 384 ГБ. Кожен запит запускали п’ять разів, а для порівняння брали найкращий результат.

Результати тестування Polars, DuckDB і DataFusion на c7a.4xlarge та c7a.metal

Новий тип даних Map

Polars тепер напряму підтримує Arrow MapType через власний тип Map. До версії 2.0 такі дані з Arrow представлялися так:

List(Struct({"key": ..., "value": ...}))

Тепер можна створити Map напряму:

df = pl.DataFrame(
    {
        "user": ["alice", "bob", "carol"],
        "scores": pl.Series(
            [{"math": 90, "art": 75}, {"math": 60}, {}],
            dtype=pl.Map(pl.String, pl.Int64),
        ),
        "subject": ["art", "art", "math"],
    }
)

Для Map з’явилися окремі вирази для пошуку за ключем та роботи з ключами і значеннями:

df.select(
    "user",
    pl.col("scores").map.get("math").alias("math"),
    pl.col("scores").map.get(pl.col("subject")).alias("by_subject"),
    pl.col("scores").map.contains_key("art").alias("has_art"),
    pl.col("scores").map.len().alias("n"),
    pl.col("scores").map.keys().alias("keys"),
    pl.col("scores").map.values().alias("values"),
)

Колонки Map з Arrow, Parquet та Iceberg тепер теж завантажуються як новий тип даних.

Більше суворості до типів даних і неявних перетворень

Розробники також продовжили прибирати неявні перетворення, які могли приховувати помилки в обробці даних. Наприклад, рядок більше не можна просто перетворити на Date через cast():

pl.Series(["2022-08-30"]).cast(pl.Date)

Такий код поверне помилку. Для розбору дати потрібно використовувати спеціальний метод:

pl.Series(["2022-08-30"]).str.to_date()

Схему відкладеного запиту при цьому можна перевірити через collect_schema() без завантаження самих даних.

Інші зміни

  • pl.read_csv() тепер всередині працює через pl.scan_csv(...).collect(), тому звичайне та відкладене читання CSV мають більш узгоджену поведінку;
  • з pl.read_csv() прибрали параметри n_threads, batch_size, sample_size і rechunk;
  • pl.read_ipc() для більшості сценаріїв тепер використовує pl.scan_ipc(...).collect(), а параметри memory_map і rechunk прибрали;
  • pl.concat(..., how="horizontal") більше не доповнює коротший DataFrame значеннями null, якщо кількість рядків відрізняється, а повертає ShapeError;
  • explode() для порожнього списку тепер створює нуль рядків замість одного рядка з null;
  • поєднання знакових цілих типів з UInt64 тепер може приводитися до Int128 замість Float64, щоб уникати втрати точності;
  • is_in() став суворішим до перетворення типів і більше не виконує частину потенційно неточних перетворень автоматично;
  • LazyFrame.profile() прибрали, оскільки його модель профілювання була розрахована на старий рушій і могла некоректно відображати паралельне виконання;
  • невідомі типи розширень Arrow тепер завантажуються як окремі типи розширень, а Parquet ENUM читається як String;
  • у SQL частину визначення типів і посилань перенесли на момент виконання collect(), а точні числові значення тепер мають тип Decimal;
  • read_avro() і write_avro() позначили як нестабільні, а cut() і qcut() поступово замінюють методами bin_*.

Як оновитися

Оновити Polars до актуальної версії можна командою:

pip install -U polars

Перед переходом на нову версію команда радить спочатку оновитися до останньої версії 1.x, прибрати попередження про застарілі можливості та прогнати тести.

👍ПодобаєтьсяСподобалось1
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Це все звісно дуже прекрасно, але


Ми використовуємо цю бібліотек в нашому продукті і 40% часу пайтон розробників йде на те щоб знайти шлях як обійти меморі ліки чи ще які небудь баги

Моя порада якщо ви використовуєте цю лібу щоб з датасети аналізувати то це круте рішення,
але якщо ви інтегруєте її в проєкт який тижнями крутиться на сервері то зважуйте за і проти