Вийшов Polars 2.0. Розбираємо головні зміни
Розробники випустили Polars 2.0 — нову основну версію популярної бібліотеки для роботи з даними. Серед головних змін — потоковий рушій за замовчуванням для відкладених запитів, початкова підтримка обчислень із вивантаженням даних на диск, новий тип Map та помітно ширші можливості SQL.
А тепер давайте детальніше глянемо, що ж змінилося.
Головні зміни
Потоковий рушій тепер працює за замовчуванням
У Polars 2.0 виклик collect() для LazyFrame за замовчуванням використовує потоковий рушій замість рушія, який виконує всі обчислення в оперативній пам’яті. Це має на меті зменшити споживання пам’яті та пришвидшити виконання багатьох відкладених запитів.
Але є важливий нюанс. Потоковий рушій не гарантує порядок рядків для операцій, де він не є частиною результату, зокрема join, group_by та unpivot. Якщо код покладався на такий порядок, після оновлення результат може змінитися.
Наприклад:
left = pl.LazyFrame({"k": [0, 1, 2], "l": ["a", "b", "c"]})
right = pl.LazyFrame({"k": [2, 1, 0], "r": ["x", "y", "z"]})
left.join(right, on="k", how="left").collect()
У Polars 2.0 порядок рядків у результаті вже не обов’язково відповідатиме left. Якщо він важливий, це потрібно вказати явно:
left.join( right, on="k", how="left", maintain_order="left", ).collect()
Старий рушій, який працює в оперативній пам’яті, теж залишився. Його можна встановити для окремого запиту або для всього процесу:
pl.Config.set_engine_affinity("in-memory")
lf.collect(engine="in-memory")
З’явилося вивантаження даних на диск
У Polars 2.0 за замовчуванням увімкнули початкову підтримку обчислень, які можуть виходити за межі доступної оперативної пам’яті. Якщо Polars наближається приблизно до 80% доступної RAM, підтримувані операції можуть почати вивантажувати частину даних на диск і продовжити виконання запиту. Типове обмеження для використання диска становить 64 ГБ.
Наразі це працює для сортування, віконних функцій та багатьох виразів. Підтримку join і group_by розробники ще планують додати.
SQL стає повноцінною частиною Polars
У новій версії команда приділила значно більше уваги SQL і наблизила його можливості до основного API Polars. Розробники розширили підтримку SQL та покращили оптимізатор. Серед змін — автоматична зміна порядку join, усунення повторного виконання однакових підзапитів і динамічні предикати з фільтрами Блума.
Окремо команда протестувала Polars SQL на запитах, побудованих на основі TPC-H і TPC-DS, та порівняла його з DuckDB 1.5.6, DuckDB 2.0 alpha і DataFusion 54.0.0.
Тести проводили на двох конфігураціях: c7a.4xlarge із 16 vCPU та 32 ГБ оперативної пам’яті й c7a.metal зі 192 vCPU та 384 ГБ. Кожен запит запускали п’ять разів, а для порівняння брали найкращий результат.

Результати тестування Polars, DuckDB і DataFusion на c7a.4xlarge та c7a.metal
Новий тип даних Map
Polars тепер напряму підтримує Arrow MapType через власний тип Map. До версії 2.0 такі дані з Arrow представлялися так:
List(Struct({"key": ..., "value": ...}))
Тепер можна створити Map напряму:
df = pl.DataFrame(
{
"user": ["alice", "bob", "carol"],
"scores": pl.Series(
[{"math": 90, "art": 75}, {"math": 60}, {}],
dtype=pl.Map(pl.String, pl.Int64),
),
"subject": ["art", "art", "math"],
}
)
Для Map з’явилися окремі вирази для пошуку за ключем та роботи з ключами і значеннями:
df.select(
"user",
pl.col("scores").map.get("math").alias("math"),
pl.col("scores").map.get(pl.col("subject")).alias("by_subject"),
pl.col("scores").map.contains_key("art").alias("has_art"),
pl.col("scores").map.len().alias("n"),
pl.col("scores").map.keys().alias("keys"),
pl.col("scores").map.values().alias("values"),
)
Колонки Map з Arrow, Parquet та Iceberg тепер теж завантажуються як новий тип даних.
Більше суворості до типів даних і неявних перетворень
Розробники також продовжили прибирати неявні перетворення, які могли приховувати помилки в обробці даних. Наприклад, рядок більше не можна просто перетворити на Date через cast():
pl.Series(["2022-08-30"]).cast(pl.Date)
Такий код поверне помилку. Для розбору дати потрібно використовувати спеціальний метод:
pl.Series(["2022-08-30"]).str.to_date()
Схему відкладеного запиту при цьому можна перевірити через collect_schema() без завантаження самих даних.
Інші зміни
pl.read_csv()тепер всередині працює черезpl.scan_csv(...).collect(), тому звичайне та відкладене читання CSV мають більш узгоджену поведінку;- з
pl.read_csv()прибрали параметриn_threads,batch_size,sample_sizeіrechunk; pl.read_ipc()для більшості сценаріїв тепер використовуєpl.scan_ipc(...).collect(), а параметриmemory_mapіrechunkприбрали;pl.concat(..., how="horizontal")більше не доповнює коротший DataFrame значеннямиnull, якщо кількість рядків відрізняється, а повертаєShapeError;explode()для порожнього списку тепер створює нуль рядків замість одного рядка зnull;- поєднання знакових цілих типів з
UInt64тепер може приводитися доInt128замістьFloat64, щоб уникати втрати точності; is_in()став суворішим до перетворення типів і більше не виконує частину потенційно неточних перетворень автоматично;LazyFrame.profile()прибрали, оскільки його модель профілювання була розрахована на старий рушій і могла некоректно відображати паралельне виконання;- невідомі типи розширень Arrow тепер завантажуються як окремі типи розширень, а Parquet
ENUMчитається якString; - у SQL частину визначення типів і посилань перенесли на момент виконання
collect(), а точні числові значення тепер мають типDecimal; read_avro()іwrite_avro()позначили як нестабільні, аcut()іqcut()поступово замінюють методамиbin_*.
Як оновитися
Оновити Polars до актуальної версії можна командою:
pip install -U polars
Перед переходом на нову версію команда радить спочатку оновитися до останньої версії 1.x, прибрати попередження про застарілі можливості та прогнати тести.
1 коментар
Додати коментар Підписатись на коментаріВідписатись від коментарівЦе все звісно дуже прекрасно, але
Ми використовуємо цю бібліотек в нашому продукті і 40% часу пайтон розробників йде на те щоб знайти шлях як обійти меморі ліки чи ще які небудь баги
Моя порада якщо ви використовуєте цю лібу щоб з датасети аналізувати то це круте рішення,
але якщо ви інтегруєте її в проєкт який тижнями крутиться на сервері то зважуйте за і проти