Pandas 处理数据太慢,来试试 Polars 吧!

作者 | 小F责编 | 欧阳姝黎

大家好,我是小F~

很多人在学习数据分析的时候,肯定都会用到 Pandas 这个库,非常的实用!

从创建数据到读取各种格式的文件(text、csv、json),或者对数据进行切片和分割组合多个数据源,Pandas 都能够很好的满足(www.derL.cn)。

Pandas 最初发布于 2008 年,使用 Python、Cython 和 C 编写的。是一个超级强大、快速和易于使用的 Python 库,用于数据分析和处理。

当然Pandas也是有不足之处的,比如不具备多处理器,处理较大的数据集速度很慢。

今天,小F就给大家介绍一个新兴的 Python 库——Polars。

使用语法和 Pandas 差不多,处理数据的速度却比 Pandas 快了不少。

一个是大熊猫,一个是北极熊~

GitHub 地址:https://github.com/ritchie46/polars

使用文档:https://ritchie46.github.io/polars-book/

Polars 是通过 Rust 编写的一个库,Polars 的内存模型是基于 Apache Arrow。

Polars 存在两种 API,一种是 Eager API,另一种则是 Lazy API。

其中 Eager API 和 Pandas 的使用类似,语法差不太多,立即执行就能产生结果。

而 Lazy API 就像 Spark,首先将查询转换为逻辑计划,然后对计划进行重组优化,以减少执行时间和内存使用。

安装 Polars,使用百度 pip 源。

# 安装polars

pip install polars -i https://mirror.baidu.com/pypi/simple/

安装成功后,开始测试,比较 Pandas 和 Polars 处理数据的情况。

使用某网站注册用户的用户名数据进行分析,包含约 2600 万个用户名的 CSV 文件。

文件已上传公众号,获取方式见文末。

importpandas aspd

df = pd.read_csv( 'users.csv')

print(df)

数据情况如下。

此外还使用了一个自己创建的 CSV 文件,用以数据整合测试。

importpandas aspd

df = pd.read_csv( 'fake_user.csv')

print(df)

得到结果如下。

首先比较一下两个库的排序算法耗时。

可以看到使用 Pandas 对数据进行排序,花费了大约 28s。

Polars 只花费了约 10s,这意味着 Polars 比 Pandas 快了 2.7 倍。

下面,我们来试试数据整合的效果,纵向连接。

使用 Pandas 耗时 15s。

Polars 居然最使用了约 3.5s,这里 Polars 比 Pandas 快了 4.5 倍。

通过上面的比较,Polars 在处理速度上表现得相当不错。

可以是大家在未来处理数据时,另一种选择~

当然,Pandas 目前历时 12 年,已经形成了很成熟的生态,支持很多其它的数据分析库。

Polars 则是一个较新的库,不足的地方还有很多。

如果你的数据集对于 Pandas 来说太大,对于 Spark 来说太小,那么 Polars 便是你可以考虑的一个选择。

4月23日晚8点,欢迎来到CSDN直播间,与资深行业专家雷明老师一起探讨机器学习所必须掌握的数学知识。

☞ Android 12 新版本泄露,隐私安全可媲美 iOS 系统? ☞ 小米科技因著作权纠纷案被法院强制执行;维权女车主丈夫:特斯拉侵犯隐私,撤销数据并道歉;明尼苏达大学回应被封杀|极客头条 ☞ 为了写论文给 Linux “投毒”,导致整个大学都被 Linux 拉黑!

主营产品:电动推杆,推杆电机,电动升降杆,电动伸缩杆,电动升降立柱,工业电动推杆