Pandas 2.0正式版发布: Pandas 1.5,Polars,Pandas 2.0 速度对比测试

发布时间 2023-04-06 11:18:51作者: deephub

Pandas 2.0正式版在4月3日已经发布了,以后我们pip install默认安装的就是2.0版了,Polars 是最近比较火的一个DataFrame 库,最近在kaggle上经常使用,所以这里我们将对比下 Pandas 1.5,Polars,Pandas 2.0 。看看在速度上 Pandas 2.0有没有优势。

Polars

Polars 是一个 Rust 和 Python 中的快速多线程 DataFrame 库/内存查询引擎。它使用 Apache Arrow作为内存模型在 Rust 中实现。它在2021年3月发布。

Polars的一些主要特点如下:

  1. 快速:Polars在处理大型数据集时非常高效。它使用Rust编写,利用Rust的内存安全和零成本抽象,可以在不牺牲性能的情况下处理大规模数据集。
  2. 可扩展:Polars支持并行化和分布式计算,因此可以处理非常大的数据集。它还具有可插拔的数据源接口,可以从不同的数据源读取和写入数据。
  3. 易于使用:Polars具有类似于Pandas的API,因此熟悉Pandas的用户可以很容易地开始使用Polars。它还具有完整的文档和示例,可帮助用户快速入门。
  4. 支持多种数据类型:Polars支持许多常见的数据类型,包括数字,布尔值,字符串和日期时间。它还支持类似于DataFrame的表格结构,可以进行列操作和过滤等操作。

Polars的一个最大好处是,它不仅有Python的包,Nodejs,Rust等也可以方便的进行继承使用,并且经过各方的验证,它的确要比Pandas1.x快很多。

Pandas 2.0

在之前的文章我们已经介绍了 Pandas 2.0,“它要快得多”(还不是稳定版本)。并且它也有了Apache Arrow的后端。

现在,他的正式版发布了,对于Pandas 2.0 的更新请看官网说明

完整文章:

https://avoid.overfit.cn/post/73c12c85ff124f9bb7947ac4d82316b8