python的polars库怎样使用？
发布时间：2022-03-09 13:42:07 所属栏目：语言 来源：互联网
导读：这篇文章主要介绍python中polars库的使用，相比Pandas库，polars库具有更快数据处理速度，因此分享给大家做个参考，希望大家阅读完这篇文章能有所收获，下面我们一起了解看看。 很多人在学习数据分析的时候，肯定都会用到Pandas这个库，非常的实用！从创建数
|
这篇文章主要介绍python中polars库的使用，相比Pandas库，polars库具有更快数据处理速度，因此分享给大家做个参考，希望大家阅读完这篇文章能有所收获，下面我们一起了解看看。 很多人在学习数据分析的时候，肯定都会用到Pandas这个库，非常的实用！从创建数据到读取各种格式的文件(text、csv、json)，或者对数据进行切片和分割组合多个数据源，Pandas都能够很好的满足。Pandas最初发布于2008年，使用Python、Cython和C编写的。是一个超级强大、快速和易于使用的Python库，用于数据分析和处理。 当然Pandas也是有不足之处的，比如不具备多处理器，处理较大的数据集速度很慢。今天，小我们来认识一个新兴的Python库，Polars。使用语法和Pandas差不多，处理数据的速度却比Pandas快了不少。 Polars是通过Rust编写的一个库，Polars的内存模型是基于Apache Arrow。Polars存在两种API，一种是Eager API，另一种则是Lazy API。其中Eager API和Pandas的使用类似，语法差不太多，立即执行就能产生结果。 而Lazy API就像Spark，首先将查询转换为逻辑计划，然后对计划进行重组优化，以减少执行时间和内存使用。 安装Polars，使用百度pip源。 # 安装polars pip install polars -i https://mirror.baidu.com/pypi/simple/ 安装成功后，开始测试，比较Pandas和Polars处理数据的情况。 使用某网站注册用户的用户名数据进行分析，包含约2600万个用户名的CSV文件。 文件已上传公众号，获取方式见文末。 import pandas as pd df = pd.read_csv('users.csv') print(df) 数据情况如下。 此外还使用了一个自己创建的CSV文件，用以数据整合测试。 import pandas as pd df = pd.read_csv('fake_user.csv') print(df) 得到结果如下。 首先比较一下两个库的排序算法耗时。 import timeit import pandas as pd start = timeit.default_timer() df = pd.read_csv('users.csv') df.sort_values('n', ascending=False) stop = timeit.default_timer() print('Time: ', stop - start) ------------------------- Time: 27.555776743218303 可以看到使用Pandas对数据进行排序，花费了大约28s。 import timeit import polars as pl start = timeit.default_timer() df = pl.read_csv('users.csv') df.sort(by_column='n', reverse=True) stop = timeit.default_timer() print('Time: ', stop - start) ----------------------- Time: 9.924110282212496 Polars只花费了约10s，这意味着Polars比Pandas快了2.7倍。 下面，我们来试试数据整合的效果，纵向连接。 import timeit import pandas as pd start = timeit.default_timer() df_users = pd.read_csv('users.csv') df_fake = pd.read_csv('fake_user.csv') df_users.append(df_fake, ignore_index=True) stop = timeit.default_timer() print('Time: ', stop - start) ------------------------ Time: 15.556222308427095 使用Pandas耗时15s。 import timeit import polars as pl start = timeit.default_timer() df_users = pl.read_csv('users.csv') df_fake = pl.read_csv('fake_user.csv') df_users.vstack(df_fake) stop = timeit.default_timer() print('Time: ', stop - start) ----------------------- Time: 3.475433263927698 Polars居然最使用了约3.5s，这里Polars比Pandas快了4.5倍。通过上面的比较，Polars在处理速度上表现得相当不错。可以是大家在未来处理数据时，另一种选择～ 当然，Pandas目前历时12年，已经形成了很成熟的生态，支持很多其它的数据分析库。Polars则是一个较新的库，不足的地方还有很多。如果你的数据集对于Pandas来说太大，对于Spark来说太小，那么Polars便是你可以考虑的一个选择。 （编辑：许昌站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
