说到Python处理大数据集，可能会第一时间想到Numpy或者Pandas。
这两个库使用场景有些不同，Numpy擅长于数值计算，因为它基于数组来运算的，数组在内存中的布局非常紧凑，所以计算能力强。但Numpy不适合做数据处理和探索，缺少一些现成的数据处理函数。
而Pandas的特点就是很适合做数据处理，比如读写、转换、连接、去重、分组聚合、时间序列、可视化等等，但Pandas的特点是效率略低，不擅长数值计算。
你可以同时使用Pandas和Numpy分工协作，做数据处理时用Pandas，涉及到运算时用Numpy，它们的数据格式互转也很方便。
目前前言，最多人使用的Python数据处理库仍然是pandas，这里重点说说它读取大数据的一般方式。
Pandas读取大数据集可以采用chunking分块读取的方式，用多少读取多少，不会太占用内存。
import pandas as pd # 设置分块大小，例如每次读取 10000 行 chunksize = 10000 # 使用 chunksize 参数分块读取 CSV 文件 for chunk in pd.read_csv('large_file.csv', chunksize=chunksize): # 在这里处理每个 chunk，例如打印每行的信息 print(chunk.head()) # 或者其他你需要的操作 # 如果你需要保存或进一步处理每个 chunk 的数据，可以在这里进行 # 例如，你可以将每个 chunk 写入不同的文件，或者对 chunk 进行某种计算并保存结果但使用分块读取时也要注意，不要在循环内部进行大量计算或内存密集型的操作，否则可能会消耗过多的内存或降低性能。
其次你可以考虑使用用Pandas读取数据库（如PostgreSQL、SQLite等）或外部存储（如HDFS、Parquet等），这会大大降低内存的压力。
尽管如此，Pandas读取大数据集能力也是有限的，取决于硬件的性能和内存大小，你可以尝试使用PySpark，它是Spark的python api接口。
PySpark提供了类似Pandas DataFrame的数据格式，你可以使用toPandas() 的方法，将 PySpark DataFrame 转换为 pandas DataFrame，但需要注意的是，这可能会将所有数据加载到单个节点的内存中，因此对于非常大的数据集可能不可行）。
相反，你也可以使用 createDataFrame() 方法从 pandas DataFrame 创建一个 PySpark DataFrame。
PySpark处理大数据的好处是它是一个分布式计算机系统，可以将数据和计算分布到多个节点上，能突破你的单机内存限制。
其次，PySpark采用懒执行方式，需要结果时才执行计算，其他时候不执行，这样会大大提升大数据处理的效率。
from pyspark.sql import SparkSession # 创建一个 SparkSession 对象 spark = SparkSession.builder / .appName("Big Data Processing with PySpark") / .getOrCreate() # 读取 CSV 文件 # 假设 CSV 文件名为 data.csv，并且有一个名为 'header' 的表头 # 你需要根据你的 CSV 文件的实际情况修改这些参数 df = spark.read.csv("path_to_your_csv_file/data.csv", header=True, inferSchema=True) # 显示数据集的前几行 df.show(5) # 对数据进行一些转换 # 例如，我们可以选择某些列，并对它们应用一些函数 # 假设我们有一个名为 'salary' 的列，并且我们想要增加它的值（仅作为示例） df_transformed = df.withColumn("salary_increased", df["salary"] * 1.1) # 显示转换后的数据集的前几行 df_transformed.show(5) # 将结果保存到新的 CSV 文件中 # 注意：Spark 默认不会保存表头到 CSV，你可能需要手动处理这个问题 df_transformed.write.csv("path_to_save_transformed_csv/transformed_data", header=True) # 停止 SparkSession spark.stop()如果你不会使用PySpark，可以考虑Pandas的拓展库，比如modin、dask、polars等，它们提供了类似pandas的数据类型和函数接口，但使用多进程、分布式等方式来处理大数据集。
modin库
import modin.pandas as pd # 读取 CSV 文件 df = pd.read_csv('path_to_your_csv_file.csv') # 显示前几行 print(df.head())Dask库
import dask.dataframe as dd # 读取 CSV 文件 df = dd.read_csv('path_to_your_csv_file.csv') # 触发计算并显示前几行（注意这里使用的是 compute 方法） print(df.head().compute())Polars库
import polars as pl # 读取 CSV 文件 df = pl.read_csv('path_to_your_csv_file.csv') # 显示前几行print(df.head())这几个库的好处是，使用成本很低，基本和pandas操作方式一样，但又能很好的处理大数据。
所以说Pandas是完全能胜任处理大数据集的，它目前的周边生态库非常丰富。
本文链接：http://www.28at.com/showinfo-26-89403-0.html说到Python处理大数据集，别说你会用Pandas
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
上一篇： 记一次 .NET 某酒店后台服务卡死分析
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号