Pandas合并多个CSV文件的方法与技巧在数据处理和分析过程中，经常会遇到需要合并多个CSV文件的情况。使用Python的Pandas库可以高效地完成这一任务。我们这篇文章将详细介绍如何利用Pandas合并多个CSV文件，涵盖从基础操作

Pandas合并多个CSV文件的方法与技巧

在数据处理和分析过程中，经常会遇到需要合并多个CSV文件的情况。使用Python的Pandas库可以高效地完成这一任务。我们这篇文章将详细介绍如何利用Pandas合并多个CSV文件，涵盖从基础操作到高级技巧的完整解决方案。主要内容包括：单个目录下CSV文件合并；跨目录文件合并；处理不同结构的CSV文件；大文件合并的优化策略；合并后的数据处理；常见问题与解决方案。

一、单个目录下CSV文件合并

对于存储在同一个目录下的多个结构相同的CSV文件，可以使用glob模块配合Pandas的concat函数进行合并：

import pandas as pd
import glob

# 获取目录下所有CSV文件
all_files = glob.glob("data/*.csv")

# 读取并合并文件
df_list = []
for filename in all_files:
    df = pd.read_csv(filename)
    df_list.append(df)

combined_df = pd.concat(df_list, ignore_index=True)

这种方法适用于文件结构相同且数量不多的情况。ignore_index参数会重新创建索引，避免索引重复。

二、跨目录文件合并

当需要合并分布在多个目录中的CSV文件时，可以使用os模块递归查找文件：

import os
from pathlib import Path

base_path = Path("project_data")
csv_files = list(base_path.rglob("*.csv"))

all_data = pd.DataFrame()
for file in csv_files:
    temp_df = pd.read_csv(file)
    all_data = pd.concat([all_data, temp_df], ignore_index=True)

Path对象的rglob方法可以递归查找所有子目录中的CSV文件。这种方法适合大型项目中有组织的数据存储结构。

三、处理不同结构的CSV文件

当CSV文件的列不完全相同时，可以使用以下策略处理：

# 方法1：只保留共有列
common_columns = set()
for file in all_files:
    df = pd.read_csv(file, nrows=1)  # 只读取首行获取列名
    common_columns.update(df.columns)
    
combined_df = pd.DataFrame(columns=common_columns)
for file in all_files:
    df = pd.read_csv(file)
    combined_df = pd.concat([combined_df, df[list(common_columns)]], ignore_index=True)

# 方法2：保留所有列，缺失值填充NA
combined_df = pd.concat([pd.read_csv(f) for f in all_files], ignore_index=True)

方法1确保只处理所有文件共有的列，方法2保留所有列并用NA填充缺失值，根据需求选择合适的方式。

四、大文件合并的优化策略

处理大量或超大CSV文件时，内存优化尤为重要：

# 方法1：分块读取
chunk_size = 100000  # 根据内存大小调整
combined_chunks = []

for file in large_files:
    for chunk in pd.read_csv(file, chunksize=chunk_size):
        combined_chunks.append(chunk)

result = pd.concat(combined_chunks, ignore_index=True)

# 方法2：使用Dask库处理超大数据
import dask.dataframe as dd
ddf = dd.read_csv("large_data/*.csv")
result = ddf.compute()  # 转换为Pandas DataFrame

分块读取可以有效控制内存使用，而Dask库专为处理超出内存的数据设计，提供了类似Pandas的接口。

五、合并后的数据处理

合并完成后，通常需要进行一些数据清洗和预处理：

# 1. 去除重复行
combined_df = combined_df.drop_duplicates()

# 2. 重置索引
combined_df.reset_index(drop=True, inplace=True)

# 3. 添加来源信息
combined_df['source_file'] = ''
for i, file in enumerate(all_files):
    mask = (combined_df.index >= i*len(df_list[i])) & \
           (combined_df.index < (i+1)*len(df_list[i]))
    combined_df.loc[mask, 'source_file'] = file

记录数据来源有助于后续的数据追踪和问题排查，是数据合并后的重要步骤。

六、常见问题与解决方案

Q: 合并时出现内存不足错误怎么办？

A: 可以尝试以下方法：1) 使用chunksize参数分块读取；2) 只读取需要的列(usecols参数)；3) 使用dtype参数指定列数据类型减少内存占用；4) 考虑使用Dask等专门处理大数据的工具。

Q: 合并后数据出现错位情况？

A: 可能原因是CSV文件的编码或分隔符不一致。检查文件时可以用：1) 指定编码(encoding参数)；2) 明确指定分隔符(sep参数)；3) 先单独读取每个文件检查结构。

Q: 如何提高合并速度？

A: 可以：1) 使用多线程/多进程并行读取；2) 减少不必要的数据转换；3) 使用更快的IO库如pyarrow；4) 对于重复操作，考虑将合并后的数据保存为更高效的格式如parquet。