安装 Pandas 库并学习 Python 中的数据框 - 《Dive into Python》中文版

Pandas 是 Python 中一个功能强大、开源的库，专门设计用于数据处理和分析。它为开发人员和数据科学家提供了高级、灵活且多功能的数据结构，称为 DataFrame 和 Series，使他们能够高效地处理结构化数据。Pandas 由 Wes McKinney 开发，是数据科学和分析领域的基础工具，极大地简化了数据清理、探索和可视化的过程。无论您是处理来自不同来源的大型数据集，还是执行复杂的数据转换和分析，Pandas 都提供了一系列全面的功能，可满足广泛的数组数据操作，使其成为 Python 编程生态系统中用于数据分析和相关任务的不可或缺的工具。

什么是 Python 中的 pandas

Pandas 包含几个关键功能，使其在数据分析中非常强大

用于数据操作的数据框对象，具有集成索引。
在内存数据结构和不同文件格式之间读写数据的工具。
数据对齐和对缺失数据的集成处理。
数据集的重塑和透视。
基于标签的大型数据集的切片、索引和子集。
数据结构列的插入和删除。
分组引擎，允许对数据集执行拆分-应用-合并操作。
数据集的高性能合并和连接。

`read_csv()` 和 `to_csv()` 方法

pandas 库在数据科学界备受推崇的原因之一是它能够轻松地读写数据。这包括使用 CSV 文件，这是数据分析中常见的数据格式。以下是一些简单的示例，说明如何将 CSV 文件中的数据读入pandas DataFrame，以及如何将此数据写回 CSV 文件。

注意：在执行这些代码段之前，导入pandas 库非常重要。这通常通过行import pandas as pd 来完成。

示例：从 CSV 文件中读取数据

import pandas as pd

# Load data from a CSV file into a DataFrame
data = pd.read_csv('example.csv')
print(data.head())

示例：将数据写入 CSV 文件

# Assuming 'data' is a DataFrame that you have previously created and manipulated
data.to_csv('modified_example.csv', index=False)

使用数据框

pandas 库的核心是 DataFrame 对象，可以将其视为具有行和列的关系数据表。以下是如何从头开始创建 DataFrame 并检查其内容。

示例：Сreate DataFrame()`

import pandas as pd
# Creating a DataFrame from a dictionary
df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': ['a', 'b', 'c']
})
print(df)

输出

如何在 Python 中安装 pandas

首先，您需要安装 Pandas。这可以使用 pip 或 conda 完成，具体取决于您的 Python 环境。

使用 pip

如果你使用 pip，请打开终端或命令提示符并执行以下命令

pip install pandas

使用 conda

对于那些喜欢 Conda 的人来说，命令略有不同

conda install pandas

注意：确保你的互联网连接处于活动状态，因为这些命令会从各自的存储库下载 pandas。

导入 Pandas

安装后，你可以将 pandas import 到你的 Python 脚本或交互式会话中以确认它已准备好使用。以下是基本步骤

打开你的 Python IDE 或终端。
键入 import 语句以将 pandas 引入你的命名空间。
另外，通常将 pandas 别名为 pd 以方便使用。

以下是操作方法

import pandas as pd

这行简单的代码使 pandas 的所有功能在你的脚本中作为 pd 可用。

总结

在 Python 中安装 pandas 会用一个用于数据操作和分析的强大库来丰富你的工具箱。无论是使用 pip 还是 conda，安装都非常简单且快速。记住在脚本开头使用 import pandas as pd import pandas 以访问其功能。从简单的任务（如从 CSV 文件读取和保存到 CSV 文件）开始，可以作为使用 pandas 进行更复杂的数据分析任务的坚实基础。

数据处理愉快！

基本 Pandas 用法的示例

在成功安装并导入 pandas 后，你现在可以开始执行一些基本的数据操作任务了。

方法 `read_csv()` 用于加载数据

从 CSV 文件加载数据是数据分析中最常见的初始步骤之一。以下是如何使用 pandas 来完成此操作

import pandas as pd

# Load data from a CSV file
df = pd.read_csv('path_to_your_file.csv')

# Display the first few rows of the DataFrame
print(df.head())

方法 `to_csv()` 用于保存数据

在操作或分析数据后，你可能需要保存结果。Pandas 也让这一点变得简单

import pandas as pd

# Assuming 'df' is your DataFrame variable
df.to_csv('path_to_save_file.csv', index=False)

注意：设置 index=False 可以防止 pandas 将行索引写入 CSV 文件。

`head()` 方法

要快速检查 DataFrame 的前几行，可以使用 head() 方法。这对于在不显示整个数据集的情况下了解数据非常有用。

# Displaying the first 3 rows of the DataFrame
print(df.head(3))

输出与数据框创建输出相同，因为数据框仅包含 3 行。

注意：探索 Python pandas 文档可以深入了解 pandas 库中提供的更高级的功能和方法。

pandas 中的数据框概念

在使用 Python 进行数据分析和操作的世界中，pandas 数据框是一个基石，使用户能够有效地处理和分析数据。DataFrame 本质上是一个二维、大小可变、可能异构的表格数据结构，具有标记的轴（行和列）。这个强大的概念允许更直观、更简洁地处理数据，弥合了高级环境中的易用性和 Python 编程语言功能之间的差距。

将字典转换为 `pandas` 数据框

数据分析中的一项常见任务是将现有数据结构转换为 pandas 数据框，以利用 pandas 强大的数据操作和分析功能。一个特别有用的案例是将字典转换为 pandas 数据框。这可以使用 pandas 提供的 DataFrame 构造函数轻松实现

import pandas as pd

# Sample dictionary
data_dict = {'Name': ['Alice', 'Bob', 'Charlie'],
             'Age': [25, 30, 35],
             'City': ['New York', 'Paris', 'London']}

# Convert dictionary to pandas DataFrame
df = pd.DataFrame(data_dict)

print(df)

此代码段演示了一种简单的方法，可以将键变为列标题，将值变为行数据，从而将字典转换为 pandas 数据框。

将列表转换为 `pandas` 数据框

同样，将列表转换为pandas DataFrame 是数据分析师经常遇到的另一项任务。无论您拥有的是元组、列表还是单个平面列表，pandas 都可以轻松处理这些变化

转换列表列表

以下是如何将列表列表转换为 DataFrame。每个内部列表都成为 DataFrame 中的一行。

import pandas as pd

# Sample list of lists
data_list = [['Alice', 25, 'New York'],
             ['Bob', 30, 'Paris'],
             ['Charlie', 35, 'London']]

# Convert list to pandas DataFrame
df_list = pd.DataFrame(data_list, columns=['Name', 'Age', 'City'])

print(df_list)

注意：在将列表转换为pandas DataFrame 时，指定列名称是可选的。但是，这样做可以提高可读性和数据处理的容易性。

`pandas` DataFrame 的其他功能

Pandas DataFrames 配备了大量方法和属性，不仅可以进行数据操作和分析，而且效率极高。以下是一些值得注意的功能

数据操作：排序、合并、连接、重塑和数据透视表。
数据分析：执行统计分析、处理缺失数据和筛选数据。
数据可视化：虽然主要是通过与 Matplotlib 等库集成，但可以轻松进行初步数据可视化。

`head()` 和 `tail()` 用于快速数据检查

这两种方法对于快速检查pandas DataFrame 非常有用

head(n) 显示 DataFrame 的前 n 行。
tail(n) 显示最后 n 行。

# Display the first 3 rows
print(df.head(3))

# Display the last 3 rows
print(df.tail(3))

Snowflake 模块

Python 中的 Snowflake 模块（称为snowflake-connector-python）提供了一种强大而有效的方法，可以将 Python 应用程序与 Snowflake Data Cloud 连接起来。它允许使用 Python 在 Snowflake 中执行查询和处理数据，使其成为经常使用数据分析库（如pandas）的数据分析师和科学家的宝贵工具。

将snowflake-connector-python 与pandas 集成是一种常见的做法，它提供了无缝的数据操作和转换功能，促进了数据工作流的数据提取、转换和加载 (ETL) 过程。

安装 Snowflake 连接器

在深入了解代码示例之前，请确保在 Python 环境中安装了 Snowflake 连接器。可以使用 pip 来完成此操作

pip install snowflake-connector-python

建立连接

要使用 Snowflake 模块，第一步是使用您的 Snowflake 帐户详细信息建立连接

from snowflake.connector import connect

# Define your connection parameters
conn = connect(user='YOUR_USERNAME',
               password='YOUR_PASSWORD',
               account='YOUR_ACCOUNT',
               warehouse='YOUR_WAREHOUSE',
               database='YOUR_DATABASE',
               schema='YOUR_SCHEMA')

print("Successfully connected to Snowflake!")

注意：将YOUR_USERNAME、YOUR_PASSWORD、YOUR_ACCOUNT 等替换为您的实际 Snowflake 凭据。

使用 `execute()` 方法查询数据

使用execute() 方法执行查询非常简单。以下是如何执行 SELECT 操作

# Create a cursor object
cur = conn.cursor()

# Execute a query
cur.execute("SELECT * FROM YOUR_TABLE LIMIT 10")

# Fetch the results
results = cur.fetchall()

for row in results:
    print(row)

注意：不要忘记将YOUR_TABLE替换为 Snowflake 中实际表的名称。

与 Pandas 集成

与pandas 的集成使您能够将查询结果直接转换为pandas DataFrame，从而提供一个熟悉且强大的数据分析环境。

`fetch_pandas_all()` 方法

执行查询后，使用fetch_pandas_all() 方法将结果作为pandas DataFrame 获取

import pandas as pd

# Assuming `cur` is your cursor from a successful query
df = cur.fetch_pandas_all()

print(df.head())

最佳实践

完成操作后，始终关闭连接和游标以释放资源

cur.close()
conn.close()

使用环境变量或秘密管理工具安全地管理您的凭据，而不是将它们硬编码到脚本中。
使用参数化查询或连接器提供的方法来防止 SQL 注入并确保您的查询安全。

通过利用snowflake-connector-python和pandas，Python 开发人员和数据爱好者可以有效地与 Snowflake 交互，执行查询并在强大的数据科学生态系统中分析数据。

pandas 中的分组工具

pandas 库是 Python 中用于数据操作和分析的基本工具。它提供了许多用于高效数据操作的函数。其中一项关键功能是 groupby 方法，它允许以灵活的方式对数据进行分组。在本文中，我们将深入了解如何使用 pandas groupby 函数来有效地管理和分析分组数据。

了解 Pandas 中的 `groupby()`

pandas 库中的 groupby() 方法对于根据某些条件将数据细分为组非常有用。pandas DataFrame 可以按一列或多列，甚至按 pandas Series 和列的组合进行分组。此函数对于执行统计分析、数据汇总和各种转换至关重要。

如何使用 `groupby()`

在 pandas 中使用 groupby() 函数涉及几个简单的步骤

确定要按其分组的键。
对 pandas DataFrame 应用 groupby() 函数。
指定聚合函数以汇总分组数据。

注意：聚合函数包括 mean()、sum()、max()、min() 等操作。

示例：基本分组

让我们从一个简单的示例开始，按一列对 pandas DataFrame 进行分组。

import pandas as pd

# Sample DataFrame
data = {'Category': ['A', 'B', 'A', 'C', 'B', 'C', 'A', 'B'],
        'Values': [10, 20, 15, 10, 25, 30, 5, 40]}
df = pd.DataFrame(data)

# Grouping by 'Category' column and calculating mean
grouped_df = df.groupby('Category').mean()

print(grouped_df)

此代码按“类别”列对 DataFrame 进行分组，并计算每个类别的“值”的平均值。

示例：多键分组

您还可以按多列进行分组以进行更详细的分析。

# Additional column for demonstration
data['Subcategory'] = ['X', 'Y', 'X', 'Y', 'X', 'Y', 'Y', 'X']
df = pd.DataFrame(data)

# Grouping by both 'Category' and 'Subcategory' columns
grouped_df = df.groupby(['Category', 'Subcategory']).sum()

print(grouped_df)

在此处，按“类别”和“子类别”对 DataFrame 进行分组，并计算每组的“值”总和。

使用 `groupby()` 的最佳实践

分组前清理数据：确保您的数据没有可能影响分组的缺失值或不一致之处。
使用适当的聚合：选择与您的数据和分析目标相符的聚合函数。
利用分组数据：使用分组对象进行进一步的分析或可视化以得出见解。

注意：请记住，groupby 操作的结果不是 DataFrame，而是 GroupBy 对象。您可以通过应用聚合方法将其转换为 DataFrame。

与我们一起贡献！

不要犹豫，在 GitHub 上为 Python 教程做出贡献：创建一个分支，更新内容并发出拉取请求。

开始

Aliaksandr Sumich作者

Python 工程师，第三方 Web 服务集成专家。

更新：05/03/2024 - 21:53

Evgeniy Melnikov审阅者

已审阅并批准

什么是 Python 中的 Pandas 库

目录

什么是 Python 中的 pandas

`read_csv()` 和 `to_csv()` 方法

示例：从 CSV 文件中读取数据

示例：将数据写入 CSV 文件

使用数据框

示例：Сreate DataFrame()`

如何在 Python 中安装 pandas

使用 pip

使用 conda

导入 Pandas

总结

基本 Pandas 用法的示例

方法 `read_csv()` 用于加载数据

方法 `to_csv()` 用于保存数据

`head()` 方法

pandas 中的数据框概念

将字典转换为 `pandas` 数据框

将列表转换为 `pandas` 数据框

转换列表列表

`pandas` DataFrame 的其他功能

`head()` 和 `tail()` 用于快速数据检查

Snowflake 模块

安装 Snowflake 连接器

建立连接

使用 `execute()` 方法查询数据

与 Pandas 集成

`fetch_pandas_all()` 方法

最佳实践

pandas 中的分组工具

了解 Pandas 中的 `groupby()`

如何使用 `groupby()`

示例：基本分组

示例：多键分组

使用 `groupby()` 的最佳实践

与我们一起贡献！

什么是 Python 中的 Pandas 库

目录

什么是 Python 中的 pandas

read_csv() 和 to_csv() 方法

示例：从 CSV 文件中读取数据

示例：将数据写入 CSV 文件

使用数据框

示例：Сreate DataFrame()`

如何在 Python 中安装 pandas

使用 pip

使用 conda

导入 Pandas

总结

基本 Pandas 用法的示例

方法 read_csv() 用于加载数据

方法 to_csv() 用于保存数据

head() 方法

pandas 中的数据框概念

将字典转换为 pandas 数据框

将列表转换为 pandas 数据框

转换列表列表

pandas DataFrame 的其他功能

head() 和 tail() 用于快速数据检查

Snowflake 模块

安装 Snowflake 连接器

建立连接

使用 execute() 方法查询数据

与 Pandas 集成

fetch_pandas_all() 方法

最佳实践

pandas 中的分组工具

了解 Pandas 中的 groupby()

如何使用 groupby()

示例：基本分组

示例：多键分组

使用 groupby() 的最佳实践

与我们一起贡献！

`read_csv()` 和 `to_csv()` 方法

方法 `read_csv()` 用于加载数据

方法 `to_csv()` 用于保存数据

`head()` 方法

将字典转换为 `pandas` 数据框

将列表转换为 `pandas` 数据框

`pandas` DataFrame 的其他功能

`head()` 和 `tail()` 用于快速数据检查

使用 `execute()` 方法查询数据

`fetch_pandas_all()` 方法

了解 Pandas 中的 `groupby()`

如何使用 `groupby()`

使用 `groupby()` 的最佳实践