pandas基础语法整理

2021-09-02 阅读量

平时的数据分析的时候经常需要用到pandas，简单整理一下pandas基础语法，方便查找。

pandas作为一个python语言中常用的数据处理库，主要提供了两种数据结构，分别是dataframe和series。

dataframe可以简单理解为一个二维数组，或者是excel表格。每个元素都有自己的行坐标和列坐标。

series可以简单理解为一个一维数组，或者是list（两者可以实现互相转化）。此外，dataframe的每一行和每一列都可以视为一个series。

1 输入输出数据

# 引入pandas库
import  pandas  as pd

# 实际工作中，我们往往需要从excel和csv文件中读取数据。
# 其实pandas已经帮我们实现好了读入函数，我们可以很方便的把数据读取进来

# 读取excel
# 这个会直接默认读取到这个Excel的第一个表单
data = pd.read_excel('bills.xlsx')
# 读取csv
data = pd.read_csv("TOP100000DFS.csv")

# 将文件输出为excel文件存储
# 将dataframe转为excel进行存储 index = False 不显示行索引
df.to_excel("result_BWdata.xlsx", index = False) 
# 输出csv
df.to_csv("result_BWdata.csv") 

# 手动初始化DataFrame
df = pd.DataFrame([[4, 9]] * 3, columns=['A', 'B'])
>>> df
   A  B
0  4  9
1  4  9
2  4  9

2 遍历数据

# 读入数据我们往往需要遍历我们获取的data，下面列举了集中遍历数据的方式

# 按行号获取数据
for i in range(0,len(data)):
    print(data.iloc[i,0], ' ', data.iloc[i,1])

# 通过迭代器的方式
# 按行获取数据
for index, row in df.iterrows():
    print(index) # 输出每行的索引值
    print(row) # 将每行的值作为Series输出
    
# 按列遍历
for index, col in data.iteritems():
    print(index) # 输出列名
    print(row)   

# 遍历series
test = pd.Series([1,2,3,4,5])
for i, v in test.iteritems():
    print('index: ', i, 'value: ', v)

3 对数据排序

pandas库也提供了很方便的对数据排序处理的函数

# 表示按照xxx这个字段排序，inplace默认为False,如果该值为False，那么原来的pd顺序没变，只是返回的是排序的
df.sort_values("xxx",inplace=True)

# 'series通过索引进行排序：'
series.sort_index()
# 'series通过值进行排序:'
series.sort_values()
# 'dataframe根据行索引进行降序排序（排序时默认升序，调节ascending参数）：'
df.sort_index(ascending=False)
# 'dataframe根据列索引进行排序：'
df.sort_index(axis=1)
# 对某一列的值进行排序：
df.sort_values(by='a')
# 根据多个列的值进行排序：
df.sort_values(by=['a','c']

4 根据已有的列添加新的列

这是我们平时在使用pandas中经常会用到的一些小功能，我们可能会基于已有列的数据做一些运算，将得到的结果写到新的列中。我们可以借助pandas中给dataframe实现的apply函数。apply函数的作用是对dataframe某一列或是某一行执行相同的函数操作。我们借助lambda表达式传递了我们的参数，x也就是这一列的值。

1
2
3

def get_rank(x):
    return (max_rank[x] + min_rank[x]) / 2.
newdata[index+'_rank'] = newdata[index].apply(lambda x : get_rank(x))

0xff 其他

这里记录一些尚不足以归类的方法。

data.describe() #对每一列数据进行统计，包括计数，均值，std，各个分位数等。
data['x'].value_counts()    #统计某一列x中各个值出现的次数：

df.columns = ['A','B'] 				#修改列名a，b为A、B。
df.rename(columns={'a':'A'}) 	#只修改列名a为A
# 重新定义列名
df = pd.DataFrame (df, columns=['A','B','C'])

其实pandas库实现了非常多强大的功能，日常会用到的数据处理函数（平均值、中位数、方差等等）早就已经实现好了。所以在实际应用中要多查询资料。上面列举的很多函数参数也不止上面这些，可以查询官方文档深入学习。

参考资料

10 minutes to pandas 是一个很好的上手pandas的材料，建议阅读。
pandas.DataFrame.apply apply函数的文档