Pandas vs SQL

文章來源於渡碼

Pandas 和 SQL 有很多相似之處，都是對二維表的資料進行查詢、處理，都是資料分析中常用的工具。

對於只會 Pandas 或只會 SQL 的朋友，可以透過今天例子快速學會另一個。

1、資料查詢

首先，讀取資料

import pandas as pd
import numpy as np
tips = pd.read_csv('tips.csv')

tips

1.1 查詢列

查詢 total_bill和tip 兩列

tips[["total_bill", "tip"]]

用 SQL 實現：

select total_bill, tip
from tips;

1.2 增加列

查詢結果中，新增一列tip_rate

tips['tip_rate'] = tips["tip"] / tips["total_bill"]

用 SQL 實現：

select *, tip/total_bill as tip_rate
from tips;

1.3 篩選條件

查詢 time列等於Dinner並且tip列大於5的資料

tips[(tips["time"] == "Dinner") & (tips["tip"] > 5.00)]

用 SQL 實現：

select *
from tips
where time = 'Dinner' and tip > 5.00;

2、分組聚合

按照某列分組計數

tips.groupby("sex").size()

'''
sex
Female     87
Male      157
dtype: int64
'''

用 SQL 實現：

select sex, count(*)
from tips
group by sex;

按照多列聚合多個值

tips.groupby(["smoker", "day"]).agg({"tip": [np.size, np.mean]})

用 SQL 實現：

select smoker, day, count(*), avg(tip)
from tips
group by smoker, day;

3. join

構造兩個臨時DataFrame

先用 Pandas 分別實現inner join、left join、right join和full join。

# inner join
pd.merge(df1, df2, on="key")

# left join
pd.merge(df1, df2, on="key", how="left")

# inner join
pd.merge(df1, df2, on="key", how="right")

# inner join
pd.merge(df1, df2, on="key", how="outer")

用 SQL 分別實現：

# inner join
select *
from df1 inner join df2
on df1.key = df2.key;
# left join
select *
from df1 left join df2
on df1.key = df2.key;
# right join
select *
from df1 right join df2
on df1.key = df2.key;
# full join
select *
from df1 full join df2
on df1.key = df2.key;

4. union

將兩個表縱向堆疊

pd.concat([df1, df2])

用 SQL 實現：

select *
from df1

union all

SELECT *
from df2;

將兩個表縱向堆疊並去重

pd.concat([df1, df2]).drop_duplicates()

用 SQL 實現：

select *
from df1

union

SELECT *
from df2;

5. 開窗

對tips中day列取值相同的記錄按照total_bill排序。

(tips.assign(
        rn=tips.sort_values(["total_bill"], ascending=False)
        .groupby(["day"])
        .cumcount()
        + 1
    )
    .sort_values(["day", "rn"])
)

用 SQL 實現：

select
    *,
    row_number() over(partition by day order by total_bill desc) as rn
from tips t

day列取值相同的記錄會被劃分到同一個視窗內，並按照total_bill排序，視窗之間的資料互不影響，這類操作便被稱為開窗。

今天的內容就到這裡啦。通過幾個簡單的實踐案例大家可以直觀感受下 Pandas 和 SQL 在資料處理上的相似之處。

文章連結：https://mp.weixin.qq.com/s/6HrYL399DXeqAqU14Zsy3Q

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

我是「數據分析那些事」。常年分享數據分析乾貨，不定期分享好用的職場技能工具。各位也可以關注我的Facebook，按讚我的臉書並私訊「10」，送你十週入門數據分析電子書唷！期待你與我互動起來~

文章推薦

◆餅圖變形記，肝了3000字，收藏就是學會！

◆MySQL必須掌握4種語言！

◆太實用了！4種方法教你輕鬆製作互動式儀表板！

◆跟資料打交道的人都得會的這8種資料模型，滿足工作中95%的需求

◆妙呀！一行Python程式碼