如何根据 Pandas 中的日期过滤 DataFrame 行
Suraj Joshi
2023年1月30日
2020年6月9日
- 使用布尔掩码选择两个日期之间的行
-
pandas.DataFrame.query()选择两个日期之间的 DataFrame 行 -
pandas.DataFrame.isin()选择两个日期之间的 DataFrame 行 -
pandas.Series.between()选择两个日期之间的 DataFrame 行
我们可以使用带有 loc 方法和 DataFrame 索引的布尔掩码，根据 Pandas 中的日期过滤 DataFrame 行。我们也可以对 DataFrame 对象使用 query，isin 和 between 方法来基于 Pandas 中的日期选择行。
使用布尔掩码选择两个日期之间的行
要使用布尔掩码基于 Pandas 中的日期过滤 DataFrame 行，我们首先使用以下语法创建布尔掩码：
mask = (df['col'] > start_date) & (df['col'] <= end_date)
其中 start_date 和 end_date 均为 datetime 格式，它们表示必须从中过滤数据的范围的开始和结束。然后，我们使用 df.loc() 方法选择位于范围内的 DataFrame 部分。
import pandas as pd
import numpy as np
import datetime
list_of_dates = ['2019-11-20', '2020-01-02', '2020-02-05','2020-03-10','2020-04-16','2020-05-01']
employees=['Hisila', 'Shristi','Zeppy','Alina','Jerry','Kevin']
df = pd.DataFrame({'Joined date': pd.to_datetime(list_of_dates)},index=employees)
mask = (df['Joined date'] > '2019-06-1') & (df['Joined date'] <= '2020-02-05')
filtered_df=df.loc[mask]
print(filtered_df)
输出：
Joined date
Hisila 2019-11-20
Shristi 2020-01-02
Zeppy 2020-02-05
通过将 date 列设置为索引列，我们可以使用集成的 df.loc[start_date:end_date] 方法简化上述过程。
import pandas as pd
import numpy as np
import datetime
list_of_dates = ['2019-11-20', '2020-01-02', '2020-02-05','2020-03-10','2020-04-16','2020-05-01']
employees=['Hisila', 'Shristi','Zeppy','Alina','Jerry','Kevin']
salary=[200,400,300,500,600,300]
df = pd.DataFrame({"Name":employees,'Joined date': pd.to_datetime(list_of_dates),"Salary":salary})
df = df.set_index(['Joined date'])
filtered_df=df.loc['2019-06-1':'2020-02-05']
print(filtered_df)
输出：
Name Salary
Joined date
2019-11-20 Hisila 200
2020-01-02 Shristi 400
2020-02-05 Zeppy 300
pandas.DataFrame.query() 选择两个日期之间的 DataFrame 行
我们也可以使用 pandas.DataFrame.query() 方法在 Pandas 中基于日期过滤 DataFrame 行。该方法返回从提供的查询表达式得到的 DataFrame。
import pandas as pd
import numpy as np
import datetime
list_of_dates = ['2019-11-20', '2020-01-02', '2020-02-05','2020-03-10','2020-04-16','2020-05-01']
employees=['Hisila', 'Shristi','Zeppy','Alina','Jerry','Kevin']
salary=[200,400,300,500,600,300]
df = pd.DataFrame({"Name":employees,'Joined_date': pd.to_datetime(list_of_dates),"Salary":salary})
filtered_df=df.query("Joined_date >= '2019-06-1' and Joined_date <='2020-02-05'")
print(filtered_df)
输出：
Name Joined_date Salary
0 Hisila 2019-11-20 200
1 Shristi 2020-01-02 400
2 Zeppy 2020-02-05 300
pandas.DataFrame.isin() 选择两个日期之间的 DataFrame 行
pandas.DataFrame.isin() 返回表示元素是否为布尔值的 DataFrame 是否在指定范围内。我们可以使用此方法根据 Pandas 中的日期过滤 DataFrame 行。
import pandas as pd
import numpy as np
import datetime
list_of_dates = ['2019-11-20', '2020-01-02', '2020-02-05','2020-03-10','2020-04-16','2020-05-01']
employees=['Hisila', 'Shristi','Zeppy','Alina','Jerry','Kevin']
salary=[200,400,300,500,600,300]
df = pd.DataFrame({"Name":employees,'Joined_date': pd.to_datetime(list_of_dates),"Salary":salary})
filtered_df = df[df["Joined_date"].isin(pd.date_range('2019-06-1', '2020-02-05'))]
print(filtered_df)
输出：
Name Joined_date Salary
0 Hisila 2019-11-20 200
1 Shristi 2020-01-02 400
2 Zeppy 2020-02-05 300
pandas.date_range() 返回固定的 DateTimeIndex。它的第一个参数是开始日期，第二个参数是结束日期。
pandas.Series.between() 选择两个日期之间的 DataFrame 行
我们还可以使用 pandas.Series.between() 根据日期过滤 DataFrame 该方法返回一个布尔向量，表示系列元素是否在指定范围内。因此，我们将布尔向量传递给 loc() 方法以提取 DataFrame。
import pandas as pd
import numpy as np
import datetime
list_of_dates = ['2019-11-20', '2020-01-02', '2020-02-05','2020-03-10','2020-04-16','2020-05-01']
employees=['Hisila', 'Shristi','Zeppy','Alina','Jerry','Kevin']
salary=[200,400,300,500,600,300]
df = pd.DataFrame({"Name":employees,'Joined_date': pd.to_datetime(list_of_dates),"Salary":salary})
filtered_df =df.loc[df["Joined_date"].between('2019-06-1', '2020-02-05')]
print(filtered_df)
输出：
Name Joined_date Salary
0 Hisila 2019-11-20 200
1 Shristi 2020-01-02 400
2 Zeppy 2020-02-05 300
Author: Suraj Joshi
Suraj Joshi is a backend software engineer at Matrice.ai.
LinkedIn