時系列データの定常化処理（トレンド・季節性・分散の非定常性の確認と除去）

import statsmodels.api as sm
sm.datasets.get_rdataset('AirPassengers').data

# データの読み込み
file_path = '../00_data/01_kaggle_Air_Passengers/AirPassengers.csv'
df = pd.read_csv(file_path)
# 年月データを型変換(可視化時のx軸ラベル重複回避)
df['Month'] = pd.DatetimeIndex(df['Month'])

# データの可視化
# df.plot()

fig, ax = plt.subplots(figsize=(12, 8))
ax.plot(df['Month'], df['#Passengers'])
ax.set_ylabel('Monthly Number of Airline Passengers')
ax.set_xlabel('Date')
ax.set_title('米国の月間航空機搭乗者数推移（1949-1960年）', fontname = 'MS Gothic')
out_path = '../02_work/02_非定常性確認_除去/02_可視化_搭乗者数推移.png'
fig.savefig(out_path, dpi=150, bbox_inches='tight')

# ADF検定（単位根テスト）を実施
adf_out = adfuller(df['#Passengers'])
print(adf_out)
# adf(ADF検定の統計量), p値, モデルに採用されたラグの数, 回帰に使われたデータ数, 1%, 5%, 10%の各信頼区間, 情報量基準の最大値
# (0.815, 0.991, 13, 130, {'1%': -3.482, '5%': -2.884, '10%': -2.579}, 996.693)

# トレンドの除去
df_diff = df.copy()
# 前月比差分を取得
df_diff['#Passengers'] = df_diff['#Passengers'].diff()
# 1行目はNaNになるので削除
df_diff = df_diff[df_diff['#Passengers'].notnull()]

# 前日比差分のデータに対してADF検定（単位根テスト）を実施
adf_out_diff = adfuller(df_diff['#Passengers'])
print(adf_out_diff)
# adf(ADF検定の統計量), p値, モデルに採用されたラグの数, 回帰に使われたデータ数, 1%, 5%, 10%の各信頼区間, 情報量基準の最大値
# (-2.829, 0.054, 12, 130, {'1%': -3.482, '5%': -2.884, '10%': -2.579}, 988.507)

# 季節成分の抽出
df_seasonal = seasonal_decompose(df_diff['#Passengers'], period=12)

# 季節成分の可視化
fig, ax = plt.subplots(figsize=(12, 8))
ax.plot(df_seasonal.seasonal)
ax.set_ylabel('季節成分', fontname = 'MS Gothic')
ax.set_xlabel('時間', fontname = 'MS Gothic')
ax.set_title('季節成分　米国の月間航空機搭乗者数推移（1949-1960年）', fontname = 'MS Gothic')
out_path = '../02_work/02_非定常性確認_除去/02_可視化_搭乗者数推移_季節性.png'
fig.savefig(out_path, dpi=150, bbox_inches='tight')

df_rmseasonal = df_diff.copy()
# 12ヶ月周期の季節性の除去
df_rmseasonal['#Passengers'] = df_rmseasonal['#Passengers'].diff(12).dropna()
# # 先頭12行はNaNになるので削除
df_rmseasonal = df_rmseasonal[df_rmseasonal['#Passengers'].notnull()]

# トレンド・季節性除去後のデータに対してADF検定（単位根テスト）を実施
adf_out_rmseasonal = adfuller(df_rmseasonal['#Passengers'])
print(adf_out_rmseasonal)
# adf(ADF検定の統計量), p値, モデルに採用されたラグの数, 回帰に使われたデータ数, 1%, 5%, 10%の各信頼区間, 情報量基準の最大値
# (-8.098, 1.326e-12, 7, 122, {'1%': -3.485, '5%': -2.886, '10%': -2.580}, 929.165)

# 前処理
# データの最小値が0または負の場合、最小値を加算して正の値に変換
df_boxcox = df_rmseasonal.copy()
min = df_boxcox['#Passengers'].min()
if min <= 0:
    df_boxcox['#Passengers'] = df_boxcox['#Passengers'] - min + 1

df_boxcoxed = df_boxcox.copy()
# Box-Cox変換
df_boxcoxed['#Passengers'], _ = boxcox(df_boxcox['#Passengers'])

# Box-Cox変換後のデータに対してADF検定（単位根テスト）を実施
adf_out_boxcoxed = adfuller(df_boxcoxed['#Passengers'])
print(adf_out_boxcoxed)
# adf(ADF検定の統計量), p値, モデルに採用されたラグの数, 回帰に使われたデータ数, 1%, 5%, 10%の各信頼区間, 情報量基準の最大値
# (-7.839, 5.992e-12, 7, 122, {'1%': -3.485, '5%': -2.886, '10%': -2.580}, 875.245)