日別に分かれた大量のPDFからデータを取得

import requests
from bs4 import BeautifulSoup
import time
from datetime import datetime
import urllib

<h2 class="title">令和５年４月の全国・主要都市圏における高速道路の主な区間の交通量増減</h2>
</div>
</div>
<div id="innerL">
<table border="1" cellpadding="1" cellspacing="1" class="undefined" style="width: 100%;">
<tbody>
<tr>
<td><br>
　＜１．全国＞<br>
<br>
［日別資料］<br>
<br>
<a href="/road/content/001609443.pdf">令和5年4月30日（日）</a><br>
<a href="/road/content/001609442.pdf">令和5年4月29日（土）</a><br>
<a href="/road/content/001609441.pdf">令和5年4月28日（金）</a><br>
<a href="/road/content/001609440.pdf">令和5年4月27日（木）</a><br>

# 関数定義：交通量のテーブルを記載したPDFのURLと日付を取得
def perform_get_pdf(domain, url, day_month):
    #domain = 'https://www.mlit.go.jp' # aタグから取得できないURLのドメイン部分
    #day_month = 31 # 1ヶ月間の月数
    
    time.sleep(30) # 負荷をかけすぎないように間隔を空ける
    
    # データの取得
    r = requests.get(url)
    soup = BeautifulSoup(r.content, 'html.parser')
    
    for link in soup.find_all('a')[6:6+day_month]:
        time.sleep(3) # 負荷をかけすぎないように間隔を空ける

        page = link.get('href') # リンク先のURLを取得
        url = domain + page
        date = link.text  # リンクになっている文字列(日付)を取得
        # 日付取得
        date = convert_date(date=date) # 自作関数

        # PDFに保存
        get_pdf(date=date, url=url) # 自作関数

# 関数定義：和暦日付を西暦日付に変換
def convert_date(date):
    x = date
    x = x.replace('令和5', '2023')
    x = x.replace('令和4', '2022')
    x = x.replace('令和3', '2021')
    x = x.replace('令和2', '2020')
    x = x.replace('令和元', '2019')
    x = x.replace('平成31', '2019')
    x = x.replace('平成30', '2018')
    # 曜日部分以外を取得
    x = x.split('（')[0]
    # 型変換
    try:
        # 2021/5/20は誤字のためエラー出る
        x = datetime.strptime(x, '%Y年%m月%d日').date()
    except:
        # 2021/5/20の処理
        x = datetime.strptime(x, '%Y月%m月%d日').date()
    
    return(x)

# 関数定義：PDFをダウンロード・保存
def get_pdf(date, url):
    # save_dir = '../00_data/01_高速道路交通量増減/01_pdf/'
    save_dir = '../02_work/01_高速道路日別交通量_pdf/'
    file_name = '高速道路交通量_全国_日別_' + date.strftime('%Y-%m-%d') + '.pdf'

    # PDFをダウンロード
    # ダウンロード開始時にファイルを作成するurlretrieveではなくダウンロード完了後にファイルを作成するurlopenを使う
    # https://qiita.com/Kanahiro/items/dd585599f36a77540439

    # urllib.request.urlretrieve(url, os.path.join(save_dir, file_name))
    data = urllib.request.urlopen(url).read()

    # ダウンロードしたPDFを保存
    save_path = save_dir + file_name
    with open(save_path, mode="wb") as f:
        f.write(data)
    print(date.strftime('%Y-%m-%d') + ' download and save finished!')

# 関数実行・PDFを保存
domain = 'https://www.mlit.go.jp' # aタグから取得できないURLのドメイン部分
# 2023/04
url = 'https://www.mlit.go.jp/road/road_fr4_000149.html'
day_month = 30

perform_get_pdf(domain, url, day_month)