-
PDFからテーブルデータを取得
前回、国土交通省のウェブサイトから高速道路の日次交通量のPDFファイルをダウンロードしました。今回はダウンロードしたPDFを読み込み、PDFファイルの中にある表(テーブルデータ)を取得してCSVに保存 ...
-
日別に分かれた大量のPDFからデータを取得
ここでは、PythonのBeautifulSoupとurllibパッケージを使用して大量のPDFをダウンロードする実装について紹介します。手動で保存するには数が多すぎる場合も、ウェブサイトがきれいに構 ...
-
スモールデータの二群比較(Brunner-Munzel検定と並べ替え検定)
データ数が少ないスモールデータに適用できる統計学的検定の手法として、Brunner-Munzel検定(ブルンナー=ムンツェル検定)と並べ替え検定があります。ここでは、標本サイズが小さいデータに対して二 ...
-
並べ替え検定
データ数が少ない(標本サイズが小さい)スモールデータに適用できる統計学的検定の手法として並べ替え検定があります。 ここでは、並べ替え検定の手順について紹介します。 他の二群比較の検定手法との比較やRで ...
-
「利用したい:7割」なのに「利用ゼロ:7割」~アンケート選択肢の結果への影響~
商品やサービスの需要を調べるための市場調査としてアンケートが行われますが、果たしてアンケート結果を鵜呑みにして良いのでしょうか。 今回は西九州新幹線の「開業前」と「開業後」の利用調査アンケートの結果を ...
-
統計的に差がないことを示す同等性検定(二重片側検定・信頼区間法)
二群間に差があるかを調べるためにt検定を行って有意差が認められなかった場合、「差があるとは言えない」という結論になり、「差がない」とは言えません。 二群間に差がないことを統計的に示したい場合には、同等 ...
-
この街は道路方式?(札幌白石・京都・北海道の条丁目制)
住居表示の方法の一つに道路方式(土地が面している通りの名前を住所に使う)があります。 道路方式が採用されている事例は非常に少ないです。 前回(街区方式と道路方式について紹介)は、道路方式として取り上げ ...
-
住居表示における街区方式と道路方式
ここでは、地番に代わる住所の書き方である「住居表示」における2つの方式(街区方式と道路方式)について紹介します。 日本では街区方式が一般的ですが、ごく少数見られる道路方式についても掘り下げます。 住居 ...
-
住居表示とは何か(地番との違い・住居表示に伴う区画整理)
ここでは、日本の住所の表記のルールである住居表示についてまとめます。 日本では明治以降、不動産登記用の「地番」を使って住所を表記されていました。 しかし、長い年月を経て道路の位置や建物の並びと一致しな ...
-
【SIGNATE】ひろしまQuest2022:河川の水位予測
コード, データサイエンス手法, データ加工, 河川
今回は、SIGNATEのデータ分析コンペ「ひろしまQuest2022:河川の水位予測」のデータを使って河川水予測モデルを作成しました。手法としてはNearest-Neighbor法(k近傍法)を使用し ...