DX化(データスクレイピング)のための手法のご紹介①

初めまして。Ajihです。

社会人になってから今までずっとソフトウェア業界で仕事をしていましたが、データエンジニアではありませんでした。
インサイトラボに入社して初めてデータベースやデータビジュアライゼーション等のデータに関わる業務に携わっています。
また、地域の課題解決など私としては業務内容が新鮮で今の業務を楽しんでいます。
これから、少しでも新潟のDX化(デジタル化)に貢献出来ればと思っています。

今回の記事は、表形式のPDFデータをCSV(データベースに取り込める形)に変換する手法をご紹介したいと思います。
CSVとは、エクセルでも表示可能でデータベースに取り込むことが出来るデータ形式です。
※テキスト形式のPDF(エクセル、ワード等から作成したPDF)が対象です。

事前準備は以下です。

• ghostscriptをインストール
• python3をインストール
• コマンドプロンプトを起動し、以下のコマンドでcamelotと付随するモジュールをインストール

pip install -r requirements.txt

事前準備はこれで完了です。

次にテストデータで以下のデータを用意します。

• テストデータ.pdf(エクセルから変換したPDF)

プログラムは、こちらです。

import camelot

# ページ分のオブジェクトが返却される
tables = camelot.read_pdf("テストデータ.pdf", pages='all')

# テーブルのリストになっているので、リストから１つのテーブルを取り出す
for table in tables:
  df = table.df
    df.to_csv('テストデータ.csv', encoding='cp932')

このPythonプログラムをコマンドプロンプトから実行することで、表内のデータをCSVに変換することが出来ました。

• テストデータ.csv

この方法を応用することで、各小学校のホームページに公開されている給食データのPDFから越後データプラットフォームにデータを取得しています。