---
title: DX化(データスクレイピング)のための手法のご紹介①
description: DX化(データスクレイピング)のための手法のご紹介①
image: https://niigata.insight-lab.co.jp/hubfs/%E7%94%BB%E5%83%8F.png
---

[![INSIGHT LAB_文字のみ_WHT](https://niigata.insight-lab.co.jp/hs-fs/hubfs/INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF_WHT.png?width=400&height=110&name=INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF_WHT.png) ![INSIGHT LAB](https://niigata.insight-lab.co.jp/hs-fs/hubfs/INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF.png?width=400&height=110&name=INSIGHT%20LAB_%E6%96%87%E5%AD%97%E3%81%AE%E3%81%BF.png)](https://niigata.insight-lab.co.jp/)

[![ご相談・お問い合わせ](https://hubspot-no-cache-na2-prod.s3.amazonaws.com/cta/default/5935783/776f0ba1-b1ff-427b-8b96-6d9f8a537edd.png)](https://hubspot-cta-redirect-na2-prod.s3.amazonaws.com/cta/redirect/5935783/776f0ba1-b1ff-427b-8b96-6d9f8a537edd)

<https://niigata.insight-lab.co.jp/blog/dx%E5%8C%96%E3%83%87%E3%83%BC%E3%82%BF%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AE%E6%89%8B%E6%B3%95%E3%81%AE%E3%81%94%E7%B4%B9%E4%BB%8B#tmpmodule_159358932545378>

- [ホーム](https://niigata.insight-lab.co.jp/insight-labインサイトラボ新潟研究開発センター)
- [データとは](https://niigata.insight-lab.co.jp/data)
- [ブログ](https://niigata.insight-lab.co.jp/blog)
- [お役立ち資料](https://niigata.insight-lab.co.jp/white-paper)
- [セミナー情報](https://niigata.insight-lab.co.jp/blog/tag/%E3%82%A4%E3%83%99%E3%83%B3%E3%83%88)

###### 2 分で読むことができます

# [DX化(データスクレイピング)のための手法のご紹介①](https://niigata.insight-lab.co.jp/blog/dx化データスクレイピングのための手法のご紹介)

 執筆者 [Ajih](https://niigata.insight-lab.co.jp/blog/author/ajih) 更新日時 2021年5月12日

![](https://niigata.insight-lab.co.jp/hubfs/%E7%94%BB%E5%83%8F.png)

初めまして。Ajihです。

社会人になってから今までずっとソフトウェア業界で仕事をしていましたが、データエンジニアではありませんでした。  
インサイトラボに入社して初めてデータベースやデータビジュアライゼーション等のデータに関わる業務に携わっています。  
また、地域の課題解決など私としては業務内容が新鮮で今の業務を楽しんでいます。  
これから、少しでも新潟のDX化(デジタル化)に貢献出来ればと思っています。

今回の記事は、表形式のPDFデータをCSV(データベースに取り込める形)に変換する手法をご紹介したいと思います。  
CSVとは、エクセルでも表示可能でデータベースに取り込むことが出来るデータ形式です。  
※テキスト形式のPDF(エクセル、ワード等から作成したPDF)が対象です。

事前準備は以下です。

- ghostscriptをインストール
- python3をインストール
- コマンドプロンプトを起動し、以下のコマンドでcamelotと付随するモジュールをインストール

```
pip install -r requirements.txt
```

| requirements.txtの内容 camelot-py==0.8.2 cffi==1.14.3 chardet==3.0.4 click==7.1.2 cryptography==3.2.1 et-xmlfile==1.0.1 jdcal==1.4.1 numpy==1.19.4 opencv-python==4.4.0.46 openpyxl==3.0.5 pandas==1.1.4 pdfminer.six==20201018 pycparser==2.20 PyPDF2==1.26.0 python-dateutil==2.8.1 pytz==2020.4 six==1.15.0 sortedcontainers==2.3.0  |
| --- |

事前準備はこれで完了です。

次にテストデータで以下のデータを用意します。

- テストデータ.pdf(エクセルから変換したPDF)

``

プログラムは、こちらです。

```
import camelot# ページ分のオブジェクトが返却されるtables = camelot.read_pdf("テストデータ.pdf", pages='all')# テーブルのリストになっているので、リストから１つのテーブルを取り出すfor table in tables:  df = table.df    df.to_csv('テストデータ.csv', encoding='cp932')
```

``

このPythonプログラムをコマンドプロンプトから実行することで、表内のデータをCSVに変換することが出来ました。

- テストデータ.csv``

![テストデータ(結果)](https://niigata.insight-lab.co.jp/hs-fs/hubfs/%E3%83%86%E3%82%B9%E3%83%88%E3%83%87%E3%83%BC%E3%82%BF(%E7%B5%90%E6%9E%9C).png?width=481&height=1235&name=%E3%83%86%E3%82%B9%E3%83%88%E3%83%87%E3%83%BC%E3%82%BF(%E7%B5%90%E6%9E%9C).png)

この方法を応用することで、各小学校のホームページに公開されている給食データのPDFから越後データプラットフォームにデータを取得しています。

- [Tweet](https://twitter.com/share)

![Ajih](https://niigata.insight-lab.co.jp/hubfs/IMG_20201110_123643%20(1).jpg)

#### 執筆者 [Ajih](https://niigata.insight-lab.co.jp/blog/author/ajih)

新潟県新潟市生まれ、大学を機に上京し就職。新潟へUターン。組み込み系のソフトウェアエンジニアとして十数年従事。データサイエンティストに興味を持ちINSIGHT LABに入社。子供と一緒に釣りにいくことは週末の楽しみ。釣りが趣味だからニックネームはアジ（Ajih）。

###### [前の投稿](https://niigata.insight-lab.co.jp/blog/統計局家計調査)

[![](https://niigata.insight-lab.co.jp/hubfs/piimai2.jpg)](https://niigata.insight-lab.co.jp/blog/統計局家計調査)

###### [統計局家計調査](https://niigata.insight-lab.co.jp/blog/統計局家計調査)

###### [次の投稿](https://niigata.insight-lab.co.jp/blog/新潟のdx)

[![](https://niigata.insight-lab.co.jp/hubfs/linus-nylund-Q5QspluNZmM-unsplash%20(1).jpg)](https://niigata.insight-lab.co.jp/blog/新潟のdx)

###### [新潟のDX](https://niigata.insight-lab.co.jp/blog/新潟のdx)

 

## こちらの記事もおすすめです

<https://niigata.insight-lab.co.jp/blog/xアナリティクスへのログイン方法とインプレッション数を調べてみた件>

###### 1 分で読むことができます。

#### [Xアナリティクス（無料版）の確認方法と運用中の過去ポストを振り返ってみた](https://niigata.insight-lab.co.jp/blog/xアナリティクスへのログイン方法とインプレッション数を調べてみた件)

###### 2024年 2月 20日 by rice

<https://niigata.insight-lab.co.jp/blog/worldcup>

###### 3 分で読むことができます。

#### [ワールドカップを支えるテクノロジーとは？IMUとVAR技術について](https://niigata.insight-lab.co.jp/blog/worldcup)

###### 2022年 12月 13日 by donut

<https://niigata.insight-lab.co.jp/blog/motivation-concentration>

###### 3 分で読むことができます。

#### [【ご紹介】やる気と作業興奮の関係について](https://niigata.insight-lab.co.jp/blog/motivation-concentration)

###### 2025年 5月 9日 by donut

##### INFORMATION

INFORMATION

- [会社概要](https://www.insight-lab.co.jp/about/company.html)
- [お問い合わせ](https://contact.insight-lab.co.jp/main)

##### MENU

MENU

- [ホーム](https://niigata.insight-lab.co.jp/insight-labインサイトラボ新潟研究開発センター)
- [データとは](https://niigata.insight-lab.co.jp/data)
- [ブログ](https://niigata.insight-lab.co.jp/blog)
- [お役立ち資料](https://niigata.insight-lab.co.jp/white-paper)
- [セミナー情報](https://niigata.insight-lab.co.jp/blog/tag/%E3%82%A4%E3%83%99%E3%83%B3%E3%83%88)

##### 新着記事

新着記事

<https://niigata.insight-lab.co.jp/blog/-ご紹介-2025年の新潟ブログをまとめてご紹介>

###### [【まとめ】2025年の新潟ブログを一挙にご紹介！](https://niigata.insight-lab.co.jp/blog/-ご紹介-2025年の新潟ブログをまとめてご紹介)

こんにちは、riceです。

...

[![Logo_yoko_C+W](https://niigata.insight-lab.co.jp/hs-fs/hubfs/Logo_yoko_C+W.png?width=2025&height=540&name=Logo_yoko_C+W.png "Logo_yoko_C+W")](https://www.insight-lab.co.jp/)

- [プライバシーポリシー](https://niigata.insight-lab.co.jp/ja/privacy/)

Copyright © 2020 INSIGHT LAB, Inc.

<https://x.com/rice_insight>