VBA×Chrome/Edgeでスクレイピング｜XPathとは？｜動画で解説

XPathを使うのが一番簡単

この記事はVBA×Seleniumbasic×ChromeでWebスクレイピングを検討されている方向けの記事です。

見ていただくと簡単にWebスクレイピングが出来る様になります。

簡単だと書いている理由はスクレイピング時にXPathを使う為です。

EnjoyExcel

XPathはピンポイントでWeb上の値を指定できるから分かりやすいです。

この記事を見るとわかる事

XPathを使ってスクレイピングができる様になります。

XPath とは？
XPath を使うとなぜ簡単なのか?

作業の様子やスクレイピングの様子を記録した動画を用意しています。

動画に合わせてコード＆解説も用意しました。

記事のショートカット

XPathは分かっているので動画やコードの説明に進みたい方はこちらから記事をご覧ください。

「XPathとは？」からご覧いただく際はこのまま読み進めてください。

Webスクレイピングは本で勉強しました

Webスクレイピングについて書かれているのは約20ページですがかなり充実しています。

初期設定やWeb上の値を取得する為のメソッドがリスト化されていてすごく見やすいです。

＼この本で勉強しました／

リンク

Seleniumbasic（セレニウムベーシック）を紹介してくれている案件は非常に少ないです。

この本を読むとVBAの環境の中でWebスクレイピングが学べます。

XPathを使うのが一番簡単
XPathとは?
1. XPathを使うとなぜ簡単なのか?
動画:XPathの取得方法
1. 取得したXPathをどう使うのか
動画:XPathを使ってリストの情報を取得
コード
1. コードの解説
2. 省略されたXPathではダメなのか
  1. ダブルクォーテーションの取り扱いを間違えるとエラーになる
  2. 「ダブルクォーテーションダブルクォーテーション」です
応用編（ハイパーリンク）
まとめ

XPathとは?

World Wide Web Consortiumからの勧告を引用します。

この団体はWebで使用される技術の標準化目的として設立された団体です。

HTMLの標準化などにも関わっています。

この団体によるリリース「W3C 勧告 2017 年 3 月 21 日」より一部を抜粋しました。

EnjoyExcel

日本語版も用意しておきました。ひとまず太字のところだけおさえてください。

Abstract
XPath 3.1 is an expression language that allows the processing of values conforming to the data model defined in [XQuery and XPath Data Model (XDM) 3.1]. The name of the language derives from its most distinctive feature, the path expression, which provides a means of hierarchic addressing of the nodes in an XML tree.
https://www.w3.org/TR/xpath-31

こちら和訳です。

概要
XPath 3.1 は、 [XQuery and XPath Data Model (XDM) 3.1] で定義されたデータモデルに準拠した値の処理を可能にする式言語です。この言語の名前は、その最も特徴的な機能であるパス式に由来します。パス式は、XML ツリー内のノードの階層的なアドレス指定の手段を提供します。
https://www.w3.org/TR/xpath-31

最初に思う事はみなさん同じでしょう。「分かりません」ではないでしょうか。

私はもちろん分かりません。しかし定義というのは正確性が求められます。

よって公的な機関からの情報を引用させていただきました。

分からない中にも手掛かりはあります。それは「パス」というキーワードです。

まずはこの言葉だけ覚えておきましょう。「データパス関連の話」だなと思っておいてください。

XPathを使うとなぜ簡単なのか?

和訳を見ると「データのパスを得ることが出来る」感じはします。

私はWWWConsortiumの勧告を見て「そうゆう事か」と思ってしまいました。

それは「XPathを取得すると欲しい情報までのパスが簡単に取得できるから」です。

情報に対してピンポイントでパスを取得出来るので細かい事を考える必要がないです。

あまり深く考えずやっていた作業と理屈が一致したので「そうゆう事か」と思ってしまいました。

もう少し内容を深堀します。詳細は以下動画で解説しますので是非ご覧ください。

動画:XPathの取得方法

XPathの取得方法が分かる動画です。

これを見ていただければXPathが欲しい情報までのパスだという事が分かります。

ご注意下さい動画にはHTMLの映像が含まれてます。

キーワードの配置から状況が読み取れる動画ですのでHTMLの知識が無くても見る事は出来ます。

裏を返せばHTMLを理解出来てない方でもコードを用意する事ができる様になります。

この動画を YouTube で視聴

取得したXPathをどう使うのか

あるメソッドの引数としてコード内に貼り付けて使います。

FindElementByXPathメソッドです。

ベースとなるコードです

FindElementByXPath(xpath As String) As WebElement

任意で設定の引数は省略しています。よって用意する引数はXPathだけです。

XPathだけあればスクレイピングは出来ます。このメソッドを使ってコードを書いてみます。

基本的にはかっこの中に取得したXPathをそのまま入れるだけです。

そうするとWebElementが返るのでWebElementクラスのtextメソッドで文字を取り出します。

テキストとして取得した文字をCellsプロパティで指定したセルのValueプロパティに代入します。

A1セルにXPathで取得した情報を代入する時のコード

Cells(1,1) = FindElementByXPath(“取得したXPath”).Text

動画:XPathを使ってリストの情報を取得

XPathを使ってリストの値を取得してみました。動画をご覧ください。

Web画面からリストの文字列をエクセルに書き出す様子をご覧ください。

これぐらいの情報なら一瞬ですね。

1つの枠に複数の情報が入ってる時はセルに複数の情報が入力されてしまいます。

メリット、デメリット列は箇条書きになったものがそのままエクセルに書き出されます。

エクセルにとっては良くないのですが裏を返せば忠実にデータを取得してくれます。

コード

コードをご覧ください。まずはスクレイピングで使った記事を紹介しておきます。

同じ記事で同じコードを使えばより簡単にスクレイピングを体験いただく事ができます。

この記事を使いました【マクロ勉強方法を比較】初心者おすすめフローで選ぶ学習ツール5選

【マクロ勉強方法を比較】初心者おすすめフローで選ぶ学習ツール5選

見ていただいた皆様に合ったマクロの勉強方法を検索、検討出来るツール（画像）を用意。作業時間１分。是非お試しください。これで勉強の継続率が上がります。ご自身の環境にマッチしているのか確認したうえで勉強方法を決めた方が納得感が得られます。

コードをコピーする

お願い記事を追加、修正するとXPathが変わるので用意されているコードでエラーが発生する事があります。

その際はXPathを取り直していただきます様お願いします。

Sub テーブルの情報を取得()
Dim Driver As New ChromeDriver
Driver.Start "chrome"
Driver.Get "https://www.slt-pgming-21.net/2022-06-11-193321/"
Driver.ExecuteScript "document.getElementById('リスト').scrollIntoView()"
Driver.Wait 2000
Dim 行 As Long
Dim 列 As Long
Dim テーブル列 As Long
For 行 = 1 To 6
    For 列 = 1 To 5
        If 行 = 1 Then
            For テーブル列 = 1 To 5
                Cells(行 + 1, テーブル列 + 1) = Driver.FindElementByXPath _
                ("/html/body/div/div[4]/div/main/article/div/figure[2]/" _
                & "div/table/thead/tr/th[" & str(テーブル列) & "]").Text
            Next
            テーブル列 = 1
            Exit For
        Else
            If テーブル列 = 1 Then
                Cells(行 + 1, テーブル列 + 1) = Driver.FindElementByXPath _
                ("/html/body/div/div[4]/div/main/article/div/figure[2]/" _
                & "div/table/tbody/tr[" & str(行) & "-1" & "]/th").Text
            End If
            For テーブル列 = 2 To 5
                Cells(行 + 1, テーブル列 + 1) = Driver.FindElementByXPath _
                ("/html/body/div/div[4]/div/main/article/div/figure[2]" _
                & "/div/table/tbody/tr[" & str(行) & "-1" & "]/" _
                & "td[" & str(テーブル列) & "-1" & "]").Text
            Next
            テーブル列 = 1
            Exit For
        End If
    Next
Next
'ここでコードが終了であれば不要ですので必要に応じて消してください。
Driver.Close
Set Driver = Nothing
End Sub

こちらもおすすめ各要素毎に取り出すのが面倒だという人はこちらをご覧ください。

テーブルごと一気にエクセルのワークシートに値を取り出す事ができます。

時短コード【Selenium×VBA】テーブルの情報を取得｜配列を使えば行数と列数も分かる