【Python】Google ColabとSeleniumでスクレイピング

どーも！marusukeです！

Google ColaboratoryとSeleniumでスクレイピングする方法を説明します！

実行内容
コード
1. 必要なパッケージのインストール
2. Pythonのコード部分
なぜ、Google Colaboratoryなのか
なぜ、Seleniumなのか

実行内容

Google.comのタイトルを取得します！（赤枠部分です）

コード

コード全体はこちらです

# Seleniumライブラリをインストール
!pip install selenium

# パッケージリストを更新
!apt-get update

# Chromiumブラウザとそのドライバをインストール
!apt install -y chromium-chromedriver

# Chromedriverを適切な場所にコピー
!cp /usr/lib/chromium-browser/chromedriver /usr/bin

# PythonコードでSeleniumを使用
import os
from selenium import webdriver

# Chromeのオプションを設定
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # ヘッドレスモード
options.add_argument('--no-sandbox')  # サンドボックスモードを無効に
options.add_argument('--disable-dev-shm-usage')  # 共有メモリの使用を無効に

# 必要な環境変数を設定
os.environ['DISPLAY'] = ':99.0'
os.environ['XAUTHORITY'] = '/tmp/.Xauthority'

# Seleniumでブラウザを操作
driver = webdriver.Chrome('chromedriver', options=options)
driver.get('https://www.google.com')
print(driver.title)  # ページタイトルを表示
driver.quit()  # ブラウザを終了

コードの簡単に解説します！

必要なパッケージのインストール

以下のコードで環境構築をします

行頭の!は、Google Colabのシェルコマンドを実行するためのマジックコマンドです（Google ColabはPythonの実行環境であるため）

# Seleniumライブラリをインストール
!pip install selenium

# パッケージリストを更新
!apt-get update

# Chromiumブラウザとそのドライバをインストール
!apt install -y chromium-chromedriver

# Chromedriverを適切な場所にコピー
!cp /usr/lib/chromium-browser/chromedriver /usr/bin

Pythonのコード部分

Pythonコード部分は以下です。流れとしては、

Seleniumとosをインポート
WEBブラウザ「Chrome」のオプションを設定
対象URL「google.com」のtitle部分を取得し、printで表示する

# PythonコードでSeleniumを使用
import os
from selenium import webdriver

# Chromeのオプションを設定
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # ヘッドレスモード
options.add_argument('--no-sandbox')  # サンドボックスモードを無効に
options.add_argument('--disable-dev-shm-usage')  # 共有メモリの使用を無効に

# Seleniumでブラウザを操作
driver = webdriver.Chrome(options=options)
driver.get('https://www.google.com')
print(driver.title)  # ページタイトルを表示
driver.quit()  # ブラウザを終了