掲示板のスクレイピングをやっていますが,beautifulsoupだけでは出来ない箇所があり,seleniumを導入してみました.WSL2 + Ubuntuで開発しています.
Seleniumのインストール方法
SeleniumはWebブラウザを自動操作するためのライブラリです.Pythonで使用する場合は,以下のコマンドでインストールします.
pip insatll selenium
ChromeとDriverのダウンロード
Seleniumを使用するためには,ブラウザ(今回はChrome)本体,そしてブラウザの操作を可能にするドライバ(今回はChromeDriver)を使います.
色々試して古いバージョンのブラウザとドライバがあったのでそれを削除します.古いーバージョンが残っている場合は以下のコマンドを実行します.
sudo apt remove --purge google-chrome-stable -y
sudo rm -rf /usr/local/bin/chromedriver
sudo rm -rf chromedriver-linux64*
sudo rm -f chromedriver-linux64.zip
ブラウザの導入
古いバージョンのブラウザとドライバを削除出来たら,まずブラウザをインストールします.
wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
sudo apt install ./google-chrome-stable_current_amd64.deb -y
google-chrome –version でバージョン確認します.今回は135.
ドライバの導入
ブラウザをインストール出来たら,次はドライバを導入します.seleniumでブラウザを操作するために用います.
この時,ブラウザとドライバのバージョンは統一するようにします.
今回,ブラウザのバージョンは135だったので,バージョンが135のドライバを導入します.以下は135のバージョンの場合です.
wget https://storage.googleapis.com/chrome-for-testing-public/135.0.7049.95/linux64/chromedriver-linux64.zip
sudo apt install unzip -y
unzip chromedriver-linux64.zip
chmod +x chromedriver-linux64/chromedriver
sudo mv chromedriver-linux64/chromedriver /usr/local/bin/chromedriver
chromedriver –version でバージョンを確認し,ブラウザと同じになっていることを確認します.