last update 2019年6月11日 18:10

ヘッドレスChrome+Javaでファイルをダウンロードする方法(Selenium)

ヘッドレス Chrome ではセキュリティ上の理由からファイルのダウンロードが禁止されていますが、これを Selenium + Java から設定変更してヘッドレスでもダウンロードできるようにする方法について書いておきます。

基本的には既知の方法なんですが、初見では使用パッケージが分からなかったので自分用メモ。

あと、多分あまり情報がまとまって無い気がする「この設定を使ってもヘッドレスではダウンロードできないサイト」の情報についても触れておきます。

ヘッドレス Chrome でファイルダウンロードを可能にする設定(Java)

import部分はこんな感じ。(漏れがあったらごめんなさい)

import java.util.*;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.HttpClientBuilder;

import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeDriverService;
import org.openqa.selenium.chrome.ChromeOptions;

Javaソース部分はこんな感じ。

// Chrome 起動オプションを構成
ChromeOptions options = new ChromeOptions();
// headlessモードで起動
options.addArguments("--headless");

// Chrome WebDriver生成処理
ChromeDriverService driverService = ChromeDriverService.createDefaultService();
driver = new ChromeDriver(driverService, options);

// Headless Chrome でもファイルをダウンロードできるようにするHack
Map<String, Object> commandParams = new HashMap<>();
commandParams.put("cmd", "Page.setDownloadBehavior");
Map<String, String> params = new HashMap<>();
params.put("behavior", "allow");
params.put("downloadPath", "c:\\PATH\\TO\\DOWNLOAD_DIR_NAME");
commandParams.put("params", params);
ObjectMapper objectMapper = new ObjectMapper();
HttpClient httpClient = HttpClientBuilder.create().build();
try {
    String command = objectMapper.writeValueAsString(commandParams);
    String u = driverService.getUrl().toString() + "/session/" + driver.getSessionId() + "/chromium/send_command";
    HttpPost request = new HttpPost(u);
    request.addHeader("content-type", "application/json");
    request.setEntity(new StringEntity(command));
    httpClient.execute(request);
} catch (Exception e) {
    // Headless Chrome への切り替えHack失敗
    e.printStackTrace();
}

もう完全に力技ですな。勘の良い方はお分かりのとおり、ダウンロード先ディレクトリのパスに日本語が含まれると動作しない仕様です。(なんかやり方ありますかね…)

本来的には ChromeDriver クラスを継承したサブクラスを作って、Protected な execute メソッドからこんな感じでコマンドを投げるコードが書けると楽なんですけどね。

Map<String,String> paramList = new HashMap<>();
paramList.put("behavior", "allow");
paramList.put("downloadPath", "c:\\PATH\\TO\\DOWNLOAD_DIR_NAME"));
driver.execute("Page.setDownloadBehavior", paramList);

残念ながらこの書き方だと動作せず。けっこう探してみましたが、やはり、先の方法以外に穴は無いように思います。

どうやってもヘッドレスでダウンロードできないサイトがある

少なくとも Chrome 74 のヘッドレスモードでは、先の設定を入れてもファイルをダウンロードができないパターンをいくつか確認しています。

この内、僕が把握しているのは、少なくとも以下の2パターンです。

  1. 動的に生成された JavaScript 内から location.href 関数などでファイルをダウンロードする場合
  2. (こちらはちゃんと検証していませんが)target="_blank" で新しいウィンドウを開いてファイルをダウンロードする場合

いずれの場合も、飛び先の URL を入手して Selenium から get() すればダウンロードできそうな気がしますが…。

で、Chromium のソースをざっと斜め読みした感じだと、先のトリッキーな設定は PageHandler に効いているようで、その前提において他に使えそうなコマンドはなさそうに感じました。したがって、本来的にはこの設定がどのシチュエーションでも効いてくれるべき、という気はするので、なんとなーく Chrome のバグの予感が。でも、「これはセキュリティポリシーです」と言われれば「ハイ、そうですか」と言うしかないような気もします。

憶測だけでテキトーな事を書いてしまうと、歴史的経緯からして、もともとこの権限処理は Headless 化以前には不必要だった気がしなくはないので、今はまだ実装漏れがあるのかな、という気もしなくはないけれども。

ちなみに将来の Chrome でこの部分が改善されたことに気がつかれた方は、コメント欄などで教えて頂けると助かります。

参考資料:

コメントを記入