スクレイピング

今回、始めてpuppeteerを使ってスクレイピング挑戦してみました。

スクレイピングとは？

Web上の情報を取得し、解析や自動操作することが出来る技術です。
例えば、とあるページにあるリンク100個を開いてスクリーンショットを取るとか。
同じ動作を何度もやる物に関してはかなり便利そうです。
少ない回数でも手順(やること)が多いものも良さそうです。

記述説明

接続

const browser = await puppeteer.launch();

ページを開く

const page = await browser.newPage();

スクリーンショットを取る

await page.screenshot({path: '0.png'})

ログ出力

console.log(url);

ページ遷移

await page.goto(url);

タイトル文字列取得

let title = await = page.title();

セレクター指定

// HTMLタグ
let selector = "div";

// id
let selector = "#aa";

// class
let selector = ".aa.bb";

ブラウザ閉じる

await browser.close();