スクレイピング

投稿者: | 投稿日時: 2020/6/15 23:25 | 更新日時: 2020/6/25 09:03

今回、始めてpuppeteerを使ってスクレイピング挑戦してみました。

スクレイピングとは?

Web上の情報を取得し、解析や自動操作することが出来る技術です。
例えば、とあるページにあるリンク100個を開いてスクリーンショットを取るとか。
同じ動作を何度もやる物に関してはかなり便利そうです。
少ない回数でも手順(やること)が多いものも良さそうです。

記述説明

接続

const browser = await puppeteer.launch();

ページを開く

const page = await browser.newPage();

スクリーンショットを取る

await page.screenshot({path: '0.png'})

ログ出力

console.log(url);

ページ遷移

await page.goto(url);

タイトル文字列取得

let title = await = page.title();

セレクター指定

// HTMLタグ
let selector = "div";
// id
let selector = "#aa";
// class
let selector = ".aa.bb";

ブラウザ閉じる

await browser.close();

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください