グロースハックする~ダフえもん~

ログインページのあるサイトをcurlでスクレイピングしてみる

最近良く出てくるダフ(どら)です。 またまたダフったので今回はそれをまとめてみる。 スクレイピングはよくGASでやっているのだけど、curlという便利なものがあることに感激してしまった。 (最近はvimでスクレイピングができるという事実をしってしまって、、、なんておもしろいんだと勝手に高まってる笑)

curlとは?

簡単に言うとコマンドライン上でデータのやりとりができるすごく便利なやつ 様々なプロトコルに対応し、HTTPだけでなくFTPやSCPなんかでもファイル転送が可能

使い方

こんな感じで簡単に実行できる
ログインページであれば クッキーを持たせてやりたい場合はファイルに吐き出してそれをつかいまわしてやればいい あと煮るなり焼くなりご自由に! これをシェルスクリプトに書いて指定した時間に回したい 今回はこれにハマった、、、 21時に実行 atコマンドで指定したシェルが動かない、、、 どうやらMacではデフォルトでatコマンドは無効になっているんだとか、、、 なのでatコマンドを有効にしてやる これでシェルが実行される。 ふー時間かかった、、、