ログインページのあるサイトをcurlでスクレイピングしてみる

最近良く出てくるダフ(どら)です。 またまたダフったので今回はそれをまとめてみる。 スクレイピングはよくGASでやっているのだけど、curlという便利なものがあることに感激してしまった。 (最近はvimでスクレイピングができるという事実をしってしまって、、、なんておもしろいんだと勝手に高まってる笑)

curlとは?

簡単に言うとコマンドライン上でデータのやりとりができるすごく便利なやつ 様々なプロトコルに対応し、HTTPだけでなくFTPやSCPなんかでもファイル転送が可能

使い方

こんな感じで簡単に実行できる
ログインページであれば クッキーを持たせてやりたい場合はファイルに吐き出してそれをつかいまわしてやればいい あと煮るなり焼くなりご自由に! これをシェルスクリプトに書いて指定した時間に回したい 今回はこれにハマった、、、 21時に実行 atコマンドで指定したシェルが動かない、、、 どうやらMacではデフォルトでatコマンドは無効になっているんだとか、、、 なのでatコマンドを有効にしてやる これでシェルが実行される。 ふー時間かかった、、、

Makoto

2年目のダフったエンジニアです。 主にwebやっとります!最近はswiftだったりいろいろ勉強中! ネズミが毎月1匹づつ増えるアパートに同居人のヨリコ(霊体)と住んでいます。 アニメ、マンガ、映画が好き 特にSF系は大好物です! 夢は義体化と電脳化!

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です