pythonライブラリbeautifulsoupでurllib.error.HTTPError: HTTP Error 403: Forbiddenのエラーの対処法

こんにちはidentityのナパです。   今回はpythonのライブラリのbeautifulsoupをちょっと使ってみました。 これはクローリングとスクレイピングが簡単にできちゃうライブラリのようですね。 ニュースサイトやブログなどから色んな情報を引っ張ってきてどうこうしたいなーと考えています。 色々細かい説明はQiitaとかに超わかりやすく書いてくれてる達人がいるので、ありがたく拝見しましょう。 それらを見て出来たコードがこれだっ!  

  これでスクレイピング出来ました! 色んなサイトでスクレイピングしてみましょうか   おっつ、 なんかエラー出てきたよ? 実行できるサイトと出来ないサイトがあるみたいですね。。。 出来ないサイトというのは、僕みたいな輩をブロックする何かしらの処理を施しているんだと… 猪口才なっ!     これはどうやらユーザーエージェントを設定すれば解決するらしい。。。 これをreqに代わりにぶち込むと。 出来た!   なんかたのしいですね、スクレイピング。ではまた。

Napa

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です