perl の面白さ 6 ホームページのコンテンツ(ホームページのデータ)の取得

      2017/08/04

私の場合、参考になるホームページは、ホームページのコンテンツ(データ)を全部取得し、後でじっくり勉強します。
何故なら、そのホームページが何時まで存在するかは、保障されていないからです。
案外安心?していると、突然無くなったりします。
私のパソコンは[Windows] なので、ホームページのコンテンツを取得する時には[wget.exe]を使いますが、たまに取りこぼしが有ります。
こんな時には[perl の LWP::Simple や LWP::UserAgent] を使っています。
[perl の LWP::xx] はWebクライアントとしては、手軽で、なくてはならない物です。
しかし、余りに簡便なため、サーバ側からは、「嫌われて?」います。
これは、「プログラムで短時間に何回もアクセス」する等からです。
こんな記事も有ります。「スパム送信源と化した[libwww-perl]とは?」
[http://blog.livedoor.jp/dankogai/archives/50806567.html]
節操を持って使いたいものです。。。。

スポンサードリンク

 - ソフト・プログラムの支援, ブログのこと