ヤフー「大量アクセス時の制限」回避について
ヤフーは「プログラム検索」等を「大量アクセス」と感知すると、「制限」を掛けるようになっている。
具体的に言うと「ご覧になろうとしているページは現在表示できません 」等と表示される。
Yahoo!メールでは「2005年」頃から、オークション等では「2008年」頃から、Yahoo!検索では「2011」頃から「大量アクセス時の制限」があったようだ。。
私の場合、「ヤフーの検索」を「プログラムで検索」していたが、最近できなくなったのに気が付いた。
私の実績では、「2016/4月頃」までは出来ていた。。
私の「検索プログラム」は、[perl lwp」を使っている。
当初は「Yahoo! JAPANが提供するWeb API」を[yahoo ID]を取得して利用して行っていましたが、今では[ID]が必要のないやり方に変えている。
[perl lwp」方式が出来なくなったので、[perl HTTP::Request]に切り替えたが、症状は変わらなかった。
原因を探すべく「調査」してみた。
1 1回に検索する時間を多くして、ウエイト?を軽くしてみた。
2 検索ページ数を少なくしてみた。
しかし症状は変わらなかった。
3 グーグルで似たような症状と対応策を調べてみた。
私みたいな使い方をしている人は少ないようで、全然ヒットしませんでした。。。
しょうがないので、「別の方法」に切り替えた。
余り詳しく書きすぎると、又引っかかるといけないので、概要だけ書きます。
1 要は [perl が検索]を[InternetExplorerが検索している?」ようにした。
2 perl win32::ole で「InternetExplorer」を操作する。
3 検索ページは、「10ページ(百記事)」にした
4 検索スピードは「時間を掛け(1検索、1秒)」検索するようにした。
何時まで続けて出来るか分かっていませんが、これでだめなら「yahoo 検索ページの保存」が人力に戻ってしまいます。
しかし、プログラムの途中で「人力」が入るのは、いや(非効率)だなぁ。。。。
[ad#wpx-01]