【その疑問や悩みについてネット検索で調査済みですか?】
はい
【その疑問や悩みはマニュアルには載っていないことですか?】
はい
【最小テストは試しましたか?】
はい
【阿修羅ワークスのプラグインは全て最新ですか?】
はい
【あなたが疑問や悩みに感じていることについて教えて下さい】
同じサイトの別ページを同じ条件でスクレイピングさせた場合、ちゃんと取ってくるページと取ってこないページが生まれます。
以下、確認したことを明記します。
・失敗したページの「再スクレイピング」をクリックした際に「パラメータが不足しています。」という表示が出るため「取得するURL」が正しいか確認→個別でアクセスできるためあっている、またコンテンツセレクタをbodyにしても不可
・自身のサーバーやデータベースの確認→いちおうmax input valueを3000から9000に変更してみましたが変化なし。データベースの容量も十分に思えます(サーバー・データベース周りの情報を添付します)
・取ってこれないページが特定のページではない→検証サイトAと検証サイトBを立てており、目標サイトXページをスクレイピングした場合、Aは成功でBは失敗などがあります=相手の対策が原因ではない?
目標サイトに向けて約80ページほどのフィードを実行したいのですが10ページほどはスクレイピングすることができない状況です。
そのほか考えられる可能性があればご教授いただければ幸いです。
【それを疑問や悩みに思ったキッカケについて教えて下さい】
登録作業をしていて