トップへ
プラグイン購入
お試し体験版
お知らせ
お問い合せ
スクレイピングプレス 同サイト内の違うページをスクレイピング対象にした際に取得できる時とできない時について

スクレイピングプレス 同サイト内の違うページをスクレイピング対象にした際に取得できる時とできない時について


【その疑問や悩みについてネット検索で調査済みですか?】

はい

【その疑問や悩みはマニュアルには載っていないことですか?】

はい

【最小テストは試しましたか?】

はい

【阿修羅ワークスのプラグインは全て最新ですか?】

はい

【あなたが疑問や悩みに感じていることについて教えて下さい】

同じサイトの別ページを同じ条件でスクレイピングさせた場合、ちゃんと取ってくるページと取ってこないページが生まれます。
以下、確認したことを明記します。

・失敗したページの「再スクレイピング」をクリックした際に「パラメータが不足しています。」という表示が出るため「取得するURL」が正しいか確認→個別でアクセスできるためあっている、またコンテンツセレクタをbodyにしても不可

・自身のサーバーやデータベースの確認→いちおうmax input valueを3000から9000に変更してみましたが変化なし。データベースの容量も十分に思えます(サーバー・データベース周りの情報を添付します)

・取ってこれないページが特定のページではない→検証サイトAと検証サイトBを立てており、目標サイトXページをスクレイピングした場合、Aは成功でBは失敗などがあります=相手の対策が原因ではない?

目標サイトに向けて約80ページほどのフィードを実行したいのですが10ページほどはスクレイピングすることができない状況です。
そのほか考えられる可能性があればご教授いただければ幸いです。

【それを疑問や悩みに思ったキッカケについて教えて下さい】

登録作業をしていて