ファンザプレス データを1000件取得したい | ワードプレス魔改造屋

ファンザプレス データを1000件取得したい

【その疑問や悩みについてネット検索で調査済みですか?】

いいえ

【その疑問や悩みはマニュアルには載っていないことですか?】

はい

【阿修羅ワークスのプラグインは全て最新ですか?】

はい

【あなたが疑問や悩みに感じていることについて教えて下さい】

DMMのデータ収集で、設定したジャンルのデータを1000件ほど収集したいのですが、
途中で収集作業が停止しているのか、200件も収集できません。
どのように設定すればよいでしょうか?

設定項目
巡回:3時間毎
1回の収集件数:100件

【それを疑問や悩みに思ったキッカケについて教えて下さい】

安定して大量に収集したい

コメント

  1. 2020/11/19(木) 18:37:03
    DMMアフィリエイトAPI(商品検索API)は一度にデータを取得できる最大件数が決められているため、一度に1000件といった大量のデータは取得できません。
    最大で取得できるのは100件までです。

    ▼商品情報API
    https://affiliate.dmm.com/api/v3/itemlist.html

    1000件取得する場合はフィード登録で10件のフィードを作成します。
    仮にフィードの名前をフィード1~フィード10とします。

    フィード1~フィード10の「取得件数」を100にします。
    次にフィード1の「検索開始位置」を1にして、
    フィード2の「検索開始位置」を101にして、
    フィード3の「検索開始位置」を201にします。
    「検索開始位置」を変えることで取得できる位置が変わります。

    よって、同様にフィード10まで繰り返して下さい。

    注意点としていきなり大量に取得するとサーバーに負担が掛かる可能性があります。
    必ずバックアップをとり、取得する件数を最初は少なくしてテストをして下さい。
    自己責任です。
  2. 2020/11/19(木) 23:21:39
    了解しました
    ご回答ありがとうございます

記事に戻る

コメントを残す