You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
This repository has been archived by the owner on Mar 5, 2023. It is now read-only.
Abukuma316
changed the title
可能是最近跨年服务器压力大, 也有可能是请求的比较多,最近会出现抓取几千条以后就会卡“当前使用人数过多”,然后服务器会拒绝访问请求,导致备份只能抓取到最新的四千多条。
请问能否加入自定义备份范围/备份顺序or被拒绝请求后自动暂停等待网络恢复的功能
Jan 2, 2023
可能是最近跨年服务器压力大, 也有可能是请求的比较多,最近会出现抓取几千条以后就会卡“使用人数过多,请稍后再试”,然后服务器会拒绝访问请求,导致备份只能抓取到最新的四千多条。
而增量备份和自定义备份的逻辑,都是抓取某时间以前的“最新”内容,没办法在之前的基础上备份没有抓取到的旧内容,就很难整。
所以有没有可能,给自定义加上可选备份时间的首尾范围,或添加逆序/顺序备份选项。
抑或是增加一个发现抓取数量和嗅探到的总量or返回“使用人数过多,请稍后再试”时自动暂停半小时再继续抓取的功能(?)
本人编程小白,只能根据体验从直觉上给一些想法,如果无法实现或者想的过于简单还请大佬见谅!
祝生活愉快!
Originally posted by @Abukuma316 in #88
The text was updated successfully, but these errors were encountered: