Skip to content
This repository has been archived by the owner on Mar 5, 2023. It is now read-only.

请问能否加入自定义备份范围/备份顺序or被拒绝请求后自动暂停等待网络恢复的功能 #89

Closed
Abukuma316 opened this issue Jan 2, 2023 · 1 comment
Labels
enhancement New feature or request

Comments

@Abukuma316
Copy link

Abukuma316 commented Jan 2, 2023

可能是最近跨年服务器压力大, 也有可能是请求的比较多,最近会出现抓取几千条以后就会卡“使用人数过多,请稍后再试”,然后服务器会拒绝访问请求,导致备份只能抓取到最新的四千多条。

而增量备份和自定义备份的逻辑,都是抓取某时间以前的“最新”内容,没办法在之前的基础上备份没有抓取到的旧内容,就很难整。

所以有没有可能,给自定义加上可选备份时间的首尾范围,或添加逆序/顺序备份选项。
抑或是增加一个发现抓取数量和嗅探到的总量or返回“使用人数过多,请稍后再试”时自动暂停半小时再继续抓取的功能(?)

本人编程小白,只能根据体验从直觉上给一些想法,如果无法实现或者想的过于简单还请大佬见谅!

祝生活愉快!

Originally posted by @Abukuma316 in #88

@Abukuma316 Abukuma316 closed this as not planned Won't fix, can't repro, duplicate, stale Jan 2, 2023
@Abukuma316 Abukuma316 reopened this Jan 2, 2023
@Abukuma316 Abukuma316 changed the title 可能是最近跨年服务器压力大, 也有可能是请求的比较多,最近会出现抓取几千条以后就会卡“当前使用人数过多”,然后服务器会拒绝访问请求,导致备份只能抓取到最新的四千多条。 请问能否加入自定义备份范围/备份顺序or被拒绝请求后自动暂停等待网络恢复的功能 Jan 2, 2023
@ShunCai
Copy link
Owner

ShunCai commented Jan 3, 2023

可以,复杂,麻烦,懒得搞,而且过段时间就把项目归档了,1.8是最后一个版本了。

至于使用人数过多的问题,哪怕你自己在页面上连续不停的翻页也会提示这个,空间的限制,可以自己调整一下采集间隔时间就好了,比如10-30,20-30,20-50,30-50,30-60等等,可参考置顶问题#86

@ShunCai ShunCai added the enhancement New feature or request label Feb 17, 2023
@ShunCai ShunCai closed this as completed Feb 24, 2023
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

2 participants