Skip to content

nayonglin/zhihu_spiders

Repository files navigation

项目功能:
 知乎搜索答案的快速爬取,把与输入关键字相关的答案与问题快速爬取到本地并保存,具体效果只要你运行代码之后,打开目录下的data.txt和data2.txt就很清楚了。或者可以参考我的博文

  使用步骤:
1.代码下载到本地
2.打开浏览器,进入知乎,登陆自己的账号,随便搜索一个关键字,然后在返回的结果中随便选择一个问题,进去之后打开浏览器的开发者工具,找到形如 new?r=一串数字 的那个get请求,把请求头中的authorization的值配置到项目中的answer.js的第18行的authorization属性上
3.命令行进入到项目目录
4.执行命令 npm install
5.执行命令 node app

文件目录:
 app.js 主程序入口
 allAnswer.js 获得单个问题所有答案
 articleSingle.js 知乎专栏的处理
 questionSingle.js 构造当个页面所有答案的url
 saveArticle.js 保存专栏文章功能
 saveQuestion.js 保存问题和答案功能
 data.txt  保存问题和答案
data2.txt 保存专栏文章

About

知乎搜索答案快速爬取

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published