Liepin-spider 基于scrapy写的猎聘网简易爬虫该站 该站有反爬机制（如果短时间内访问次数过于频繁会让你输入验证码），但事实上爬取并不困难，只需要在setting.py里设置一个useragent池就可以了。 但爬取一段时间后还是有一定概率让你输入验证码（如果爬取时日志上一直显示同一个url时便表示你需要打开该页面输入验证码）。 本爬虫能将一些招聘的基本信息爬下来（职位，公司，年薪，工作经验，工作地点）代码相对比较简单。