Skip to content

Latest commit

 

History

History
12 lines (10 loc) · 428 Bytes

README.md

File metadata and controls

12 lines (10 loc) · 428 Bytes

keywords_distributed_crawler

关键词爬取手机号分布式爬虫

项目功能
  • 指定关键词爬取搜索引擎中出现的来源网址手机号信息
核心
  • 使用scrapy框架结合spash和redis实现分布式爬取
  • 使用sqlalchemy结合mysql存储爬虫提取的数据
  • 可结合scrapyd进行rpc调用

License

This project is licensed under the MIT license.