抓取技术

[mic101]

http://www.weixinxi.wang/open/extract.html 文本密度算法提取正文http://www.cnblogs.com/rwxwsblog/p/4575894.html 爬虫防止被ban

[mic101]

http://www.open-open.com/lib/view/open1423107543014.html

[mic101]

底层服务选型：
数据服务层 flask+es
调度用scrapyd http接口（sqllite做异步任务的）
抓取用scrapy+mongodb
cms系统用flask-admin
定时任务用：supervisor

架构设计：
web(php)
|
数据服务层（flask restful api+ ElasticSearch搜索）-------------------------------
| |
调度层（scrapyd) |
| |
worker (scrapy) ---------------------------------------------------------------------mysql数据库