Skip to content

Latest commit

 

History

History
13 lines (10 loc) · 324 Bytes

File metadata and controls

13 lines (10 loc) · 324 Bytes

ws-spider

Nodejs 网络爬虫 待完善

备忘录:

  • 图片等文件下载支持
  • 命令行操作功能实现
  • 404、等状态码页面处理
  • 断点续传、爬虫终止
  • !util 扩展文件类型判断(null、undefined、array、object。。。)
  • 是否添加日志文件处理?
  • redis数据去重支持