Skip to content

Conversation

@Troray
Copy link
Contributor

@Troray Troray commented Jan 18, 2026

  • 新增Markdown格式保存: 现在可以将爬取到的微博数据保存为Markdown格式,每个日期生成一个独立的Markdown文件,并自动下载图片到子目录,方便阅读和管理。
  • 引入防封禁机制: 新增了全面的防封禁配置,包括动态请求延迟、批次延迟、随机User-Agent和Referer、会话暂停机制以及API错误统计,显著提高了爬虫的稳定性和抗封禁能力。
  • 配置文件增强: config.json文件新增了详细的防封禁配置项,并支持JSON5格式解析,允许在配置文件中添加注释,提升了配置的灵活性和可读性。
  • API服务优化: API服务现在会从weibo.py中加载配置,并增加了任务清理机制,防止内存泄漏,确保API服务的健壮性。

@dataabc dataabc merged commit 95dac76 into dataabc:master Jan 19, 2026
@dataabc
Copy link
Owner

dataabc commented Jan 19, 2026

已合并。非常实用的特性,感谢热心贡献代码,不但修复了bug,还添加了新特性,非常有帮助,非常感谢。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants