基于多粒度建模的网络异常检测与风险评估系统

面向网络安全与风控场景，解决长尾不平衡、冷启动无标签、已知/未知异常兼顾三大工业痛点。

核心解决问题

1. 长尾分布：少数异常占比<1%，传统模型漏报严重
2. 冷启动/零日攻击：无标签场景下无法检测新型威胁
3. 精度与泛化矛盾：监督模型精度高、泛化弱；无监督泛化强、精度低

技术方案

1. LightGBM 监督基线

• 处理类别不平衡：类别权重 + 全链路特征工程
• 高精度识别已知异常

2. GBAE 粒球自编码器（无监督）

• 仅用正常数据训练
• 多粒度刻画正常分布边界
• 输出局部偏离度作为异常评分
• 支持冷启动与未知威胁检测

3. 置信度自适应融合策略

• 高置信样本：直接使用 LightGBM 结果
• 低置信模糊区域：引入 GBAE 无监督评分补充
• 无需人工设定融合权重
• 同时保证已知异常精度 + 未知异常泛化能力

实验结果

• 已知异常检测 AUC > 0.95
• 未知异常检测 AUC > 0.78
• 融合模型 PR-AUC = 0.9659
• 显著提升长尾异常与未知攻击召回率

适用场景

• 网络入侵检测
• 金融风控/欺诈检测
• 风险评分与风险评估
• 冷启动无标签异常检测
• Zero-day 未知威胁识别

快速运行

# 训练 LightGBM
python train_lgb.py

# 训练 GBAE 粒球自编码器
python train_gbae.py

# 置信度自适应融合推理
python fusion_model.py