关于异常生成质量的评估

[httkxy]

您好！感谢您出色的工作！

请问后续有做对于异常生成质量的评估吗？比如计算IS、IC-LPIPS等指标？

期待您的回复，谢谢！

[gaobb]

hi, @httkxy 感谢您对我们工作的关注。 尽管异常生成领域的一些 paper 采用IS、IC-LPIPS等指标来评估异常图像的质量，但本人粗浅认为这不一定是科学的。这些指标其实原本是为了评测自然场景的图像生成质量，其更关注图像的全局性且依赖图像分类预训练模型，有一定的合理性（生成图像和分类模型所用的训练数据分布存在一定的相关性）。然而，该假设在异常检测领域不一定成立，因为异常图像（尤其异常区域）和自然图像分布差异很大，且通常更关注异常局部区域生成质量。 举一个极端的例子，假设异常生成模型生成的数据全是正常图像，从异常生成的角度来讲是完全失败的，但对应的 IS、IC-LPIPS等指标不一定就比可以生成异常图像的模型差。 由于以上粗浅考虑，AnoGen 方法在一开始就没有评测这些指标，且后续也不会评测这些指标。个人认为关注对生成的异常数据对检测下游任务性能的量化评估，这最直接最本质，也是生成异常数据的初衷。 欢迎进一步讨论交流。 元旦快乐！ Tianyu Hao ***@***.***>于2026年1月3日 周六15:26写道：

*httkxy* created an issue (gaobb/AnoGen#17) <#17> 您好！感谢您出色的工作！ 请问后续有做对于异常生成质量的评估吗？比如计算IS、IC-LPIPS等指标？ 期待您的回复，谢谢！ — Reply to this email directly, view it on GitHub <#17>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ACHR2BZF3Z47Z2CVTJSJNP34E5VMHAVCNFSM6AAAAACQSPS6T2VHI2DSMVQWIX3LMV43ASLTON2WKOZTG43TOOBQGUZDQOI> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

-- --------------------------------------------------------------- Bin-Bin Gao, Ph.D，Senior Researcher YouTu Lab, Tencent Shenzhen 518075, China Homepage: https://csgaobb.github.io/ Email: ***@***.***

[httkxy]

我非常赞成您的看法！我最近在复现DRAEM并计算其生成缺陷图像的IS指标，为MVTec每种缺陷类型生成了1000张缺陷图像，计算所有产品的平均IS，竟然高达2.91，超过了目前所有异常生成的方法，但是其生成的缺陷图像并不符合真实世界的缺陷模式。遗憾的是，几乎所有工作都采用了IS、IC-LPIPS进行生成质量评估，期待后续有专门为异常生成质量设计的评估指标出现。

顺祝新年快乐！