仍然是cifar10DVS数据集训练的问题

[andwizard]

我之前有在github上和您讨论过，但是后面经过改动还是无法正确复现cifar10DVS数据集上的结果，能否请您就DVS数据集的训练给我一些指导。
我想把我的改动流程和您讨论一下，看看是否有什么纰漏
首先是configs文件，项目中只给出了small这个yaml文件，按我的的理解的话训练cifar10DVS 需要在yaml文件中的DATA增加一个参数：
DATASET :cifar10dvs

然后在就会构建tiny_dvs模型，然后由于num_subnet（8）和训练数据的帧数（10）对不上，

T-RevSNN/models/spike_rev_reuse.py

Line 514 in bf88e57

num_subnet = 8

我就把这里的num_subnet=8改成10了

然后将这一行放入for循环内部，保证输出是（T，B，C）尺寸

T-RevSNN/models/spike_rev_reuse.py

Line 456 in bf88e57

x_cls_out.append(self.cls_blocks(c3 / self.num_subnet))

但是由于此时输出的是长度为T的list 而不是张量，我就将main_no_decoder.py下这里改成了这样，同时对TET_loss使用output[-1]我也有些疑问，我这里把[-1]去掉了，因为我的理解来说是每个T都要用于计算TET_loss

对于后续的validata阶段，按照您之前的说法把517以及518行删掉了

T-RevSNN/main_no_decoder.py

Line 517 in bf88e57

if model.module.dvs:

在计算ACC的时候依然还是使用输出的最后一个通道（output_last=output[-1]）来计算的
最终300轮之后我的模型在cifaer10dvs上的acc1仅有46%左右，是否是我哪里疏忽了

[jkhu29]

或许是数据不对？ 按照spikingjelly的处理方式应该是任意时间步都可以：https://spikingjelly.readthedocs.io/zh-cn/latest/activation_based/neuromorphic_datasets.html ，设置frames_number=8就行。

另外DVS实验的精度确实很不稳定，对超参的设置很敏感，我们在之前的spike-driven transformer的issue里面简单说明了我们跑实验的步骤。

[andwizard]

或许是数据不对？ 按照spikingjelly的处理方式应该是任意时间步都可以：https://spikingjelly.readthedocs.io/zh-cn/latest/activation_based/neuromorphic_datasets.html ，设置frames_number=8就行。

另外DVS实验的精度确实很不稳定，对超参的设置很敏感，我们在之前的spike-driven transformer的issue里面简单说明了我们跑实验的步骤。

感谢您的回复，那我再试试调整超参数，另外再和您确认一下，模型的最终输出是output（T，B，C）尺寸的张量，训练时使用TETloss计算每个T通道与target的损失，验证时只使用output[-1]与target计算损失与acc

[jkhu29]

对于静态数据我们只用最后一个时间步的输出；
对于DVS数据我们需要对所有时间步做一个平均。

[andwizard]

对于静态数据我们只用最后一个时间步的输出； 对于DVS数据我们需要对所有时间步做一个平均。

感谢，我明白了

[andwizard]

或许是数据不对？ 按照spikingjelly的处理方式应该是任意时间步都可以：https://spikingjelly.readthedocs.io/zh-cn/latest/activation_based/neuromorphic_datasets.html ，设置frames_number=8就行。

另外DVS实验的精度确实很不稳定，对超参的设置很敏感，我们在之前的spike-driven transformer的issue里面简单说明了我们跑实验的步骤。

PRINT_FREQ: 100
SAVE_FREQ: 20
MODEL_EMA: True
MODEL_EMA_DECAY: 0.9992
DATA:
IMG_SIZE: 224
NUM_WORKERS: 8
DATASET: cifar10dvs
MODEL:
TYPE: tiny_dvs
NAME: tiny_dvs
LABEL_SMOOTHING: 0.1
REVCOL:
INTER_SUPV: True
SAVEMM: True
CCOE: 1.0
DROP_PATH: 0.0
KERNEL_SIZE: 5
NUM_SUBNET: 8
TRAIN:
AMP: False
EPOCHS: 300
BASE_LR: 2e-3
WARMUP_EPOCHS: 20
WEIGHT_DECAY: 0.01
WARMUP_LR: 1e-5
MIN_LR: 1e-6
OPTIMIZER:
NAME: 'lamb'
CLIP_GRAD: 0.02
AUG:
COLOR_JITTER: 0.4
AUTO_AUGMENT: 'rand-m9-mstd0.5-inc1'
REPROB: 0.25
REMODE: 'pixel'
RECOUNT: 1
MIXUP: 0.0
CUTMIX: 0.0
CUTMIX_MINMAX: None
MIXUP_PROB: 1.0
MIXUP_SWITCH_PROB: 0.5
MIXUP_MODE: 'batch'

我的acc1仍然只有46%左右，我用于训练dvs数据集的配置文件是否有问题呢,这个配置基本与small.yaml文件相同，但是我添加了DATASET=cifar10dvs以及修改了MODEL.TYPE和NAME为tiny_dvs,并且设置AMP：false