[PAPER] BinaryConnect: Training Deep Neural Networks with binary weights during propagations

[ssaru]

📝 Introduction

• 하드웨어 친화적인 뉴럴넷을 위해 weight를 [-1, 1]로 Quantization합니다.

Why?

• 학위논문을 위한 초석입니다. BinaryConnect는 BNN 계열의 뿌리입니다.

Issue card

1. Binarized Linear Operation 추가
2. Binarized Conv2d Operation 추가
3. Binarized Linear Layer 추가 - weight clipping 기능 포함
4. Binarized Conv2D Layer 추가 - weight clipping 기능 포함
5. template 구조 최신화
6. Pytorch-lightning을 이용한 Model부 구현
   • MLP
     • Train
     • Test
   • Conv
     • Train
     • Test
   • Early Stopping
7. W&B 붙이기
8. Config Manager 붙이기 - Hydra
9. Hyper parameter Tuner 붙이기
10. TorchServe 붙이기 - Dockerfile
11. E2E 테스트 구성

Schedule

1. Binarized Linear Operation 추가 - ~7월
2. Binarized Conv2d Operation 추가 - ~8월 첫째주
3. Binarized Linear Layer 추가 - weight clipping 기능 포함 - ~8월 둘째주
4. Binarized Conv2D Layer 추가 - weight clipping 기능 포함 - ~8월 둘째주
5. template 구조 최신화 - ~8월 셋째주
6. Pytorch-lightning을 이용한 Model부 구현 - ~8월 셋째주
   • MLP
     • Train
     • Test
   • Conv
     • Train
     • Test
   • Early Stopping
7. W&B 붙이기 - ~8월 넷째주
8. Config Manager 붙이기 - Hydra - ~8월 넷째주
9. Hyper parameter Tuner 붙이기 - ~9월 첫째주
10. TorchServe 붙이기 - Dockerfile - ~9월 첫째주
11. E2E 테스트 구성 - ~9월 첫째주

Reference

• https://arxiv.org/pdf/1511.00363.pdf