한밭대학교 SW중심대학 산학연계프로젝트 - 쓰레기 불법 투기 감지를 위한 영상처리 알고리즘 연구

팀 구성

지도교수

• 최해철 교수님

기업체

• 정순화 대표

참여학생

• 20191868 김용헌
• 20191880 윤종훈
• 20211942 노승민
• 20221085 김기홍
• 20221123 하현경

Project Background

• 필요성

  • 무단 쓰레기 투기는 도시 미관을 해치는 문제를 넘어서 공공위생과 환경에 직접적인 영향을 미침
  • 이로 인해 발생하는 청소와 관리 비용은 지자체에 큰 재정적 부담을 주고, 효율적인 감시 방법이 필요

• 기존 해결책의 문제점

  • 기존의 인력 기반 감시 방식은 시간과 공간에 제약이 있어 감시의 사각지대 발생 가능성 존재
  • 특히 무단 투기가 빈번히 일어나는 지역에서는 실시간 감시와 대응이 어려워지며, 사람의 피로와 집중력 저하로 인해 투기 행위를 놓치거나 잘못 판단할 위험이 있음

System Design

• System Features

  • MMAction2의 I3D 신경망을 활용하여 입력 동영상에서 투기 행동을 정확하게 인식
  • MMaction2에서 지원하는 Kinetics-400으로 사전학습된 I3D(Inflated 3D ConvNet) 신경망을 미세 조정(Fine Tuning) 학습을 진행하여 성능 개선
  • AI-HUB에서 제공하는 이상행동 CCTV 영상의 투기(dump) 데이터 셋을 사용하여 미세 조정 학습 진행

Case Study

• Description

• 학습 데이터 셋 구성

  • AI-HUB에서 제공하는 이상행동 CCTV 영상 데이터 셋을 기반으로 무단 투기 행위를 탐지할 수 있도록 데이터셋을 재구성 진행
  • 데이터셋 변환: AI-HUB의 주석 파일을 I3D 모델 형식에 맞게 변환하고, 투기 클래스 정보를 반영하여 텍스트 형식으로 변경
  • 부적합 영상 선별: 투기와 관련성이 낮거나 불필요한 영상(반려동물 유기, 액상 쓰레기 처리 등)을 제외하고, 학습 데이터의 질을 개선'
  • 행동 구간 추출: 전체 영상에서 무단 투기 행위가 발생하는 구간만을 식별하여 불필요한 장면을 제거하고, 데이터셋 크기를 줄여 효율적인 모델 학습을 지원
  • 결과적으로, 훈련 데이터 393개, 검증 데이터 100개, 테스트 데이터 102개로 구성된 최종 데이터셋을 구축

• 행위 인식 신경망 학습 : I3D 신경망

  • 이 프로젝트에서는 무단 투기 인식을 위해 I3D(Inflated 3D ConvNet) 모델을 사용하여 학습을 진행함
  • 기존에 Kinetics-400 데이터셋에서 사전 학습된 I3D 신경망을 활용하여, 'dump' 클래스를 추가하고 무단 투기 인식에 최적화되도록 학습을 진행
  • 학습 하이퍼파라미터
    • 학습률: 1.0e-5
    • 최적화 방법: SGD
    • 손실 함수: 교차 엔트로피
    • 배치 크기: 4
    • 학습 에포크: 40
  • 학습 환경 : 다중 GPU 환경에서 학습, 손실 수렴 여부로 모델 안정성 확인

• 무단 투기 인식 모델 학습 결과

  

  • I3D 모델의 학습 과정의 시각화 그래프
  • 상단의 정확도 그래프는 학습 초반에는 정확도가 낮다가 약 100번의 Iteration 후 1.0에 수렴하는 모습을 보임
    • 이는 모델이 빠르게 데이터를 학습하고 높은 정확도를 달성했음을 의미
  • 하단의 손실 그래프는 초기 손실 값이 약 6.0에서 시작해, 약 500번 이후 거의 0에 수렴
    • 이는 모델이 점차 데이터를 잘 학습하고 오류를 줄여가고 있음을 나타냄
  • 두 그래프는 모델이 무단 투기 행동을 효과적으로 학습했음을 확인시켜주며, 데이터셋과 모델 구조가 최적화되어 높은 성능을 보일 가능성을 시사함

투기행위 신뢰도 : 0.78 (야간)	투기행위 신뢰도 : 0.98 (주간)
투기행위 신뢰도 : 0.91 (주간)	투기행위 신뢰도 : 0.92 (주간)

• 각 사례는 I3D 모델이 다양한 환경(주간, 야간, 계절 변화)과 장소에서 무단 투기 행위를 높은 신뢰도로 인식할 수 있음을 나타냄
• 특히, 야간과 같이 조도가 낮은 환경에서도 모델이 효과적으로 투기 행위를 탐지하는 성능을 보임으로써, 다양한 실사용 환경에서의 활용 가능성을 입증함

Conclusion

• 주요 성과

  • 무단 투기 인식 모델 최적화
    • I3D(Inflated 3D ConvNet) 모델을 사용하여 무단 투기 행위를 효과적으로 인식할 수 있는 모델을 개발함
    • 기존에 비디오 행동 인식에 사용된 모델을 'dump' 클래스를 포함하도록 재학습(Finetuning)하여, 무단 투기 인식에 특화된 성능을 달성함
  • 데이터셋의 질 향상 및 최적화
    • AI-HUB의 "이상행동 CCTV 영상" 데이터셋을 재구성하여, 무단 투기 관련 영상만을 추출하고, 불필요한 데이터를 제거하여 학습 데이터의 질을 개선함
    • 행동 발생 구간만을 추출하여, 모델이 필요한 행동 패턴만 학습할 수 있도록 데이터셋을 최적화함
  • 학습 성과 및 모델 성능
    • I3D 모델의 학습 과정을 통해, 정확도가 1.0에 수렴하고 손실 값이 0에 가까워지며, 모델의 안정적이고 효과적인 학습을 확인함
    • 학습 초기에는 정확도와 손실 값이 개선되며, 무단 투기 인식 성능이 크게 향상되었음을 입증함
  • 효율적인 학습 환경 구축
    • 다중 GPU 환경을 활용하여 학습 속도를 최적화하고, 하이퍼파라미터 튜닝을 통해 모델 학습의 효율성을 높임
    • 안정적인 손실 수렴을 통해 모델의 학습 과정이 적절히 최적화되었음을 입증함

• 기대 효과

  • 공공장소 관리 효율성 향상
    • 무단 투기 발생 빈도가 높은 지역에서 자동화된 탐지 시스템을 통해 감시 인력의 부담을 줄이고, 즉각적인 대응이 가능해질 것으로 기대됨
  • 운영 비용 절감
    • 기존 CCTV 인프라를 활용함으로써 설치 및 운영 비용을 절감할 수 있으며, 감시 사각지대를 줄여 추가 감시 자원의 투입을 최소화할 수 있음
  • 기술 확장성
    • 무단 투기 외에도 다양한 불법 행위 탐지와 행동 분석 시스템으로 확장 가능

Project Outcome

• Git Hub 공개
• 인턴쉽 이수 2건