Skip to content

README.md

Latest commit

 

History

History
64 lines (50 loc) · 1.99 KB

README.md

File metadata and controls

64 lines (50 loc) · 1.99 KB

Postprocessing

LeRobot 데이터셋 변환 후 통계 생성 및 후처리 도구들입니다.

generate_stats.py

LeRobot 데이터셋의 통계 정보(episodes_stats.jsonl)를 생성합니다.

사용법:

python postprocessing/generate_stats.py \
    --repo-id dkim/ffw_sg2_rev1_offline_200 \
    --root /workspace/lerobot_251129_260108_all/dkim_ffw_sg2_rev1_offline_200 \
    --num-workers 8

주요 기능:

  • 각 에피소드별 min, max, mean, std 통계 계산
  • 이미지/비디오 데이터는 샘플링하여 통계 계산 (메모리 효율성)
  • 병렬 처리 지원 (--num-workers 옵션)

통계 항목:

  • 이미지/비디오: 각 채널별 픽셀 값 통계 (min, max, mean, std)
  • 상태/액션: 각 차원별 통계 값

사용 시점:

  • 데이터셋 변환 직후
  • 비디오 리사이즈 후 (통계 재계산 필요)

출력:

  • meta/episodes_stats.jsonl: 각 에피소드별 통계 정보

GR00T 데이터셋 준비 워크플로우

GR00T 학습을 위한 전체 워크플로우:

  1. 통계 생성

    python postprocessing/generate_stats.py \
    --root /workspace/lerobot_251129_260108_all/dkim_ffw_sg2_rev1_offline_200 \
    --repo-id dkim/ffw_sg2_rev1_offline_200 \
    --num-workers 8

  2. modality.json 복사

    cp /path/to/reference/modality.json /path/to/dataset/meta/modality.json

  3. 비디오 리사이즈 (Isaac-GR00T 스크립트 사용)

    python scripts/resize_dataset_videos.py \
    --input-path /workspace/lerobot_251129_260108_all_gr00t/dkim_ffw_sg2_rev1_offline_200/ \
    --output-path /workspace/lerobot_251129_260108_all_gr00t/dkim_ffw_sg2_rev1_offline_200_672376 \
    --target-height 376 \
    --target-width 672

  4. 통계 재생성 (리사이즈 후)

    python postprocessing/generate_stats.py \
    --repo-id dkim/ffw_sg2_rev1_offline_200 \
    --root /workspace/lerobot_251129_260108_all_gr00t/dkim_ffw_sg2_rev1_offline_200_672376