ci: MLflow(DagsHub) 벤치마크 자동화 + 3단계 CI 파이프라인 구축

[dnjsgkfka]

Summary

벤치마크 자동화 파이프라인

• MLflow 실험 트래킹 추가 (measure_recall.py)
  • --mlflow 플래그로 params(bbox/sim threshold, embed model 등)와 metrics(macro EM/Recall, minN, QA 유형별 지표)를 로깅
  • 원격 트래킹 서버(DagsHub)를 팀 공용으로 사용
• GitHub Actions CI 워크플로 추가 (.github/workflows/benchmark.yml)
  • 벤치마크용 PDF 90개 + QA 94개를 DagsHub Storage(private 버킷)에서 받아와 실행
  • CPU 전용 러너라 매번 전체를 돌리면 너무 오래 걸려서(20개 기준 1시간+) 3단계로 분리:
    • main이 아닌 브랜치 push → smoke(5개) — 코드가 안 깨졌는지만 빠르게 확인
    • main push → dev-only(20개) — 회귀 체크
    • workflow_dispatch(full: true) → 전체 90개 — 수동 트리거 전용
  • 벤치마크 결과를 GitHub Actions 탭 Step Summary에서 표로 확인 가능

Test plan

• 로컬에서 --mlflow 플래그로 dev-only 실행, MLflow(DagsHub)에 run 기록되는지 확인
• GitHub Actions에서 DagsHub Storage 데이터 다운로드 → 벤치마크 실행 → MLflow 로깅 end-to-end 성공 확인 (dev-only, 1h9m 소요)
• .github/workflows/benchmark.yml YAML 문법 검증
• benchmarks/measure_recall.py, scripts/summarize_results.py 컴파일/단독 실행 확인
• main 머지 후 smoke(5개) 트리거 확인
• main push 시 dev-only 자동 실행 + Actions Step Summary 렌더링 확인

[dagshub]

Join the discussion on DagsHub!