컴퓨터 비전에서 이미지 분할(Segmentation) 모델의 성능을 평가할 때 가장 많이 마주치는 두 지표가 있습니다. 바로 Dice와 Jaccard Index(IoU)입니다. 결론부터 말하면, 두 지표 모두 예측 영역과 실제 정답 영역(Ground Truth)의 일치율을 측정하지만, Dice는 교집합 영역에 가중치를 2배로 주는 반면, Jaccard Index는 단순히 교집합을 합집합으로 나눈 값입니다. 따라서 같은 예측 결과라도 Dice 점수가 Jaccard Index보다 항상 같거나 높게 나오며, 둘 사이에는 수학적 변환 공식이 성립합니다.
Dice와 Jaccard Index, 언제 어떤 지표를 써야 할까
두 지표는 언뜻 비슷해 보이지만, 모델이 특정 영역을 얼마나 정확하게 찾아내는지를 평가하는 방식에서 뚜렷한 차이를 보입니다. Semantic Segmentation이나 Object Detection 태스크에서 "물체가 있는 위치"를 정확히 맞추는 일은 배경과 물체의 경계가 모호한 경우가 많아 매우 어렵습니다. 이런 상황에서 Dice는 모델이 정확히 맞춘 영역(True Positive)에 더 높은 점수를 부여하여, 어려운 예측을 성공했을 때 후한 점수를 줍니다.
반면 Jaccard Index는 예측 영역이 실제보다 과하게 크거나 작을 때 점수를 더 엄격하게 깎습니다. 실제 프로젝트에서 어떤 지표를 선택할지는 모델의 실패 유형에 따라 달라집니다. 예를 들어, 의료 영상에서 종양을 놓치는 것(False Negative)이 치명적인 경우에는 작은 병변을 놓쳤을 때 점수가 크게 하락하는 Jaccard Index가 더 유용할 수 있습니다. 반대로 연구나 논문 발표처럼 모델의 강점을 부각해야 하는 상황에서는 Dice가 더 자주 사용되는 경향이 있습니다.
| 비교 항목 | Dice | Jaccard Index |
|---|---|---|
| 수식 | 2×교집합 ÷ (A크기+B크기) | 교집합 ÷ 합집합 |
| 교집합 가중치 | 2배 반영 | 1배 반영 |
| 점수 경향 | 상대적으로 높음 | 상대적으로 낮음 |
| 민감도 | FP에 둔감 | FP·FN 모두 민감 |
두 지표의 수식과 계산 예시로 이해하는 차이점
Dice 계수는 1945년 Lee R. Dice가 제안했으며, 수식은 2|A ∩ B| / (|A| + |B|)로 표현됩니다. 여기서 A는 모델의 예측 영역, B는 실제 정답 영역입니다. 분모가 두 집합 크기의 합이므로, 교집합이 차지하는 비중이 커질수록 점수가 빠르게 상승하는 구조입니다.
Jaccard Index는 1901년 식물학자 Paul Jaccard가 제안한 개념으로, |A ∩ B| / |A ∪ B|로 계산합니다. 합집합을 분모로 사용하기 때문에 예측이 과하거나 부족할 때 그 불일치가 그대로 점수에 반영됩니다. 실제 숫자로 비교해 보면 차이가 더 명확해집니다. 정답 영역이 100픽셀인데 모델이 90픽셀을 맞추고 20픽셀을 과하게 예측한 경우, 교집합은 90, 합집합은 120이 됩니다. 이때 Jaccard는 90/120 = 0.75, Dice는 180/200 = 0.90으로 계산되어 동일한 예측 결과인데도 15%포인트나 차이가 납니다.
| 예측 상황 | 교집합 | 합집합 | Jaccard | Dice |
|---|---|---|---|---|
| 정답 100, 예측 90+20 | 90 | 120 | 0.75 | 0.90 |
| 정답 100, 예측 80+10 | 80 | 110 | 0.73 | 0.84 |
Dice와 Jaccard Index의 관계, 공식 하나로 변환 가능
두 지표는 서로 독립적으로 존재하는 개념이 아니라 수학적으로 완전한 변환이 가능한 관계입니다. Dice = 2 × Jaccard / (1 + Jaccard) 공식을 따르며, 반대로 Jaccard = Dice / (2 - Dice)로도 계산할 수 있습니다. 이 공식을 알고 있으면 논문이나 프로젝트 결과를 비교할 때 큰 도움이 됩니다.
예를 들어, 어떤 모델의 Dice 점수가 0.92인데 Jaccard 점수가 0.85로 보고된 경우를 살펴보겠습니다. 변환 공식에 따르면 Dice 0.92는 Jaccard 약 0.85에 해당하므로, 두 지표가 정상적인 관계를 유지하고 있음을 확인할 수 있습니다. 만약 Dice가 0.95인데 Jaccard가 0.70으로 보고된다면, 이는 변환 공식에서 크게 벗어난 값으로 모델이 특정 클래스에 과적합되었거나 데이터 분포가 심하게 불균형하다는 신호로 해석할 수 있습니다.
두 지표의 점수 차이가 유난히 크게 벌어지는 경우에는 모델의 예측이 특정 방향으로 편향되어 있는지 점검해 볼 필요가 있습니다. 실제로 Dice와 Jaccard를 함께 보고하도록 요구하는 학회도 많아지고 있는 추세이며, 두 지표를 모두 확인하면 모델의 과적합이나 과소적합 여부를 더 정확히 판단할 수 있습니다.
실제 프로젝트에서 지표 선택 시 고려할 점
의료 영상 분야에서 폐렴 진단 보조 프로젝트를 진행했다고 가정해 보겠습니다. 실제 폐렴 병변 영역이 100픽셀인데 모델이 90픽셀을 정확히 맞추고 20픽셀을 추가로 과검출한 경우, Jaccard는 0.75, Dice는 0.90으로 계산됩니다. 이때 임상의사가 "병변을 놓치지 않는 것"을 최우선 과제로 삼는다면, 작은 병변을 놓쳤을 때 점수가 더 크게 하락하는 Jaccard Index가 평가 지표로 더 적합합니다.
자율주행 스타트업에서 보행자 인식 모델을 평가할 때는 상황이 달랐습니다. Dice 점수가 0.95를 넘었지만 실제 도로 주행 테스트에서는 보행자를 자주 놓치는 문제가 발견되었습니다. 알고 보니 Dice는 교집합에 가중치를 두 배로 주기 때문에, 보행자의 일부 영역만 검출해도 점수가 후하게 나오는 구조였습니다. 이처럼 프로젝트의 성격에 따라 지표를 다르게 선택해야 하며, 한 가지 지표만 맹신하기보다는 두 지표를 함께 확인하는 습관이 필요합니다.
Q. Dice와 IoU는 완전히 같은 의미인가요?
아닙니다. IoU는 Jaccard Index와 동일한 개념이지만, Dice는 교집합에 가중치를 2배로 주는 별개의 지표입니다. Dice가 항상 IoU보다 같거나 높은 값을 가지며, 둘 사이에는 수학적 변환 공식이 성립합니다.
Q. Segmentation 모델 성능 보고 시 어떤 지표를 사용하는 것이 좋을까요?
연구 논문에서는 Dice를 주 지표로 사용하는 경우가 약 70% 이상이지만, 최근에는 Jaccard를 함께 보고하도록 요구하는 학회가 늘고 있습니다. 프로덕션 환경에서는 모델이 놓치는 영역이 중요한지, 과검출이 더 문제인지에 따라 선택이 달라져야 합니다.
Q. Dice와 Jaccard 중 어떤 지표가 더 엄격한가요?
Jaccard Index가 더 엄격합니다. 같은 예측 결과에 대해 Jaccard는 합집합을 분모로 사용하므로 점수가 더 낮게 나오며, False Positive와 False Negative 모두에 민감하게 반응합니다.