[Metric] Facial Landmark Localization 평가지표에 대하여
일반적인 Detection에 쓰이는 Metrics는 이미 너무 잘 정리되어 있는 것에 비해
Landmark Localization 에 사용되는 Metric들에 대해서는 정리가 잘 안되있는 것 같아
Facial Landmark Localization에 보편적으로 사용되는 Metric을 간단하게나마 정리하고자 한다.
1. NME (Normalized mean error)
Facial Landmark Localization 에 쓰이는 가장 기초적은 Metric이다.
하단에 서술할 CED(Cumulative Error Distribution)도 AUC도 이를 기반으로 만들어진 metric으로
공식은 다음과 같다
Landmark Localization에 이를 적용하는 방법으로는
예측한 Landmark좌표 pred_land와 Ground Truth Landmark 좌표 true_land 사이의 차이(error)의 L2 norm을
normalize factor d로 normalize한 뒤 검출하고자 하는 Landmark 개수 N개로 평균을 내주면 된다.
normalize factor d로는 주로 GT land mark 기준으로 하는 inter ocular 혹은 inter pupil distance 를 사용하고
Bounding box Detection을 동시에 하는 모델의 경우 bounding box 의 height와 width를 곱한값에 root를 취해준 값을 사용한다.
결과적으로 랜드마크 좌표 사이의 error를 normalize factor d로 나눠주고 mean값을 구함으로써 영상 상에 있는 얼굴의 크기에 상관없이 normalized된 error를 얻을 수 있는 metric이다.
2. Failure Rate
landmark localization에 fail한 경우를 표현하기 위한 수치다.
보통 NME를 threshold로 사용하여 이상이면 Fail로 분류하여 전체 데이터중에 Failure Rate를 구한다.
2. CED (Cumulative Error Distribution) in Landmark Localization
Cumulate curve는 NME threshold를 x축으로 하고
x축을 기준으로 evaluation 하는 전체 face dataset 중에 몇퍼센트가 threshold 이하의 정상적인 landmark localization을 했는지에 대한 비율을 y축으로 한 그래프다.
3. AUC (Area-Under-the-Curve)
CED curve 밑의 면적을 나타낸 수치이다.
NME를 x축으로 하는 CED curve가 있을 때 0부터 특정 NME값 까지의 면적 즉 적분 값이 AUC가 된다.
NME의 특성상 전체 데이터셋에 대한 NME를 구해서 그냥 보는 경우 결과가 outlier에 영향을 많이 받을 수 있는데
이를 해결(?)하기 위해 참고용으로 같이 제시해주면 좋다 .
