이미지·음성·텍스트 함께 학습하면 왜 더 똑똑할까…UNIST가 밝혔다

(왼쪽부터) 윤성환 교수, 이재준 연구원. (사진=UNIST)

 

UNIST 연구진이 이미지·음성·텍스트를 함께 학습하는 멀티모달 AI가 단일 데이터만 학습한 AI보다 더 우수한 이유를 수학적으로 규명했다. 연구팀은 다양한 형태의 데이터를 동시에 학습할 경우 AI의 '손실 지형(Loss Landscape)'이 더욱 평탄해져 새로운 환경에서도 안정적인 성능을 유지할 수 있다는 사실을 확인했다.

연구진은 서로 다른 데이터가 오차 변동을 완화하는 '합성곱 스무딩 효과'를 만든다는 점을 밝혔으며, 이를 기반으로 데이터를 무작위 재조합해 학습하는 '분포 기반 멀티모달 학습(DML)' 기법도 제안했다. 실험 결과 DML은 기존 멀티모달 학습 방식보다 더 높은 분류 정확도와 검색 성능을 기록했다.

더보기 IT Times: https://www.ittimes.com/news/articleView.html?idxno=85590

UNIST, 멀티모달 AI 성능 우수성 수학적으로 입증 - IT타임스