우리 대학 인공지능학부 김장호 교수 연구팀 (안상호 석사과정, 김진우 석사, 현대자동차 로보틱스랩 공동연구진)이 지난 7월 22일부터 24일까지 브라질 리우데자네이루에서 열린 제41회 UAI (Uncertainty in Artificial Intelligence) 학회에서 비전 트랜스포머(ViT) 모델 경량화를 위한 새로운 프레임워크 SERo를 발표했다. (Sparse Structure Exploration and Re‑optimization", 하드웨어 친화적 구조 탐색 기반 ViT 압축 기법)

 

 

SERo는 Sparse Structure Exploration and Re‑optimization의 약자로, 비전 트랜스포머의 연산량과 메모리 비용을 줄이기 위해 단순히 파라미터를 0으로 만드는 방식이 아닌, 구조 자체를 제거하고 재최적화하는 새로운 모델 경량화 방식이다. 

 

SERo는 DeiT-Tiny, DeiT-Small, DeiT-Base 모델 등 다양한 비전 트랜스포머 아키텍처에 적용되었으며, DeiT-Base 기준 연산량을 약 69% 줄이고 추론 속도를 2.4배 향상시키는 동시에 정확도 저하는 1.55%에 불과한 뛰어난 결과를 보였다.

 

또한 SERo는 이미지 분류뿐 아니라 객체 탐지(DAMO-YOLO), 얼굴 인식(Faceptor), 얼굴 속성 분석(CelebA, LaPa 등) 등의 다양한 비전 태스크에도 적용되어 높은 압축 효율과 성능 유지를 동시에 입증했다.

 

UAI(Uncertainty in Artificial Intelligence) 학회는 인공지능 분야에서 불확실성 추론, 확률적 모델링, 베이지안 학습 이론 및 응용을 중심으로 다루는 세계적인 학술대회 중 하나로, 1985년부터 매년 개최되고 있다.  

 

본 연구는 국민대학교와 현대자동차 로보틱스랩의 공동연구 및 산학과제로 수행되었으며, 과학기술정보통신부의 AI 스타펠로우십 프로그램(IITP) 지원을 받았다.