노타는 인공지능(AI) 모델을 하드웨어에 넣을 수 있도록 돕는 회사다. 새로운 AI 모델은 계속 나오는데, 구형 반도체는 이를 감당할 만한 성능을 갖추지 못한 경우가 많다. 그러면 AI 모델 크기를 줄여야 한다. 노타가 개발한 소프트웨어 변환 키트(SDK) ‘넷츠프레소’는 원하는 AI 모델과 디바이스를 선택하면 알아서 AI 모델을 최적화한다.

채명수 노타 대표(사진)는 21일 “AI 성능은 최대한 유지하면서 전력과 메모리 사용량을 대폭 줄이는 기술이 핵심”이라고 설명했다. 사용 목적과 디바이스에 따라 다르지만 노타의 최적화는 보통 AI 모델 크기를 15% 줄이고 전력 소모량은 60%까지 떨어뜨린다. AI 모델 중 필요 없는 부분을 압축하고 잘라낸다. 상대적으로 오래된 칩에도 최신 AI 모델을 앉힐 수 있다. 노타는 삼성, LG, 네이버, 카카오그룹이 모두 투자한 국내 첫 기업이다.

넷츠프레소의 주요 고객은 엔비디아와 암(ARM), 르네사스, 삼성전자, 퀄컴 같은 반도체 회사다. 채 대표는 “AI 모델이 좋다고 모든 디바이스에서 잘 굴러가진 않는다”며 “칩마다 지원하는 연산이 다르기 때문”이라고 했다. 보통 AI 칩은 설계부터 양산까지 1~2년은 걸린다. 이 사이에 새로운 AI 모델이 쏟아진다. 하지만 이미 설계가 끝난 칩을 바꾸긴 쉽지 않다. 그는 “칩을 못 바꾼다면 그 칩에 맞게 소프트웨어(AI 모델)를 최적화해야 한다”며 “칩에서 지원하는 연산자(오퍼레이터)로 치환해주는 것”이라고 했다.

노타는 2015년 설립된 11년 차 스타트업이다. 채 대표가 처음 사업을 시작할 때는 ‘알파고 쇼크’가 오기 전이었다. 그는 최근 AI에 대한 세상의 관심이 달라진 것을 체감한다고 했다. AI 모델 최적화 시장은 AI 기술이 처음 등장했을 때보다 AI를 적극적으로 활용하려고 하는 기업이 많으면 커진다. 채 대표는 “AI를 적용하고는 싶은데 비용이 비싸거나 디바이스에서 잘 돌아가지 않는 문제가 발생할 때 경량화 수요가 생긴다”고 말했다. 반도체 기업들의 러브콜을 받으면서 지난해 매출은 전년보다 2배 넘게 뛰었다.

채 대표는 AI 최적화 분야에 ‘골든 룰’은 없다고 했다. 다양한 칩을 다뤄본 경험이 가장 중요한 이유다. 그는 “다양한 AI 모델을 30여 개 칩에 올려보면서 노하우를 쌓았고 플랫폼에 적용했다”고 강조했다. 최근엔 반도체 회사들과 칩 설계부터 협업하고 있다. 그는 “설계가 잘못되면 몇천억원을 들여 만든 칩을 못 쓰게 되기도 한다”며 “반도체 기업들도 새로운 AI 모델에 관한 지식이 필요한 이유”라고 했다.

최 대표는 앞으로 여러 모델이 묶인 AI 시스템을 효율적으로 굴리는 방법이 중요해질 것이라고 전망했다. 두 개 이상의 AI 모델이 적용된 AI 시스템에서 효율화 수요가 더욱 커질 것이란 얘기다.

고은이 기자 [email protected]