- Today
- Total
디지털 전환과 앰비언트
On-Device AI 트렌드 특강 본문
지난 5월 14일 판교의 코트야드 호텔에서 진행된 WT Korea의 AI MCU 관련 행사 소식이 기사화 되었습니다. 제가 온디바이스 AI 트렌드에 대해 발표를 했는데요, 기사의 도입부 및 아래 내용을 통해서 소개되었습니다. 전체 내용은 맨 아래의 기사 링크를 참고하시기 바랍니다.
온디바이스 AI...어떤 미래를 연출하나
이어 김학용 와츠매터 대표가 ‘온디바이스 AI 트렌드’에 대해 발표했다. 김 대표는 먼저 “현재 국내에서 대중적으로 활용되고 있는 AI 처리 방식 중 클라우드는 데이터 이동이 잦아 보안에도 취약하며, 통신이 불안정하면 활용하지 못하는 단점이 있다”며 “온디바이스 AI는 이 관점에서 각광받는 중”이라고 말했다.
김학용 대표에 따르면 과거에도 온디바이스 AI가 존재했지만, 지금의 온디바이스 AI와의 차이점은 생성형 AI 기술의 도입 유무다. 현재 온디바이스 AI는 사생활 보호, 실시간 추론, 독립적 연결, AI 모델 경량화, 저전력 등 강점을 내재하고 있다는 평가다.
이는 곧 서비스 생태계가 크게 변화할 것이라는 예상이 가능하다. 김 대표는 비전 AI, 모바일 기기, 모빌리티, 로봇 등 분야가 온디바이스 AI에 수혜를 입을 영역이라고 내다봤다. 특히 모빌리티 영역에서 뜨거운 감자인 ‘소프트웨어 정의 자동차(Software-Defined Vehicle, SDV)’ 기술이 대표적이다.
이러한 온디바이스 AI를 가능하게 하는 필수 기술은 어떤 것이 있을까? 김학용 대표는 CPU, GPU, NPU(신경망처리장치) 등 프로세서를 강조했다. NPU는 저전력으로 AI 추론을 가속화하기 위해 설계된 칩셋으로, AI 모델 및 알고리즘·AI 사례 개발에서 활약한다.
NPU에서 AI 엔진을 구동하기 위해서는 소규모언어모델(sLLM)·통계적언어모델(SLM) 등 경량화된 언어 모델이 필요하다. 최근 CPU·GPU·NPU가 결합된 AI SoC(System on a Chip)이 등장해 새바람을 예고했다.
[헬로티 HelloT] ‘AI 대중화의 관건’ 온디바이스 AI, AI MCU로 풀다...WT의 로드맵은?
WT Korea ‘AI at the Real Edge’ 세미나 개최...온디바이스 AI, AI MCU 등 에지 생태계 총망라 “효율성 제고를 위해 온디바이스 AI 트렌드에 따라야” 과거부터 인류의 미래를 점칠 때 빼놓을 수 없는 기
www.hellot.net
