On-device AI의 미래 전망은 어떻게 예상되나요?

온디바이스 AI는 하드웨어 경쟁력 강화, 클라우드 AI와의 연계, AI 반도체 기술 개발을 중심으로 발전할 것으로 예상되며, 우리 일상을 더욱 편리하고 안전하게 만들어 줄 것으로 기대됩니다.

    1. 개인 맞춤형 서비스의 발전
온디바이스 AI는 사용자의 선호도를 실시간으로 학습하고 적용하여 극도로 개인화된 서비스를 제공할 것으로 예상됩니다. AI가 개인에게 꼭 맞는 서비스를 제공하기 위해 각 사용자의 데이터를 더욱 활용하게 되면서 초개인화 서비스가 구현될 것입니다. 이는 사용자 경험을 향상시키고 만족도를 높이며, 반복 작업을 자동화하고, 맞춤형 작업 흐름을 추천하며, 사용자의 작업 습관이나 선호에 따라 알맞은 시간에 알림 및 작업을 제공하는 형태로 나타날 수 있습니다. 스마트폰에서 온디바이스 AI는 사용자의 행동 패턴을 학습하여 개인 맞춤형 서비스를 제공하며, 웨어러블, 스마트 TV, 스마트 홈 기기 등에서 사진, 비디오 처리, 건강 모니터링, 맞춤형 콘텐츠 추천 등으로 사용자 경험을 향상시킬 것입니다.

    2. AI 에이전트의 발전과 역할 증대
AI 에이전트는 사용자의 질문을 분석하고 필요한 정보를 도출하여 보여주는 기능을 제공하며, 이는 스마트폰의 다양한 앱과 연동되어 사용자가 필요할 때마다 사용법을 익히지 않아도 AI 에이전트가 필요한 기능을 대신 수행해 줄 수 있게 합니다. 오픈AI의 CEO 샘 올트먼은 AI 에이전트가 AI 기술 발전의 다음 단계이며, 사람들의 삶을 근본적으로 변화시킬 것이라고 강조했습니다. AI 에이전트는 정보 제공과 간단한 작업 수행을 넘어, 복잡한 문제를 해결하고 장기적인 목표를 달성하는 데 도움을 줄 수 있는 지능형 비서로 발전할 것입니다. 사용자별 맞춤 온디바이스 AI 에이전트가 등장하여, 사용자의 행동과 관련한 정보를 지속적으로 참고하여 개인 어드바이저로서 발전해 나갈 것으로 예상됩니다.

    3. 하드웨어 발전의 중요성
온디바이스 AI의 성능을 향상시키기 위해 NPU(Neural Processing Unit), GPU, HBM(High Bandwidth Memory), PIM(Processor in Memory) 등 맞춤형 기술들이 발전할 것입니다. 온디바이스에서 생성형 AI를 실행하려면 더 많은 컴퓨팅 파워가 필요하며, 이는 메모리, CPU, GPU 성능 향상뿐만 아니라 특수한 실행 조건을 충족해야 합니다. 따라서 계산 속도가 훨씬 더 빠르면서 전력 소모가 적은 더 강력한 NPU 기능과 연결된 더 빠른 램(RAM)이 요구될 것입니다.

    4. 모델 경량화 및 하이브리드화
온디바이스 AI의 성공을 위해 AI 모델의 크기를 줄이는 경량화가 필수적이며, 스마트폰에 탑재하려면 모델 파라미터의 크기를 40억 개 이하로 줄여야 합니다.  온디바이스 AI가 하드웨어 제약을 극복하기 어렵고, 스마트폰에서 생성형 AI를 완전히 구동하는 것도 역부족이기 때문에, 스마트폰 온디바이스 AI로 처리 불가능한 기능을 클라우드 AI에 맡기는 하이브리드 방식도 모색되고 있습니다. 애플은 온디바이스 AI와 클라우드 AI의 결합을 목표로 하는 '애플 인텔리전스(Apple Intelligence)'를 대표적인 사례로 제시하고 있습니다.

    5. 온디바이스 AI 시장의 성장 전망
시장 조사 기관인 IDC는 온디바이스 AI 시장이 2027년까지 1,500억 달러 규모로 성장할 것이라고 전망했으며, 또 다른 시장조사업체 마켓앤마켓에 따르면 전 세계 온디바이스 AI 시장규모는 2023년 185억달러에서 연평균 37.7% 성장해 2030년엔 1739억달러 수준에 이를 것으로 예상됩니다. 2025년에는 AI가 프리미엄 기기의 고급 기능에서 모든 모바일 티어의 핵심 기능으로 진화할 것이며, 삼성증권은 향후 3년간 스마트폰 3억900만대, PC 1억8000만대가 온디바이스AI 기기로 공급될 것으로 예상하고 있습니다.

    6. 보안 및 개인 정보 보호 강화
온디바이스 AI는 기기 내에서 데이터를 직접 처리하여 개인 정보 보호를 강화하며, 데이터가 다른 네트워크로 전송되지 않기 때문에 사이버 공격에 취약한 지점을 줄입니다. 따라서 사용자는 자신의 데이터가 어떻게 처리되고 저장되는지에 대해 더 큰 통제력을 가질 수 있으며, 이는 사용자의 프라이버시에 대한 신뢰를 증진시킵니다. 고객이 빠른, 그리고 보안과 프라이버시 보호가 확실한 AI를 원하면, 온디바이스 AI로 구현하는 것이 하나의 옵션이 될 수 있습니다.

    7. 온디바이스 AI 관련 기술 개발 동향
온디바이스 AI 시장 선점을 위해 정책 마련이 가속화되고 있으며, AI 연산에 특화된 NPU와 같은 전용 하드웨어 도입도 확대되고 있습니다. 삼성전자와 SK하이닉스는 온디바이스 AI용 HBM 개발 경쟁을 하고 있으며, 2026년에 온디바이스 AI용 HBM을 출시할 것으로 전망됩니다. 온디바이스 AI는 주로 추론에 초점을 맞추고 있으며, 필요할 때만 추론을 활용하면서 전력 소모를 최소화할 수 있는 새로운 아키텍처가 필요합니다.

    8. AI 에이전트 시장의 경쟁 심화
AI 에이전트 시장은 급속히 변화하고 있으며, 주요 기술 기업들이 이 시장을 선점하기 위해 치열하게 경쟁하고 있습니다. 마이크로소프트, 메타, 구글, 애플, 아마존 등이 AI 에이전트 시장에서 경쟁하고 있으며, 이 경쟁에서 가장 중요한 차별화 요소는 고객 컨텍스트 데이터의 풍부함입니다. 스마트폰 운영체제를 보유한 구글과 애플은 사용자들의 방대한 데이터를 수집하고 있어, AI 에이전트를 보다 정교하게 발전시킬 수 있는 유리한 위치에 있습니다.

    9. 온디바이스 AI의 한계 및 극복 방안
온디바이스 AI는 하드웨어 문제로 인해 개인용 기기의 성능이 제한적이라는 한계가 있습니다. 예를 들어, GPT-3와 같이 많은 매개변수를 가진 모델은 모바일 기기에서 구현하기 어려울 수 있습니다. 이러한 문제를 해결하기 위해서는 매개변수를 줄이면서도 성능 저하를 최소화한 AI 모델의 개발이 필요하며, 온디바이스 AI와 클라우드 AI의 하이브리드 모델이 대안으로 제시되고 있습니다.


출처: 
[1] 온디바이스 AI 시대, '스몰데이터' 활용 역량 키워야 | 경영전략 | DBR, https://dbr.donga.com/article/view/1203/article_no/9635
[2] [All Around AI 5편] 스마트폰과 온디바이스(on-device) AI의 미래, https://news.skhynix.co.kr/post/all-around-ai-5
[3] 온디바이스 AI, 기존 AI와 무엇이 다를까? - 해솔데이타, https://www.haesoldata.co.kr/ahnlab20241202/
[4] [이슈리포트 2024-06호] 온디바이스 AI 기술동향 및 발전방향, https://www.gokea.org/core/?cid=53&uid=50549&page=&role=view&cate1=%EC%82%B0%EC%97%85%EC%9D%BC%EB%B0%98
[5] 디바이스에 들어온 AI, 빅테크 기업이 온디바이스 AI를 활용하는 방법, https://www.lgcns.com/blog/it-trend/51820/
[6] [PDF] '제3의 IT혁명 디바이스 시대'가 온다 - PwC, https://www.pwc.com/kr/ko/insights/industry-focus/samilpwc_on-device-ai.pdf
[7] 온디바이스 AI 기술 발전과 확산에 따른 대처 방안 - 테크월드뉴스, https://www.epnc.co.kr/news/articleView.html?idxno=308240
[8] AI 온 디바이스의 미래 성장전략 : 네이버 블로그, https://blog.naver.com/atlasstock/223308158489?viewType=pc
[9] AI 개발자가 보는 '2025 AI 전망' 4가지, https://aiheroes.ai/community/239
[10] [PDF] 인공지능의 새로운 패러다임 온디바이스 AI 기술 동향 - IRS글로벌, https://www.irsglobal.com/img_up/shop_pds/irsglobal1/design/pdf/817.pdf
[11] 온디바이스 AI(On-Device AI) 산업현황 보고서 > 저작권 산업기술 동향 ..., https://www.copyright.or.kr/information-materials/trend/tmis/view.do?brdctsno=53345
[12] [PDF] 온디바이스 AI 하드웨어 및 소프트웨어 기술개발 동향 - :::::: AEL ::::::, http://ael.cbnu.ac.kr/lectures/graduate/ICT%EC%9C%B5%ED%95%A9%ED%8A%B9%EB%A1%A0/15/15-%EC%9D%B4%EC%84%9D%EC%A4%80.pdf
[13] '제3의 IT혁명 디바이스 시대'가 온다 : 삼일회계법인 - PwC, https://www.pwc.com/kr/ko/insights/industry-focus/on-device-ai.html
[14] [기술 산업 동향] 온디바이스 AI(On-Device AI) 산업 현황 보고서, https://blog.naver.com/kcc_press/223589150482?viewType=pc
[15] [PDF] 생성형 AI에게 펼쳐진 새로운 무대, 온디바이스 AI - KPMG International, https://assets.kpmg.com/content/dam/kpmg/kr/pdf/2024/issue-monitor/kpmg-korea-on-device-ai-20240620.pdf
[16] [DBR] 기업들의 온디바이스 AI 추진 동향 - 동아비즈니스리뷰, https://dbr.donga.com/graphic/view/gdbr_no/7821
[17] AI 산업의 핵심기술로 부상한 '온디바이스 AI', https://kidd.co.kr/news/235443
[18] 온디바이스 AI 기술동향 및 발전방향 [이슈리포트 2024-06호], https://www.gwnu.ac.kr/bbs/iacg/1219/265752/artclView.do
[19] 온디바이스 AI 특징 및 시장 전망 - 네이버블로그, https://blog.naver.com/drryuhk/223623006089?fromRss=true&trackingCode=rss
[20] “온디바이스 AI 시장, 급속도 성장 전망”...AI 반도체 주목 - 파이낸셜뉴스, https://www.fnnews.com/news/202409040848329830
[21] “TOPS의 시대” 2025년 온디바이스 AI 성장 전망 - ITWorld, https://www.itworld.co.kr/article/3624029/tops%EC%9D%98-%EC%8B%9C%EB%8C%80-2025%EB%85%84-%EC%98%A8%EB%94%94%EB%B0%94%EC%9D%B4%EC%8A%A4-ai%EC%9D%98-%EC%84%B1%EC%9E%A5-%EC%A0%84%EB%A7%9D.html
[22] 온디바이스 AI 반도체 시장 전망 - QYResearch Korea, https://qyresearch.co.kr/post-two/global-ai-on-edge-semiconductor-market-report-2024/
[23] [PDF] 4 온디바이스 AI, 스마트폰 ・PC 시장 주류로 등장하며 확산일로, https://www.kistep.re.kr/gpsBoardDownload.es?board_se=trend&list_no=3398&seq=1
[24] 이제는 개인 비서 시대?! 온디바이스 Ai가 만들어갈 미래 알아보기!, https://m.post.naver.com/viewer/postView.naver?volumeNo=37488078&memberNo=43457791
[25] 온디바이스 AI: 2024년의 기술 혁신 - 디플러스, https://www.dplus.kr/on-device-ai/
[26] 온디바이스 AI, 스마트폰의 미래를 건 구글과 애플의 2차 전쟁, https://beyondx.ai/on-device-ai/
[27] 당신의 손안에 펼쳐진 AI 혁명, 온디바이스 AI - 브런치스토리, https://brunch.co.kr/@@gJBw/10
[28] [IT 트렌드 인사이트] 디바이스 산업의 전환점 '온디바이스 AI' - 데이터넷, https://www.datanet.co.kr/news/articleView.html?idxno=197676
[29] [PDF] 생성형 AI 열풍으로 성큼 다가온 온디바이스 AI - LG경영연구원, https://www.lgbr.co.kr/uploadFiles/ko/pdf/busi/LGBR_Report_240408_20242808162819203.pdf
[30] AI 에이전트: 생성형 AI의 미래와 우리 삶의 변화 - 비욘드엑스, https://beyondx.ai/saengseonghyeong-aiyi-kilreoaebeuro-busanghaneun-ai-eijeonteu/
[31] 이제는 개인 비서 시대?! 온디바이스 Ai가 만들어갈 미래 알아보기!, https://blog.sknetworks.co.kr/21199
[32] 일상을 혁신하는 지능형 기술, 온디바이스 AI l 애플, 구글, 퀄컴, 삼성 ..., https://www.2e.co.kr/news/articleView.html?idxno=303241
[33] '온디바이스 AI는 미래먹거리' 빅테크 움직인다 - 중기이코노미, https://www.junggi.co.kr/article/articleView.html?no=32413
[34] 온디바이스 AI가 바꿀 2025년 소비자 테크 트렌드 7가지 : 네이버 블로그, https://blog.naver.com/qualcommkr/223724397726?fromRss=true&trackingCode=rss
[35] 일상을 바꿀 내 손 안의 AI, 온디바이스 AI - 제일기획 매거진, https://magazine.cheil.com/54980
[36] 온디바이스 AI로 나만의 개인 맞춤화 경험을 누리다 - 포스트 - NAVER, https://m.post.naver.com/viewer/postView.naver?volumeNo=36984383&memberNo=20717909
[37] [삼성전자 AI 리더십] ③ 사용자 경험을 최우선으로 하는 AI 전략, https://news.samsung.com/kr/%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90-ai-%EB%A6%AC%EB%8D%94%EC%8B%AD-%E2%91%A2-%EC%82%AC%EC%9A%A9%EC%9E%90-%EA%B2%BD%ED%97%98%EC%9D%84-%EC%B5%9C%EC%9A%B0%EC%84%A0%EC%9C%BC%EB%A1%9C-%ED%95%98%EB%8A%94
[38] 온디바이스AI, 무엇이 다를까요? - DevOcean - SK, https://devocean.sk.com/blog/techBoardDetail.do?ID=166712&utm_source=oneoneone
[39] [STAR:T UP] '초소형 온디바이스 AI'로 일상을 바꾸다 - 채널PNU, https://channelpnu.pusan.ac.kr/news/articleView.html?idxno=36560
[40] [삼성전자 AI 리더십] ① 온디바이스 기반 AI 경험 혁신, https://news.samsung.com/kr/%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90-ai-%EB%A6%AC%EB%8D%94%EC%8B%AD-%E2%91%A0-%EC%98%A8%EB%94%94%EB%B0%94%EC%9D%B4%EC%8A%A4-%EA%B8%B0%EB%B0%98-ai-%EA%B2%BD%ED%97%98-%ED%98%81%EC%8B%A0
[41] 생성형 AI 의 진화: 온디바이스 AI - 코드스테이츠 공식 블로그, https://www.codestates.com/blog/content/newsletter-240920-2
[42] AI 업계가 주목하는 AI 에이전트(AI Agent), 활용 사례와 향후 전망은?, https://www.skcc.co.kr/insight/trend/3094
[43] "온디바이스 AI·AI 에이전트 주목"…삼정KPMG, 'CES 2025' 6대 핵심 ..., https://www.metroseoul.co.kr/article/20241220500269
[44] [현장 르포] CES 2025: 온오프 AI, Vertical AI, AI 에이전트의 시대가 왔다, https://gscaltexmediahub.com/energy/ces2025_ai/
[45] AI 에이전트의 현재와 미래 - 에이블런, https://ablearn.kr/newsletter/?bmode=view&idx=22885420
[46] AI 에이전트 7) 딥시크 가져온 온디바이스 AI 시대 - 브런치스토리, https://brunch.co.kr/@@2Xwq/194
[47] [초점] '막오른 인공지능 비서' 온디바이스 AI 시대, 어떻게 대처해야 하나, http://www.newsian.co.kr/news/articleView.html?idxno=68634
[48] 인터넷 필요 없는 손안의 비서, 2024년은 '온디바이스AI' 전쟁 - 매일경제, https://www.mk.co.kr/news/culture/10911744
[49] 디지털 개인비서 동향과 미래, https://ettrends.etri.re.kr/ettrends/188/0905188001/0905188001.html
[50] 박재천의 디지털경제 이야기 <3> "On device AI (기기인공지능)를 ..., https://www.ifs.or.kr/bbs/board.php?bo_table=News&wr_id=53911
[51] LLAMA3과 On-Device AI 시대 도래 - 브런치스토리, https://brunch.co.kr/@donghyungshin/132
[52] AI를 '사라지게' 할 AI 기술, 에이전트와 온디바이스, https://www.aitimes.com/news/articleView.html?idxno=156057
[53] [PDF] AI 에이전트, '자비스'가 온다, https://fanfandaero.kr/download.do?fileName=/cmmn/20241212/B646BD0B-CE46-68AB-1350-CEF7CCFB085F.pdf
[54] 온디바이스 AI', 스마트폰 사용 방식을 완전히 바꿀 이유 - CIO, https://www.cio.com/article/3538356/%EC%98%A8%EB%94%94%EB%B0%94%EC%9D%B4%EC%8A%A4-ai-%EC%8A%A4%EB%A7%88%ED%8A%B8%ED%8F%B0-%EC%82%AC%EC%9A%A9-%EB%B0%A9%EC%8B%9D%EC%9D%84-%EC%99%84%EC%A0%84%ED%9E%88-%EB%B0%94%EA%BF%80-%EC%9D%B4.html
[55] AI트렌드에 개념더하기 : 온디바이스 AI, https://www.woongjin.com/customer/blogView.do?page=1&b=9&keyword=&category2=&no=8
[56] AI를 '사라지게' 할 AI 기술, 에이전트와 온디바이스 - 네이버블로그, http://blog.naver.com/d2_blog/223462785625?fromRss=true&trackingCode=rss
[57] 온디바이스AI 확산 속 NPU 반도체 시장 기대감 고조 - 디지털투데이, https://www.digitaltoday.co.kr/news/articleView.html?idxno=506963
[58] [인터뷰] 온디바이스 AI 연구원이 말하는 '작지만 강한 AI', https://aiheroes.ai/community/247
[59] 온디바이스 AI, 제3의 IT혁명의 주역으로 부상 - AI 매터스, https://aimatters.co.kr/news-report/ai-report/3349
[60] 2024년은 온디바이스 AI 시대, 왜 `AI PC`는 지금 주목받나? - 동아일보, https://www.donga.com/news/It/article/all/20240412/124454736/1
[61] "AI 반도체 패권 전쟁, 엔비디아의 독주는 계속된다" - 글로벌이코노믹, https://www.g-enews.com/article/Global-Biz/2025/01/202501022050449522fbbec65dfb_1
[62] 삼성·SK하이닉스, 온디바이스 AI용 HBM 개발 경쟁 - 지디넷코리아, https://zdnet.co.kr/view/?no=20240911173338
[63] '모바일 HBM'이 온다 - 전자신문, https://www.etnews.com/20240902000266
[64] HBM 열풍, 계속 간다…“2026년 스마트폰·자동차 등 '온디바이스 HBM ..., https://biz.heraldcorp.com/view.php?ud=20240911050768
[65] AI가 견인하는 HBM 시장 현황 및 전망 | 국내연구자료 | KDI 경제교육, https://eiec.kdi.re.kr/policy/domesticView.do?ac=0000186203
[66] 삼성전자, HBM 공급량 2배 확대...'AI 반도체'에 사활 - 지디넷코리아, https://zdnet.co.kr/view/?no=20250131133737
[67] 온디바이스 AI 시대 차세대 메모리, 모바일서 PIM-LPDDR6 결합 전망, https://www.e4ds.com/sub_view.asp?ch=2&t=0&idx=19964
[68] HBM 다음은 뭘까?…온디바이스AI 메모리 경쟁 치열 - 이코노믹리뷰, https://www.econovill.com/news/articleView.html?idxno=667386
[69] 온디바이스 HBM: 모바일과 자동차 혁신 - Goover, https://seo.goover.ai/report/202411/go-public-report-ko-d0f0e4a0-57a4-401c-a507-343d15e1225b-0-0.html
[70] "HBM 말고 우리도" 온디바이스 AI, 차세대 주자는 - 뉴시스, https://www.newsis.com/view/NISX20240508_0002727900
[71] 인공지능 시대 글로벌 경쟁력 확보와 AI 반도체 - 지식산업정보원, https://www.knin.co.kr/FrontStore/iGoodsView.phtml?iCategoryId=&iGoodsId=2312701&iCategoryMainId=0
[72] 온디바이스 AI 시대 차세대 메모리, 모바일서 PIM-LPDDR6 결합 전망, https://www.efactorynews.com/sub_view.asp?ch=2&t=0&idx=19964
[73] 온디바이스AI용 메모리는 `LPDDR-PIM`…삼성·SK "고객사 협업·연구 ..., https://m.ddaily.co.kr/page/view/2024120316392402628
[74] 자율주행 산업서 '물리적 AI' 뜬다…삼성, 'LP-PIM'로 미래 준비 - 지디넷 ..., https://zdnet.co.kr/view/?no=20240925104426
[75] 미래를 여는 AI | 삼성반도체, https://semiconductor.samsung.com/kr/news-events/tech-blog/how-ai-is-underpinning-the-future/
[76] AI의 온디바이스화에 따른 무선통신기기 및 부품산업의 영향과 과제, https://eiec.kdi.re.kr/policy/domesticView.do?ac=0000188926
[77] 온디바이스 AI, 일상 속으로 들어온 미래 - Ho's insight - 티스토리, https://houniverse.tistory.com/entry/%EC%98%A8%EB%94%94%EB%B0%94%EC%9D%B4%EC%8A%A4-AI-%EC%9D%BC%EC%83%81-%EC%86%8D%EC%9C%BC%EB%A1%9C-%EB%93%A4%EC%96%B4%EC%98%A8-%EB%AF%B8%EB%9E%98
[78] '폰'과 '앱'이 사라진다…온디바이스AI 미래는 - 머니투데이, https://news.mt.co.kr/mtview.php?no=2024011217312676416
[79] 97. 온디바이스 AI의 작동 원리와 이점, https://guguuu.com/entry/97-on-device-ai-benefits
[80] 온디바이스 AI기술이 일상생활에 미치는 영향 - NebulaNook, https://nebulanook.tistory.com/207
[81] 차세대 딥러닝 기술 '온 디바이스(On-Device) AI'란? | 삼성반도체, https://semiconductor.samsung.com/kr/news-events/tech-blog/on-device-ai-next-generation-of-deep-learning-technology/
[82] 온디바이스AI, 무엇이 다를까요? - DevOcean, https://devocean.sk.com/blog/techBoardDetail.do?ID=166712&boardType=techBlog
[83] 내 손바닥 안의 인공지능 '온디바이스AI' 확산… 2030년 1739억달러 ..., https://zetic.ai/ko/news/the-rise-of-on-device-ai-a-173-9-billion-market-by-2030
[84] [기획]'산업계 절대반지' 온디바이스…K-기업 "232조 시장 잡아라", https://www.m-i.kr/news/articleView.html?idxno=1092966
[85] 생성형 AI에게 펼쳐진 새로운 무대, 온디바이스 AI - KPMG 한국, https://kpmg.com/kr/ko/home/insights/2024/06/issuemonitor_165.html
[86] 온디바이스 AI시대 - 브런치스토리, https://brunch.co.kr/@@zIH/5874