[아이뉴스24 문영수 기자] "에이전틱 AI 시대에서는 AI 인프라를 그래픽처리장치(GPU) 중심으로만 바라보는 접근에서 벗어나야 한다. 컴퓨팅과 데이터, 네트워크, 거버넌스를 동시에 설계해야 하며, 실제 업무 환경에서 발생하는 다중 추론과 장기 세션, 데이터 이동을 고려한 전체 시스템의 최적화가 필요하다."
김용태 한국 델 테크놀로지스 상무(AI Pursuit팀)는 29일 아이뉴스24가 서울 영등포구 FKI타워 그랜드볼룸에서 개최한 '대한민국 클라우드/SaaS 포럼 2026(KCSF 2026)'에서 에이전틱 AI를 위한 인프라 설계 노하우를 공유했다.
스스로 업무 수행하는 에이전틱 AI 시대
김용태 상무는 AI가 단순히 질문에 답하거나 콘텐츠를 생성하는 단계를 넘어 스스로 업무를 수행하는 에이전틱 AI 시대가 다가왔다고 강조했다. AI 에이전트가 외부 도구와 데이터, 기업 내부 시스템을 호출해 실제 업무를 자동으로 처리하는 만큼 AI 인프라에 요구되는 성능과 운영 방식도 근본적으로 달라지고 있다는 것이다.
단발적으로 추론하던 과거와 달리 에이전틱 AI는 여러 멀티스탭 에이전트들이 주어진 업무 수행을 위해 다양한 상호작용을 거듭한다. AI가 계획 수립과 도구 호출, 검증, 재시도를 반복하면서 상호작용당 토큰 소비량과 세션 규모 역시 급증하게 된다.
그는 골드만삭스리서치의 전망을 인용하며 2026년 5월 월간 토큰 처리량이 5000조개에서 2030년 5월까지 이보다 24배가 증가할 것이라고 강조했다. 반면 AI 추론 비용은 연간 60~70% 수준으로 감소할 것이라고 내다봤다. AI를 사용하는 양은 폭증하지만 토큰당 처리 비용은 급격히 떨어지는 상반된 흐름이 나타나는 셈이다.
생성형 AI 시대에는 콘텐츠 생성을 요구하고 최종 실행은 사용자인 인간이 하는데 반해 에이전틱 AI는 AI 에이전트들이 상호 협업하고 최종적으로 업무 수행까지 완료하는 만큼 거버넌스 차원에서의 프레임워크 설정이 중요하다고 조언했다.
김용태 상무는 "생성형 AI의 경우 엉뚱한 답을 내더라도 다른 AI에게 교차검증 한다던지 작업 요청자가 직접 확인할 수 있지만 에이전틱 AI는 최종적으로 완료된 작업의 리스크가 크기 때문에 처음부터 엄격하게 에이전트가 올바르게 동작할 수 있도록 가드레일을 설정하는 것이 중요하다"고 말했다.
에이전틱 AI 시대에 GPU 성능만 높이는 방식으로는 인프라 문제를 해결하기 어렵다고도 강조했다. AI 운영 환경에서는 컴퓨팅, 데이터, 네트워크, 거버넌스가 동시에 부하를 받기 때문에 전체 시스템을 하나의 스택으로 설계해야 한다는 설명이다.
에이전틱 AI 시대, 델이 제시한 해법은
에이전틱 AI 시대를 맞아 델이 제시한 해법은 젠슨 황이 이끄는 엔비디아와 협력해 구축한 '델 AI 팩토리 위드 엔비디아(Dell AI Factory with NVIDIA)'다. 개인용 워크스테이션부터 서버, 데이터 플랫폼, 네트워크, 소프트웨어 운영 환경까지 하나의 아키텍처로 연결하는 것이 핵심이다.
김용태 상무는 "AI 팩토리의 주요 부품은 엔비디아가 만들었고 설계한 회사가 델"이라며 "델 AI 팩토리 위드 엔비디아는 굉장히 간단한 구조로 만들어져 있고 산업 요구에 따라 맞출 수도 있다. 속도와 안정성, 프라이버시, 거버넌스도 고려돼 있기 때문에 개별 기업들이 AI 인프라 구축과 운용을 위한 아키텍처로 제시하고 있다"고 강조했다.
델 AI 팩토리 위드 엔비디아를 적용해 효과를 본 주요 사례로 호주 최대의 상업은행인 커먼웰스 은행(Commonwealth Bank)과 클라우드 컴퓨팅 기업 코어위브가 언급됐다. 커먼웰스 은행의 경우 지금까지 2000개 이상의 AI 모델을 운영하고 1570억개의 데이터 포인트를 활용하며 하루 5500만건의 실시간 AI 의사결정을 수행하고 있다. 하루 8000만건 이상의 신호를 실시간으로 모니터링해 고객 신고 사기를 30% 감소시키기도 했다.
코어위브는 엔비디아 전용 AI 하이퍼스케일러 및 프런티어 AI 학습과 추론에 특화된 기업이다. 델은 GB200 NVL72와 GB300 NVL72에 이어 2026년 6월 엔비디아 베라루빈 NVL72를 코어위브에 세계 최초로 출하했다. 3세대 연속 세계 최초 출하를 달성한 셈이다. 이를 통해 코어위브는 이전 모델인 블랙웰(GB NVL72) 대비 대규모 에이전틱 추론에서 토큰당 비용을 최대 10배 절감하는 효과를 거뒀다.
/문영수 기자(mj@inews24.com)