NVIDIA GTC 2025에서 확인한 AI의 다음 단계

2025년 3월, 산호세에서 열린 NVIDIA GTC 2025에 다녀왔다. 출발할 때만 해도 새로운 기술을 직접 보고 사람들을 만나보자는 정도의 마음이었다. 하지만 며칠 동안 세션과 대화를 따라가다 보니, AI 산업의 변화가 모델 성능 경쟁을 넘어 인프라와 제품, 물리 세계까지 확장되고 있다는 사실이 훨씬 선명하게 보였다.

AI를 연구하는 곳과 운영하는 곳이 만나는 자리

GTC에는 생성형 AI, 자율 시스템, 로보틱스, 양자 컴퓨팅을 아우르는 900개 이상의 세션이 열렸다. 전부 따라가는 것은 애초에 불가능했다. 대신 Hereby에서 맡고 있던 LLM 추론, 문서 처리와 에이전트 워크플로우에 직접 연결되는 세션을 중심으로 일정을 짰다.

행사장에서 가장 인상적이었던 것은 발표의 규모보다 대화의 밀도였다. 논문과 GitHub에서만 접하던 연구자와 엔지니어들이 같은 공간에 있었고, 세션이 끝난 뒤에는 발표에서 다루지 못한 실패 사례와 운영상의 제약을 들을 수 있었다. 좋은 데모를 만드는 문제와 신뢰할 수 있는 서비스를 운영하는 문제가 얼마나 다른지, 여러 팀이 비슷한 고민을 하고 있다는 것도 확인했다.

기조연설에서 읽은 방향

젠슨 황의 기조연설은 개별 제품 소개라기보다 AI 컴퓨팅 전체의 로드맵을 보여주는 자리였다. 가장 분명한 메시지는 추론형 AI와 에이전트가 늘어날수록 컴퓨팅 수요도 빠르게 커진다는 것이었다. 모델이 한 번 답하는 수준을 넘어 계획을 세우고 도구를 사용하며 여러 단계의 작업을 반복하면, 필요한 연산량은 자연스럽게 증가한다.

NVIDIA가 GPU와 CPU, 네트워킹을 포함한 인프라를 1년 주기로 발전시키겠다고 강조한 것도 같은 맥락으로 들렸다. Vera Rubin으로 이어지는 로드맵은 애플리케이션을 만드는 입장에서 기반 기술이 계속 움직인다는 뜻이기도 했다. 특정 하드웨어의 성능만 보는 것이 아니라, 모델과 서빙 소프트웨어, 네트워크와 전력 효율을 하나의 시스템으로 이해해야 했다.

광통신과 스토리지에 많은 시간을 할애한 점도 기억에 남았다. AI 시스템의 규모가 커질수록 병목은 연산 장치 하나의 성능보다 데이터 이동과 전력, 메모리에서 발생한다. 화려한 모델 데모 뒤에 있는 인프라가 제품의 비용과 지연을 결정한다는 사실을 다시 확인했다.

Isaac과 Cosmos를 중심으로 한 물리적 AI 역시 큰 축이었다. AI가 텍스트와 이미지가 있는 화면 안에서 끝나는 것이 아니라 로봇과 산업 시스템을 통해 현실의 환경을 인식하고 행동하는 단계로 이동하고 있었다. 아직 해결할 문제가 많지만, 학습용 시뮬레이션과 로보틱스 도구가 하나의 생태계로 결합되는 방향은 분명해 보였다.

제품을 만드는 입장에서 본 세션들

에이전트형 AI 세션에서는 추론과 계획 자체보다 실패를 다루는 방법에 더 관심이 갔다. 다단계 작업에서 어느 시점에 재시도할지, 모호한 지시를 어떻게 확인할지, 도구 실행 결과를 어떤 방식으로 검증할지가 실제 제품의 품질을 좌우했다. 에이전트는 한번의 답을 잘 만드는 모델이 아니라, 불완전한 환경에서 여러 결정을 이어가는 시스템이라는 점이 강조되었다.

vLLM과 TensorRT-LLM을 다룬 추론 최적화 세션은 Hereby의 내부 추론 인프라와 직접 맞닿아 있었다. 처리량을 높이면 개별 요청의 지연이 늘 수 있고, 메모리 사용과 배칭 전략은 곧 운영 비용으로 이어진다. 모델의 벤치마크 점수만으로는 실제 서비스의 품질을 설명할 수 없다. 어떤 하드웨어에서 얼마나 안정적으로, 예측 가능한 비용으로 응답하는지가 제품에서는 더 중요할 수 있다.

문서 AI와 멀티모달 모델 세션도 유심히 보았다. 계약 문서는 일반 텍스트와 달리 표, 서명, 주석과 페이지 구조를 함께 이해해야 한다. OCR 결과를 그대로 LLM에 넣는 것만으로는 충분하지 않고, 문서의 구조를 보존하며 추출 결과를 검증하는 파이프라인이 필요하다. 멀티모달 모델의 발전은 고무적이었지만, 운영 환경에서는 여전히 정확도와 재현성을 별도로 설계해야 했다.

복도에서 배운 것

컨퍼런스에서 오래 남는 이야기는 종종 세션 사이에 나왔다. AI 연구소의 연구자, 초기 제품을 만드는 창업자, 엔터프라이즈 환경에서 모델을 운영하는 엔지니어들과 이야기를 나누었다. 서로 다른 일을 하고 있었지만 반복해서 등장하는 문제는 비슷했다.

모델은 빠르게 좋아지지만 제품은 모델만으로 완성되지 않는다. 예외 상황을 처리해야 하고, 결과가 왜 달라졌는지 설명할 수 있어야 하며, 새로운 모델로 교체했을 때 기존 기능이 망가지지 않는지 검증해야 한다. 정확도가 조금 높아지는 것보다 비용과 지연을 예측할 수 있는지가 더 중요한 경우도 많았다. 연구와 프로덕션의 거리는 줄고 있었지만, 그 간격이 사라진 것은 아니었다.

Hereby를 설명하며 받은 질문

이번 일정의 또 다른 목적은 당시 개발하고 있던 AI 계약 관리 플랫폼 Hereby를 외부 사람들에게 설명하고 피드백을 받는 것이었다. OCR로 계약서를 읽고, LLM과 에이전트가 검토와 후속 업무를 돕는다는 설명에는 대부분 공감했다. 계약 업무가 느리고 반복적이라는 문제는 산업을 가리지 않았다.

그러나 좋은 반응보다 날카로운 질문이 더 도움이 되었다. 잘못 추출한 조항을 사용자가 어떻게 발견할 수 있는지, 모델이 다른 결론을 냈을 때 어느 결과를 신뢰할지, 민감한 계약 데이터를 어떤 환경에서 처리할지, 추론 비용이 늘어도 사업적으로 유지할 수 있는지를 질문받았다. 모두 데모 화면에서는 잘 드러나지 않지만 실제 제품에서는 피할 수 없는 문제였다.

대화를 통해 새로운 사용 사례도 발견했다. 산업마다 계약의 형식과 검토 과정이 달랐고, 우리가 부차적으로 생각했던 기능이 어떤 사용자에게는 핵심일 수 있었다. 제품을 설명하는 일은 내가 알고 있는 것을 전달하는 과정인 동시에, 우리가 아직 정의하지 못한 문제를 발견하는 과정이었다.

지식을 다시 정리한 자격시험

현장에서는 NVIDIA-Certified Associate: Generative AI LLMs 시험에도 응시했다. 트랜스포머의 기초부터 사전학습과 파인튜닝, RLHF, 추론 최적화, 책임 있는 AI와 배포까지 범위가 넓었다. 실무에서 부분적으로 접해 온 내용을 하나의 체계로 다시 연결할 수 있었고, 익숙하다고 생각했지만 정확히 설명하지 못하던 부분도 확인했다.

결과는 합격이었다. 자격 자체도 기뻤지만, 준비 과정에서 현재의 지식과 빈틈을 함께 점검했다는 점이 더 의미 있었다.

돌아오며

GTC에서 확인한 것은 AI가 무조건 빠르게 발전한다는 단순한 결론이 아니었다. 모델과 하드웨어, 추론 인프라와 제품 설계가 서로를 밀어 올리며 함께 변하고 있었다. 기본 모델에 접근하는 일은 쉬워졌지만, 그것을 신뢰할 수 있는 제품으로 만드는 일은 여전히 어렵고 오히려 기준이 높아지고 있었다.

에이전트는 더 긴 업무를 맡게 될 것이고, 멀티모달 모델은 더 복잡한 문서를 다룰 것이다. 그럴수록 결과를 검증하고 실패를 제한하며 비용을 관리하는 시스템의 중요성도 커진다. AI 제품의 경쟁력은 가장 새로운 모델을 먼저 붙이는 데서 끝나지 않는다. 사용자의 실제 문제를 이해하고, 기술적 가능성을 반복해서 운영 가능한 형태로 바꾸는 데서 만들어진다.

한국으로 돌아올 때에는 출발할 때보다 더 긴 할 일 목록을 들고 있었다. 동시에 우리가 풀고 있는 문제가 충분히 어렵고, 그래서 더 해볼 만하다는 확신도 생겼다. 기술의 최전선에서 얻은 가장 현실적인 결론은 이것이었다. 가능성을 보여주는 일과 믿고 사용할 수 있게 만드는 일 사이에는 여전히 큰 간격이 있고, 좋은 제품은 바로 그 간격을 줄이는 과정에서 만들어진다.