생성형 AI 등장으로 자율주행차 개발 과정 달라져
시뮬레이션 통해 비용 절감… 이상 상황 판단 정확도 높여
“도시에서 달릴 정도로 자율주행 기술을 개발하기 위해선 막대한 비용이 듭니다. 이 때문에 자율주행차 개발은 최근 들어 다소 정체기에 접어들었습니다. 하지만 생성형 인공지능(AI)의 등장으로 다시 활기를 띄기 시작했습니다. 자율주행차가 운행 중에 마주하게 될 수 있는 희귀한 상황들을 시뮬레이션하는데 생성형 AI가 적용되기 시작했고, 실제 상황을 추론하는 과정에도 생성형 AI가 적극 활용되고 있습니다.”
마르코 파보네(Marco Pavone) 스탠퍼드대 항공우주공학과 부교수 겸 엔비디아 특훈과학자는 21일 서울 소공동 웨스틴조선호텔에서 진행된 ‘스마트클라우드쇼 2023′ 기조강연에서 “자율주행차 개발에 생성형 AI가 대규모로 활용되면서 개발 사이클이 근본적으로 달라지게 됐다”며 이같이 말했다. 파보네 교수는 2010년 미국 매사추세츠공대(MIT)에서 항공우주학 박사를 받았고, 미 항공우주국(NASA) 제트추진연구소(JPL) 로봇공학 부문 연구원을 역임했다. 현재 스탠퍼드대 자동차 연구센터 소장을 맡고 있으며 자율주행차, 자율 항공·우주 차량의 시스템 분석과 설계·제어를 위한 방법론 등을 연구하고 있다.
파보네 교수는 “생성형 AI는 자율주행 기술 개발을 가속화할 수 있는 새로운 기술”이라고 강조했다. 몇년 전까지만 해도 자율주행 개발 회사들은 자율주행의 다양한 기술 요소들을 하나씩 만들어 나가는데 집중했다면, AI 도입 이후에는 데이터 센터, 데이터 모델 학습 등 AI 인프라에 투자하기 시작했다는 것이다.
그는 엔비디아가 생성형 AI를 트래픽 시뮬레이션 모델에 적용한 사례를 소개했다. 현실에서 사람들의 운전 양상이나 도로의 장애물들이 나타나는 모습은 복잡 미묘한데, 엔비디아는 이를 실제와 유사하게 재현하기 위해 시뮬레이터에 생성형 AI를 활용하기 시작했다. 그는 “생성형 AI를 교통 시뮬레이션 모델에 적용해 출력값을 사람들의 이동 경로가 나오도록 하는 것”이라며 “수많은 교통 패턴을 생성하고, 한 화면에 등장하는 여러가지 요소들을 모두 제어할 수 있도록 해 시뮬레이션 상에서 현실적인 경험을 축적할 수 있도록 했다”고 말했다.
파보네 교수는 “거대언어모델(LLM)을 사용해 원하는 시뮬레이션 상황을 구체적으로 인코딩함으로써 획기적으로 발전된 교통 시뮬레이션 모델을 개발할 수 있었다”고 밝혔다. 미국 도로교통안전국의 충돌사고 관련 데이터베이스나 충돌 사고를 설명하는 경찰 보고서를 활용해 현실적으로 시뮬레이션하는 것이 가능해졌다는 것이다.
생성형 AI를 자율주행 시스템에 직접 적용해 ‘추론’ 능력을 발전시킬 수도 있다. 파보네 교수는 신호등을 싣고 도로를 달리는 트럭이 테슬라 차량 디스플레이에 여러 대의 신호등이 도로에 세워져 있는 것처럼 표시된 상황을 예로 들면서, 맥락에 대한 이해만 갖춰진다면 자율주행차도 이 같은 상황을 사람처럼 정확하게 이해할 수 있다고 설명했다. 프롬프트 양식에 추론 사례를 함께 녹여 이상 현상을 탐지할 수 있도록 했다.
파보네 교수는 “생성형 AI의 등장이 자율주행이나 로보틱스 분야 개발을 가속화하며 많은 기회를 제공하고 있다”며 “시뮬레이션이나 추론 등의 기술이 다른 분야에도 광범위하게 활용할 수 있을 것”이라고 덧붙였다.