AI 자율주행 기술의 엔드투엔드 신경망 아키텍처는 단순히 인지부터 제어까지를 잇는 '연결성'의 단계를 넘어, 월드 모델을 통한 '환경 이해', VLA 모델을 통한 '언어적 소통', 그리고 강화학습을 통한 '자가 진화'의 단계로 진입했다. 2024년 이후의 기술적 흐름은 분절형 구조에서 전역적 파운데이션 모델 구조로 이동하고 있으며, 이는 데이터 규모의 확장과 함께 주행 지능의 질적 도약을 이끌어내고 있다.

향후 엔드투엔드 아키텍처의 성공 여부는 거대 모델의 효율적인 경량화와 함께, 복잡한 물리적 환경에서의 안전 제약 조건을 신경망 내부에 어떻게 논리적으로 통합하느냐에 달려 있다. 특히 디퓨전 모델의 실시간 제어 능력 향상과 강화학습 기반의 사고 체인 형성은 자율주행차가 인간의 운전 실력을 추월하여 '신뢰할 수 있는 일반 지능 시스템'으로 거듭나는 결정적인 전환점이 될 것이다. 엔드투엔드 패러다임은 이제 기술적 선택이 아닌, 완전 자율주행(Level 4/5) 달성을 위한 필수적인 아키텍처적 도정으로 확고히 자리 잡았다.

▣ 엔드투엔드 자율주행 아키텍처의 기술적 패러다임 전환과 분절적 구조의 진화

엔드투엔드 자율주행 아키텍처의 기술적 패러다임 전환과 분절적 구조의 진화자율주행 시스템의 설계 철학은 2024년을 기점으로 전통적인 모듈형(Modular) 파이프라인에서 완전히 미분 가능한 엔드투엔드(End-to-End, E2E) 신경망 아키텍처로 급격히 전환되었다.

과거의 자율주행 아키텍처가 인지, 예측, 계획, 제어라는 독립적인 모듈을 순차적으로 연결하는 방식을 취했다면, 최신의 엔드투엔드 접근법은 원시 센서 데이터를 입력받아 최종적인 주행 궤적이나 제어 명령을 단일 네트워크에서 도출하는 형태를 띤다.

이러한 전환의 핵심 동기는 각 모듈에서 발생하는 정보의 손실과 오류의 누적(Error Cascading)을 방지하고, 전체 시스템을 최종 목표인 '안전하고 효율적인 주행 계획'에 맞춰 전역 최적화(Global Optimization)하는 데 있다.

엔드투엔드 아키텍처는 크게 분절형(Segmented)과 전역적(Global) 모델로 분류되는데, 현재 산업계에서 가장 활발하게 논의되는 구조는 인지 및 예측의 중간 산출물을 유지하면서도 역전파를 통해 전체를 학습시키는 분절형 엔드투엔드 방식이다.

대표적인 사례인 UniAD(Unified Autonomous Driving)는 트랜스포머(Transformer) 기반의 쿼리(Query) 메커니즘을 활용하여 인지, 추적, 지도 생성, 동작 예측, 점유 예측, 그리고 최종 계획을 하나의 통합된 네트워크 내에서 처리한다.

UniAD는 각 작업이 독립적으로 수행되는 것이 아니라, 이전 단계의 특징 정보가 다음 단계의 입력 쿼리로 작용하여 정보의 일관성을 유지하며, 특히 계획 단계에서의 손실 함수가 인지 백본(Backbone)까지 전달되어 주행에 정말 필요한 정보가 무엇인지를 신경망이 스스로 학습하게 유도한다.

<그림1> UniAD 파이프라인

자료 : https://arxiv.org/pdf/2212.10156

분절형 아키텍처의 구체적인 구성을 살펴보면, 다중 뷰 카메라 이미지를 입력받아 이를 Bird's Eye View(BEV) 특징 공간으로 변환하는 과정이 선행된다. 이후 TrackFormer는 주변 에이전트를 추적하고, MapFormer는 고정밀 지도 없이도 실시간으로 도로 구조를 생성하며, MotionFormer는 에이전트 간의 상호작용을 고려하여 미래 궤적을 예측한다.

마지막으로 OccFormer가 주변 공간의 점유 상태를 확률적으로 계산하면, Planner 모듈이 이 모든 정보를 종합하여 충돌 가능성이 가장 낮고 승차감이 우수한 궤적을 출력하는 구조를 가진다. 이러한 구조는 전통적인 BEVFormer 알고리즘을 핵심으로 사용하면서도 차량의 CAN 버스 정보(속도, 가속도, 조향각 등)를 기본적으로 수용하여 주행 계획에 직접적인 영향을 미치도록 설계되었다.

<표1> 엔드투엔드 아키텍처별 특징 및 성과

자료 : https://openaccess.thecvf.com/ SynAD: Enhancing Real-World End-to-End Autonomous Driving Models through Synthetic Data Integration

▣ 시각-언어-행동(VLA) 모델로의 패러다임 확장

2024년 하반기부터 자율주행 아키텍처는 단순한 시각-행동 매핑을 넘어 대규모 언어 모델(LLM)의 상식과 논리적 추론 능력을 결합한 시각-언어-행동(Vision-Language- Action, VLA) 패러다임으로 진화하고 있다. VLA 모델은 자율주행차를 단순한 제어 기계가 아닌, 환경을 이해하고 명령을 해석하며 자신의 행동을 설명할 수 있는 '신체화된 지능(Embodied AI)'으로 변모시킨다.

VLA 아키텍처의 핵심은 멀티모달 파운데이션 모델(Multimodal Foundation Model)을 주행 시스템의 중추로 활용하는 것이다.

대표적인 연구인 VLA-MP 프레임워크는 멀티모달 BEV 인지 모듈, 시각-언어 정렬 브리지(Bridge), 그리고 물리 제약 조건이 반영된 행동 생성 모듈로 구성된다. 이 아키텍처는 카메라의 2D 특징과 LiDAR의 3D 특징을 PointPillar 백본을 통해 융합하여 정교한 BEV 표현을 생성하고, 이를 Q-Former와 같은 크로스 모달 프로젝터를 통해 언어 모델의 토큰 공간으로 사영한다.

이렇게 정렬된 시각 토큰은 자연어 주행 명령과 결합되어 LLaVA-7B와 같은 대규모 백본 네트워크에서 처리되며, 모델은 주행 계획뿐만 아니라 "보행자가 횡단보도를 건너고 있으므로 감속함"과 같은 텍스트 설명을 동시에 생성하여 의사결정의 투명성을 확보한다.

<그림2> VLA-MP 자율 주행 프레임워크

주) 이 시스템은 사전 학습된 환경 인코더 및 디코더 구성 요소, 주행 VLA 모듈, 그리고 어댑터를 통합하여 멀티모달 입력에서 제어 명령으로의 엔드투엔드 매핑을 구현함. 환경 인코더 및 디코더 구성 요소는 멀티모달 환경 인식 모듈을 통해 사전 학습됨.

자료 : https://www.mdpi.com/1424-8220/25/19/6163#sensors-25-06163-f003

특히 2025년 초 공개된 리 오토(Li Auto)의 MindVLA는 이러한 VLA 구조를 양산차 수준으로 최적화한 사례이다.

MindVLA는 공간 지능(Spatial Intelligence)을 담당하는 3D 토니카이저와 언어 지능을 담당하는 MindGPT, 그리고 행동 정책을 담당하는 집합적 행동 생성기(Collective Action Generator)를 통합하여 설계되었다.

기존의 엔드투엔드 모델이 롱테일 시나리오(예: 도로 위의 파편, 비정형 동물 출현)에서 일반화 능력이 부족했던 한계를 극복하기 위해, MindVLA는 수십억 개의 파라미터를 가진 거대 모델을 학습시킨 뒤 이를 지식 증류(Knowledge Distillation)를 통해 차량 탑재가 가능한 수준으로 압축하여 배포한다.

이러한 VLA 구조는 데이터 기반의 '약한 AI'에서 인지 지능 기반의 '일반적 자율주행 시스템'으로의 전환을 상징하며, 2030년경에는 L3/L4 시장의 절반 이상을 점유할 것으로 전망된다.

<그림3> 기존 자율 주행 시스템과 VLA 주행 시스템 비교

자료 : https://www.mdpi.com/1424-8220/25/19/6163