1. AI의 안전상 과제

 

자율주행의 인지기능의 역할은 실제 세계의 인식대상을 시맨틱(semantic)한 기호(보행자 클래스 등)로 변환하여 후단의 판단기능에 전달하는 것이다. 판단기능은 기호화된 정보에 근거하여 상황을 판단하기 때문에 기호화된 정보의 신뢰성은 매우 중요하다. 그러나 지도형 학습모델은 시각적 특징과 기호의 상관관계 패턴을 학습하고 있을 뿐이므로 인간과 같이 의미적인 문맥을 고려할 수 없다.

 

따라서 보통 비학습적인 방법보다 우수한 성능을 발휘하지만, 때로는 직관에 반하는 결과를 출력하는 경우가 있다. 또한 인식 정확도를 높이기 위해서 ML 모델의 파라미터가 거대해질수록, 인식 결과에 이르는 과정을 이해하는 것이 곤란해진다고 하는 트레이드오프가 생긴다.

 

자율주행 시스템에 사용되는 ML을 스코프로 하여 안전상의 공학적 과제를 부감한 연구가 몇 가지 발표되었다. Czarnecki 연구팀은 자율주행 인식 ML 모델의 라이프 사이클에서 자율주행의 안전성에 부정적인 영향을 미치는 일곱 가지 불확실성 요인을 관리하는 프레임워크를 제안했다.

 

Willers 연구팀은 DL 방법에 초점을 맞춘 9가지 안전상의 우려와 관련된 10개의 완화 접근방식을 정리했다. Mohseni 연구팀은 자율주행 시스템에서의 ML 안전을 위한 실용적인 안전 기술을 검토하고 정리했다. Kuwajima 연구팀은 자율주행 ML 시스템 개발의 공학적 과제를 제시했다.

 

2. 안전상의 과제에 대한 접근

 

인지기능에 사용되는 ML의 신뢰성에 대한 우려 및 안전상의 과제의 선행연구를 감안하면, 인식결과의 신뢰성을 어떻게 높이고 측정할 수 있도록 하는가가 안전상의 과제의 근본이라고 할 수 있다. 인식결과로서 출력된 물체 클래스, 좌표위치, 방향 등의 정보를 어디까지 신용해도 좋은지, 어디까지 흔들림이 있는지를 알 수 있다면, 그 신뢰도에 근거해 인식결과를 이용하거나 안전방책에 활용할 수 있다.

 

Czarnecki 연구를 근거로 불확실성의 발생원을 4가지로 집약하고, 상기의 선행연구나 개발현장을 참고로 불확실성에 의해 생기는 흔들림을 공학적인 어프로치로 억제하는 방법을 저자 등이 정리한 것이 다음 표이다. ML의 라이프 사이클 중에서 불확실성에 의한 흔들림을 측정, 관리해, 저감하는 프로세스는 안전성 논증에서 중요하게 된다.

 

또, SOTIF가 규정하는 연역적ㆍ귀납적인 트리거 조건의 분석과 기본적인 이념은 정합하고 있다. 자세한 것은 SOTIFㆍAI간의 관계가 PAS 8800으로 규정되는 것을 기다릴 필요는 있지만 이하, 관측 데이터, 라벨, 모델, 운용 마다, 열쇠가 되는 기술ㆍ프로세스를 말한다.

 

<표1> Uncertainty and its management in the ML lifecycle

자료 : DENSO TECHNICAL REVIEW

 

3. 관측데이터

 

3-1. 균일성과 피복성

 

AIQM 가이드라인은 'AI 퍼포먼스'와 '위험 회피성' 2가지 이용 시 품질을 정의하고 있다. AI 퍼포먼스는 Accuracy 등 일반적으로 ML 모델 평가에 이용되는 전체적인 성능을 나타내고 있다. 위험 회피성은 ML의 위험한 행동을 저감하고 있는가 하는 안전성에 관계되는 품질 특성이다.

 

문제 영역(자율주행 문맥으로 말하면 ODD)에 대해서 데이터 전체적으로 치우침 없이 균일하게 데이터가 포함되어 있는 균일성과 세분화한 영역마다 충분한 데이터가 포함되어 있는 피복성의 균형을 맞추어 양립시키는 것을 이 가이드라인은 제안하고 있다. 자율주행 시스템의 ML 개발에서는 ODD에 근거하는 날씨 등의 통계적인 분포가 균일성에, 위험한 시나리오로 이어지는 트리거 조건이 피복성에 관계한다.

 

3-2. 능동 학습

 

데이터 선정에 있어서 핵심 기술이 되는 것이 데이터의 불확실성 평가에 의한 능동 학습이다. 자율주행 시스템의 개발은 모든 환경 조건을 아우를 수 없으며, 수집된 방대한 데이터에 대해 사람들이 스스로 레이블링하는 것 또한 비현실적이기 때문에 어떤 방법으로든 훈련 데이터와 테스트 데이터를 신중하게 선정할 필요가 있다.

 

불확실성이 높은 데이터가 훈련 네트워크에 있어서 중요한 정보를 전달하는 성질을 이용해, 방대한 데이터 중에서 불확실성에 근거해 능동적으로 데이터를 선정하는 방법은 능동학습이라는 명칭으로 알려져 있다. DNN에 의한 예측의 불확실성을 MC Dropout이라고 불리는 몬테카를로(MC)법으로 평가하는 방법이 있다.

 

능동 학습은, 이미 Tesla, Waymo 등 첨단 기업에서 양산 개발에 이용되고 있어, 자율주행 개발에서 필요 불가결한 기술이 되어가고 있다.

 

4. 라벨(라벨링 가이드라인)

 

지도학습의 경우, 보통 수작업으로 이루어지는 라벨링의 품질은 훈련 결과나 테스트 결과에 직접적인 영향을 미친다. 라벨링의 품질이 충분하지 않을 경우, 테스트 결과가 오해의 소지가 있고, 불충분한 인식 성능으로 필드에서 사용될 우려가 있다. 그러나 아래 그림에서 나타내는 바와 같이, 실제 세계에는 사람도 해석을 망설이는 장면이 존재하고, 라벨의 모순, 잘못된 표시가 발생할 수 있다.

 

<그림1> Labeling variability for the same class: examples from the BDD100K Dataset

자료 : BDD100K: A diverse driving dataset for heterogeneous multitask learning

 

그래서 라벨링 기준의 일관성과 라벨링 작업의 편차의 저감이 중요해진다. 라벨링 가이드라인의 책정에 의해 일관성을 확보하고, 작업자의 교육, Q&A 관리, 사례의 축적, 라벨링 결과의 평가 등, 라벨링 작업 프로세스의 관리에 의해 작업의 편차를 저감한다.

 

5. 모델

 

5-1. ML 테스트

 

ML 테스트의 체계는 Zhang 연구팀에 의한 ML 테스트에 있어서의 기술, 테스트 프로퍼티, 어플리케이션 등의 서베이가 참고가 된다. 자율주행 시스템의 ML 개발에서는 일반적으로 물체 인식ㆍ물체 검출ㆍ시맨틱 세그먼테이션 등의 ML 태스크에 따른 지표로 인식 성능을 평가하고 있다.

 

또, 고객 요구나 트리거 조건에 대한 동작을 확인하기 위해 시나리오 기반의 테스트가 이루어지고 있다. 한편, 뉴런 커버리지에 대한 비판이 있는 것처럼, 연구가 활발한 ML 테스트 분야에서는 연구 단계의 미성숙한 방법도 볼 수 있으므로 효과ㆍ타당성을 잘 확인하여 채용 여부를 검토할 필요가 있다.

 

5-2. 강건성

 

강건성(Robustness)은 ML 연구 중에서도 특히 왕성한 분야의 하나이지만, CLEPA의 연구에서 지적하는 것처럼 안전성을 논의하는데 있어서 정의를 명확히 할 필요가 있다. 자율주행의 문맥에 있어서는, 비ㆍ눈에 의한 장면의 변화나 센서 노이즈 등의 자연 섭동(Natural perturbation)과 도로 표지에 특수한 스티커를 붙이는 등 공격자가 의도적으로 만들어 낸 적대적 교란(Adversarial perturbation)으로 나눌 수 있다.

 

자연 섭동은 상기 ‘(1) ISO 21448(SOTIF)’이나 ‘(3) 관측데이터’에서 말한 문제에 귀착하여 ‘(5) 모델 ① ML 테스트’에서 설명한 시나리오 기반의 테스트로 평가할 수 있다. 그에 반해 ML모델의 개발자가 의도하지 않은 출력을 시키는 인공적 노이즈를 가하여 공격적인 목적으로 만들어지는 것이 적대적 교란이다.

 

자율주행의 문맥에 있어서는 도로표지판에 특수한 스티커를 붙이는 등, 물리세계에서도 유효한 적대적 교란에 의해 ML모델을 속이는 방법이 제안되고 있다. 적대적 공격의 재현성의 문제를 지적하는 연구도 있어, 공격의 유효성 평가는 정해지지 않았다. 자동차 업계는 적대적 교란은 자연 섭동과 구별해 향후 AI 보안의 논의에 맡기고 있다.

 

5-3. 설명성

 

설명 가능성(Explainability, XAI) 기술은 제시 내용(중요 특징/중요 데이터), 5가지 축(투명성/사후성, 대역성/국소성 등) 등의 관점에서 체계화되어 있지만, 자율주행의 맥락에서는 Zablocki 연구팀이 자율주행 시스템의 화상 인식을 위한 XAI의 요구를 최종 사용자에 대한 트러스트, 개발자에 의한 디버깅, 규제 당국에 대한 설명 책임의 3가지로 분류하고 있다.

 

이 중, 디버깅 목적에서는 ML 모델의 인식 결과의 배후에 있는 원인을 찾기 위해 Grad-GAM 등의 특징지도(Saliency map)가 사용되고 있는 한편, 최종 사용자, 규제 당국 전용으로는 설명 결과의 정확성이나 포괄성 면에서 과제가 있기 때문에, 자율주행 문맥에 있어서의 XAI 기술은 대체로 한정적인 이용에 머무르고 있다.

 

6. 운용 환경(불확실성 평가)

 

능동 학습에 사용되는 불확실성 평가방법은 운용 시에 분포 시프트나 개발 시에 발견하지 못한 에지 케이스를 검출하는 모니터링에 있어서도 핵심 기술이 된다. 실차 주행중에 불확실성이 높은 장면인지 어떤지 판정할 수 있으면, ML의 인식결과의 신뢰성이 낮다고 간주해 ML모델의 외측의 안전 기구에 연결될 가능성이 있다.

 

MC법은 샘플링에 의한 계산비용이 높아 차재용도로 사용할 수 없다는 결점이었지만, 불확실성을 샘플링이 아닌 선형근사로 평가함으로써 계산비용을 절감한 방법, 한층 더 근사정밀도를 높인 방법 등, 차재에 적합한 방법이 제안되고 있다.

 

 

[2025 차세대 모빌리티 및 안전ㆍ편의 시스템 기술, 시장 전모와 사업화 전략] 보고서 상세보기

https://www.irsglobal.com/shop_goods/goods_view.htm?category=01000000&goods_idx=97806&goods_bu_id=