출처 : https://note.com/masayamori/n/neae9102d2aa3

 

이 기사는 AI의 블랙박스 문제에 대한 해결책 중 하나인 XAI(Explainable AI, 설명 가능한 AI)에 관한 내용이다.

 

AI의 블랙박스 문제

 

다양한 업무에서의 기계학습, 심층학습 성능이 극적으로 향상함에 따라, AI는 폭넓은 산업에서 활용되게 되었다. 자연언어 처리, 패턴 인식, 화상 인식, 음성 인식, 기계 번역, 로보틱스 등 다양한 기능이 전에 없던 정밀도로 실현되어, AI는 이제 의료에서 교통, 전력 공급까지 생활의 모든 면에 관여하며 광범위하게 사용되고 있다. 그리고 더욱 고도의, 스스로 지각하고, 학습하고, 결정하며, 행동하는 자율적인 시스템으로 진화할 것이라는 기대감도 생겨나고 있다.

 

하지만 그와 동시에 우려의 목소리도 적지 않다. 앙상블 학습(Ensemble Learning) 및 심층학습, 강화학습에 근거한 AI는 학습 과정이 복잡하며, 따라서 그 추론 및 인식, 예측의 결과가 블랙박스화되어, AI가 어떻게 그러한 판단을 내렸는지 확인하기 어렵다는 것이 문제다.

 

모델의 설명 가능성과 성능의 트레이드 오프

 

AI가 블랙박스라는 사실이 최근 자주 지적되고 있는데, 모든 기계학습 모델이 블랙박스인 것은 아니다. 회귀 모델 및 결정목 모델 등에서는 입력 데이터와 모델 출력의 결정값 사이의 관계를 비교적 이해하기 쉽다. 그래서 블랙박스와 대비하여 화이트박스 모델이라 부르기도 한다.

 

모델의 설명 가능성과 그 성능은 일반적으로 트레이드 오프의 관계에 있다. 인간이 관리할 수 없을 만큼 방대한 파라미터를 복잡하게 조합하여 계산함으로써 더욱 섬세한 정밀도 높은 예측이 가능하지만, 그러한 거대한 파라미터는 사실 인간이 전체상을 파악할 수 없어 설명이 가능하다고 볼 수 없다. 그렇다고 해서 파라미터의 수를 줄여 모델을 단순하게 만들면 설명할 수 있는 여지는 높아지겠지만, 성능도 한정되어 버린다.

 

따라서 앙상블 학습, 심층학습 등의 복잡한 모델링 기술은 입력 데이터와 출력 결정의 관계를 이해할 수 없는 수준으로 복잡하게 만들어, 즉 모델의 설명 가능성을 희생하여, 그만큼 높은 정밀도를 달성하는 것이라고 볼 수 있다.

 

설명 가능성(Explainability)의 중요성

 

상황에 따라서는 정밀도와 설명 가능성 사이의 트레이드 오프를 신경 쓰지 않아도 괜찮을지 모른다. 예를 들어, 알고리즘이 왜 특정한 동영상을 추천하는지에 대해서는, 상성이 좋다면 크게 신경 쓰이지 않을 수 있다.

 

하지만 신용카드 신청이 거부된 이유는 궁금하다. 그리고 거부당한 이유가 만약 본인의 책임 때문이라면, 예를 들어 성별이나 인종 때문이라면, 그것은 큰 문제이다. 즉 편견이 존재하며, 공평성이 저해되었다는 문제로 번지게 된다. 애플리케이션에 따라서는 사회적인 컨텍스트 속에서 문제시될 수 있는 편견이 존재하지 않음을 설명 가능성에 의해 제시해야 한다.

 

또한 애초에 블랙박스일 경우, 고장 시 어떻게 고장의 원인을 파악하고, 그것을 제거해야 하는지 알아내기 어려울 수 있다.

 

AI가 신용카드의 신청이나 학업 평가, 입사 거부 평가 등, 사람을 선별하거나 평가하는 데 관여하는 경우, 또는 AI가 자율주행이나 의료 진단 등 인간의 생활 및 생명에 관여하는 경우, ‘AI가 왜 그러한 판단을 내렸는지’ 그 판단 기준 및 과정이 검증되어야 하며, 설명 가능성이 높아야 한다. 그래서 설명 가능한 AI, Explainable AI(XAI)라는 키워드가 생겨나게 되었다.

 

XAI(Explainable AI, 설명 가능한 AI)

 

XAI(Explainable AI, 설명 가능한 AI)란 AI의 해결책을 인간이 이해할 수 있게 하는 방법 및 기술의 총칭이다. 예측 결과 및 측정 결과에 이르는 프로세스를 인간에 의해 설명할 수 있어야 한다. 미국의 DARPA(Defense Advanced Research Projects Agency : 국방 고등 연구 계획국)가 주도하는 연구 프로젝트에서 처음으로 사용되었고, 이제는 학술계를 넘어 사회적으로도 널리 사용되게 되었다.

 

설명 가능성(Explainability)과 해석 가능성(Interpretability)

 

비슷한 문맥에서 사용되는 유의어로서, 해석 가능성(Interpretability)이 있다. Model Interpretability를 확보한다는 식으로 사용되는데, 이것은 기계학습 모델이 예측, 추정한 프로세스를 인간이 해석할 수 있는지 없는지를 가리킨다. AI가 내놓은 결과에 어떤 학습 데이터가 관여했는지 추정하여, AI의 학습 모델을 수정할 수 있도록 하려는 접근방식이다.

 

설명 가능성(Explainability)과 해석 가능성(Interpretability)은 엄밀하게 구분되어 사용되는 용어는 아니다. 따라서 일반적으로 XAI의 설명에서 해석 가능성에 대해 설명하는 경우도 있다. 하지만 굳이 비교하자면, 해석 가능성(Explainability)은 AI의 판단에 의한 사후 해석을 가능하게 하는 것이며, 설명 가능성(Interpretability)은 판단을 내린 시점에 AI가 그에 대해 설명하는 것이다.

 

AI에 의한 바람직하지 않은 학습의 방지

 

기계학습 모델은 때때로 바람직하지 않은 학습을 한다.

 

예를 들어, 드라마의 감상평이 긍정적인지 부정적인지를 평가하는 모델을 구축하는 경우를 생각해 보자. 감상평 안에 존재하는 다양한 표현을 그 감정 표현까지 포함하여 학습하는 것이 중요하다.

 

드라마의 경우, 테스트 데이터세트를 학습한 결과 “‘드라마의 전개가 단조롭다’는 표현이 포함되어 있는 경우, 감상평이 부정적이 될 가능성이 높다”와 같은 판단 기준을 획득하는 것은 충분히 있을 수 있는 일이다. 그리고 그것은 크게 문제가 되지 않는 타당한 학습이라 할 수 있다. 하지만 테스트 데이터세트의 특징을 만드는 방식에 따라서는, ‘특정한 배우가 출연하는 작품은 감상평이 부정적이다’라는 판단을 획득하게 될 수 있다. 이것은 사회적으로 볼 때 타당한 판단 기준이라 할 수 없다. 일단은 데이터세트에 대한 과학습이 의심되며, 그에 더해 사회적으로 불공평한 모델이자 애플리케이션이라 할 수 있다.

 

이러한 경우, XAI와 같은 접근방식에 의해 기계학습 모델의 학습을 감사(監査)하도록 하면 좋다. 감사하게 되면, AI가 바람직하지 않은 학습을 하고 있음을 발견하고 방지할 수 있다.

 

XAI의 그 밖의 장점

 

XAI의 장점은 AI의 판단 과정 검증 및 감사, 그리고 그 설명에만 국한되어 있지 않다. 예를 들어, 엔드 유저가 AI가 적절한 판단을 하고 있음을 신뢰할 수 있도록 함으로써, 제품 및 서비스에 대한 유저 경험(UX) 및 관계성을 향상할 수 있다.

 

또한 실무상의 장점도 있다. XAI의 처리 과정에 대한 이해와 분석을 통해 알고리즘을 개선할 수 있다. 그에 더해 모델이 어떻게 데이터를 사용하여 판단하는지에 대해, 사업자 또는 경영진에게 설명할 수 있다.

 

학술적으로는, XAI에 의한 처리 과정 설명을 통해 현실 공간이나 사회의 현상과 그에 대한 인식ㆍ평가ㆍ예측의 관계성 및 구조가 명확해져, 자연과학 및 사회과학의 이론 구축이 진보하게 될 가능성도 있다. 예를 들어, 양자 상태를 심층학습 모델을 사용하여 표현하는 등, 양자역학의 새로운 수치 계산 방법이 시도되고 있으며, XAI의 개발과 적용이 발전함에 따라 양자역학의 다양한 성질에 대한 이해가 발전할 것으로 기대된다.

 

XAI에 관한 컨퍼런스 및 주요 연구 프로젝트

 

학술계의 XAI에 관한 시책이 활발해지고 있다.

 

2018년에는 ACM(국제 컴퓨터 학회)에서 AI를 포함한 사회 기술 시스템의 ‘공평성, 설명 책임 및 투명성’을 연구하기 위한 컨퍼런스 ‘ACM FAT’이 시작되었다. 마찬가지로 기계학습의 톱 컨퍼런스인 ICML(International Conference on Machine Learning)도 기계학습의 FAT을 의논하는 ‘FAT/ML’을 함께 주최하고 있다.

 

주요 연구 개발 프로젝트로는 앞서 기술한 DARPA의 연구 프로젝트에 더해, UC Berkley에 의한 자율주행의 Deeply Explainable AI, Xerox PARC에 의한 COGLE(Common Ground Learning and Explanation), CMU 및 Stanford에 의한 XRL(Explainable RL) 등 다수의 프로젝트가 있다.

 

XAI를 실현하는 접근방식

 

XAI에 관한 개발에서는 다양한 접근방식이 존재하는데, 주요 연구 개발 프로젝트를 참조하면, 다음의 항목을 실현하는 것이 기본적인 방향이라 할 수 있다.

 

높은 수준의 학습 성능(예측 정밀도)을 유지하면서 더욱더 설명 가능한 모델을 만든다.

로직이나 합리성을 밝히고, 그 장점과 단점을 제시할 수 있어, 미래에 어떻게 행동할지 설명하는 능력을 가진다.

인간 사용자가 그것을 이해하고 AI를 효과적으로 관리할 수 있다.

 

이를 실현하기 위한 초보적인 단계로서 몇 가지 접근방식이 존재한다. 하나는 해석 가능성(Interpretability)을 높이는 방향성인데, AI가 답을 도출할 때 주목한 점을 특정하는 접근방식이다. 예를 들어, AI를 화상 인식에 적용할 때, 먼저 인식 대상인 화상의 일부분만을 잘라내어 인식하게 한다. 그리고 다른 부분도 이어서 인식하게 하여, 각각 전체 화상을 인식했을 때의 판단과 어느 정도 일치하는지 확인한다. 이로 인해 판단 대상인 데이터 속의 어느 부분의 어떤 특징에 주목하여 예측ㆍ인식했는지 명시할 수 있다. 예를 들어 LIME이나 SHAP와 같은 방식이 이에 해당한다.

 

다른 하나는 AI가 수행해야 하는 태스크를 분할하여, 각각 서로 다른 AI가 실행하도록 하는 방법이다. 예를 들어, 엣지 컴퓨팅 기사에서 언급한 것과 같은 공동현상을 생각해 볼 수 있다. 펌프나 밸브에서 증기 거품이 발생하는 것을 감지하고 그로 인한 고장을 예견한다(예지 보전ㆍPdM). 이대, 증기 거품을 인식한 후 고장이 일어나는 시기나 확률을 예측하기까지 전체 과정을 AI가 판단할 수 있다. 하지만 여기서 거품의 인식과 그로 인한 고장의 예측에 대한 투명성을 각각 확보하기 위해, 2개의 AI가 인식과 고장 예측이라는 2가지 역할을 분담하도록 한다. 이러한 2단계로 판단하게 되면, 하나로만 판단하는 것보다 설명 가능성을 확보하기 더 쉬워진다. 물론 이것은 복잡한 인과관계의 관계성을 취급함으로써 높은 정밀도를 달성하는, 대량의 파라미터를 취급하는 AI(앙상블 러닝 및 심층학습)의 이점을 희생하는 것이기 때문에, 어느 정도 손해가 따르긴 한다. 그러므로 태스크의 역할을 어떻게 분담해야 정밀도를 필요 이상으로 떨어뜨리지 않을 수 있을지 생각하여 설계하는 능력이 필요하다.

 

이러한 기초적인 접근방식 위에, 자율적으로 실행하기 위한 의사결정 방침을 만들고, 그로 인해 설명 가능한 자율 제어 시스템을 실현하는 것이 XAI를 실현하기 위한 방향성이라 할 수 있다. 그렇게 하면 투명성을 가지고 그 중간 과정에 대한 설명도, 사후 검증도 가능하게 하여, 안전성과 신뢰성이 높은 AI에 의한 사회 기반을 구축할 수 있다.

 

XAI와 규제의 관계

 

앞으로 정부, 공공기관, 기업, 사용자가 AI 기반 시스템에 의존하게 됨에 따라, AI의 의사결정 프로세스에는 더욱 명확한 설명 책임이 요구되게 된다. 각국의 각 산업을 소관하는 규제 당국에서는 AI에 대한 규제, 특히 설명 가능성의 담보에 관해 의논하고 또 적용하고 있다. 예를 들어, 미국의 보험 업계에서는 AI에 의해 맞춤화된 보험 서비스에 관한 요금 및 보상 내용 결정에 대해 설명할 수 있어야 한다고 규정되어 있다.

 

유럽위원회는 2018년부터 적용하기 시작한 일반 데이터 보호 규칙(GDPR)에서 AI 알고리즘의 중요성 고조와 그 잠재적 문제에 대처하는 조처로서, AI가 의사결정에 영향을 미치는 중대한 경우에 관해 그 처리 로직을 포함한 설명을 할 것을 요구하고 있다.

 

그리고 2020년 12월 15일에 유럽위원회가 발표한 디지털 서비스법(Digital Services Act)에서는 AI(특히 추천 및 광고, 타게팅 등)의 사용 및 투명성 확보와 보고서(누가 특정한 광고를 게재했는가. 왜 그 사용자를 타깃으로 삼았는가.)에 관한 규칙을 정할 수 있다고 하였다. GDPR이 데이터 활용에 대한 데이터 확보 및 개인정보 보호 기준으로 참조되고 있는 것을 보면, 이러한 유럽위원회의 방향성은 AI 활용에 관한 기본적인 생각에 영향을 미칠 것으로 생각된다. 기업은 XAI의 개발 및 그 실현 접근방식의 도입에 대해 검토해야 한다.

 

마치며

 

AI에 대해 설명 가능성을 요구하는 규제의 움직임은 더욱 강화될 것으로 생각된다. 그 요구에 응하고자 XAI의 연구개발 및 실제 시스템에 대한 도입에 관한 접근방식은 각국, 각 산업, 각 기업에서 이루어지고 있다. 그 과정에서 설명 가능성이 부족한 AI 솔루션을 다른 AI 솔루션으로 대체하려는 움직임이 활발해지고, 그에 맞춰 게임 체인지가 일어날지도 모른다. 기업은 XAI의 사회적 의의와 필요성, 그리고 그 실무적인 가치를 인식하고, 그것을 적용해 나가야 한다.