▣ 설명가능한 AI(eXplainable Artificial Intelligence, XAI)는 인공지능이 나아가고 있는 진화의 한 단계로 인간이 인공지능의 작용 과정을 훨씬 더 쉽게 이해할 수 있도록 인공지능에 설명 능력을 부여함으로써 AI 결정에 대한 신뢰성이 향상됨은 물론이고 편향을 줄일 수 있다.

즉 XAI는 말 그대로 머신러닝/딥러닝 모델의 결과값에 대한 이유를 인간이 이해할 수 있도록 블랙박스 성향을 분해ㆍ파악하여 설명 가능성을 제공하는 방식으로 이를 통해 기계와 인간의 상호작용에 합리성을 확보할 것으로 분석하고 있음

또 이는 인공지능의 행위와 판단을 사람이 이해할 수 있도록 설명 가능성을 추가하는 것을 의미하기 때문에 AI가 스스로 근거, 추론 과정 등을 논리적으로 설명하는 것이 가능해진다는 의미도 포함하고 있음

아울러 딥러닝 기반 인공지능에서 한 단계 더 발전된 형태로 작동원리가 명확하게 분석되지 않는 복잡한 인공신경망의 한계를 극복해, 그 작동원리를 이해하기 위해 개발되기 때문에 통제가 어려운 기존 AI의 단점을 보완하게 될 것으로 예상하고 있음

특히 인공지능 시스템 결과에 대한 사용자 및 사회의 수용과 신뢰성에 대한 우려가 나오고 있는 상황에서 AI의 신뢰도를 확보하기 위한 다양한 접근 방법 중 설명가능한 XAI가 부각되고 있는 이유는 결론을 내린 이유와 과정을 제시함으로써 가장 적합한 학습모델을 채택하거나, 시스템상 문제가 생길 경우 XAI를 통한 원인 식별로 문제 디버깅을 용이하게 수행할 수 있기 때문임

이에 인공지능이 내린 의사결정에 대한 설명을 필요로 하는 다양한 분야에 적용될 것으로 예상하고 있는 가운데, 이미 금융, 의료, 자율주행 등 다양한 산업에서는 XAI를 적용하려는 움직임이 포착되고 있음

아울러 XAI는 의사결정과 결론, 예측을 하는 AI가 제대로 판단하고 있는지 증빙할 수 있는 데이터를 차트와 분석을 통해 사용자에게 광범위하면서도 자세한 설명을 제공하는 인공지능으로, 이를 통해 판단근거와 신뢰도가 확보되면 안심하고 인공지능을 산업과 사회, 법ㆍ규제 등에 적용할 수 있을 것으로 분석하고 있음

▣ 특히 XAI는 딥러닝의 윤리, 규정, 신뢰성 요소와 관련된 중요한 기술로 머신러닝과 딥러닝 알고리즘이 어떻게 접근해 결정기준을 정하는지, 또 어떻게 설정됐는지를 밝히는데 기여함으로써 머지않아 그 변화를 체감할 수 있을 것으로 예상하고 있다.

현재의 인공지능이나 기계학습 기술은 본질적으로 잘 정의된 분류 및 최적화 기술의 하나로 최근 딥러닝이 전세계적으로 확산되고 다양한 분야에 도입되면서, AI의 추론에 대한 신뢰도를 높이기 위해 다양한 문제를 정밀하게 예측할 수 있는 XAI 활용이 본격적으로 대두되고 있음

[그림1] eXplainable AI시스템의 표현

출처: https://towardsdatascience.com/knowledge-graphs-for-explainable-ai-dcd73c5c016

딥러닝 기반 인공지능 블랙박스에는 상황을 인식하고 계획과 학습을 진행할 뿐 아니라, 인간이나 다른 동물의 지능을 흉내 내는 다양한 인지기술(Cognitive Technologies)로 구성되어, 이미 우리 곁에서 다양한 산업 전반에서 광범위한 영향을 미치며 새로운 가치 창출을 위해 활발하게 활용되고 있음

하지만 알고리즘이 어떻게 결론을 도출하는지 확인할 수 없기 때문에 투명하거나 책임감 있게 해석할 수 없는데, 이와 달리 XAI는 부정확한 추론 과정을 모델링함으로써 딥러닝 기반 인공지능의 문제를 보완할 것으로 예상하고 있음

설명가능한 AI는 1970년대 인공지능 시스템인 전문가 시스템이 도출 결과를 전문가들에게 이해시키지 못하면서 처음 등장하기 시작해, 이후 그 중요성이 인식되면서 일부 연구자들에 의해 지속적으로 연구가 진행되어 오다가, 2004년에 이르서야 XAI라는 전문용어로 자리 잡기 시작함

특히 미 국방성 산하 국방위고등연구계획국(DARPA)은 기존에 사용되던 인공지능 모델에 데이터를 기반으로 인공지능 시스템의 블랙박스 안을 확인한다는 의미로 XAI를 정의함

또한, 기밀정보 및 전략분석 분야와 무인자율시스템 작동 분야에 실무자가 인공지능의 의사결정을 이해하고, 결과를 신뢰하여 효과적으로 업무를 수행할 수 있게 하기 위해, 지난 2016년 XAI 투자 프로그램을 발표한 이후, 2017년부터 XAI 관련 프로젝트를 추진하며 가장 적극적으로 예산을 지원하고 있음

또한 유럽에서도 개인정보보호법(GDPR)을 통해 설명을 요구할 권리를 강제하며 설명가능 인공지능의 도입을 가속화하고 있으며, 아마존웹서비스(AWS)와 구글 등 클라우드 플랫폼 회사들도 앞다퉈 설명가능한 인공지능 개발에 참여하고 있음

아마존웹서비스(AWS)는 자사의 머신러닝용 완전 통합 개발 환경(IDE)인 아마존 세이지메이커 스튜디오(Amazon SageMaker Studio) 아래 개발자가 맞춤형 머신러닝을 보다 쉽게 생성하고 디버깅과 프로파일, 디텍션 등이 가능한 서비스를 개발해 머신러닝 모델 개발ㆍ도입을 위한 고도의 자동화, 통합, 디버깅, 모니터링 기능을 제공할 계획이라고 밝힘

특히 구글은 모델의 예측에서 각 속성(Attributes)의 상대적 중요성을 보여주는 그래프 또는 데이터 유형에 따른 맵을 제공하는 도구를 개발, 이를 통해 데이터의 편향과 머신러닝의 공정성 문제를 분석하고, 이를 개발자들이 시각적으로 판단할 수 있는 도구를 제공하는 등 이미 설명가능한 AI 서비스를 제공하고 있음

국내에서도 XAI의 중요성을 인식하고 정부의 ‘인공지능 국가전략프로젝트’의 일환으로 추론ㆍ판단 근거를 논리적으로 설명할 수 있는 인공지능을 개발한다는 목표 아래 울산과학기술원에 ‘설명가능 인공지능 연구센터’가 문을 열었으며, 또한 세계의 유명 대학 및 연구 기관 등도 XAI 개발에 박차를 가하고 있음

특히 미국 국방고등연구계획국(DARPA)에서는 설명가능한 모델을 개발하되 높은 성능을 유지해야 하며, 아울러 인간 사용자가 AI 파트너들을 이해하고 적절하게 신뢰할 뿐 아니라, 효율적으로 관리할 수 있어야 한다는 목표 아래, 머신러닝 기술개발을 진행하고 있는 가운데, AI 설명력을 예측 정확성, AI에 의해 수행된 행동에 대한 검사 및 추적성 등 세 가지 부분으로 나누어 제시하고 있음

이중 기존의 AI와 달리 XAI는 예측 정확성으로 인해 결과의 신뢰성을 높일 수 있는데, 이러한 예측 정확성은 미래의 의사결정, 의사결정 이해 및 인간 사용자와 운영자의 신뢰를 향상시키기 위해 모델이 어떻게 결론에 도달하는지를 설명하는 것을 의미하며, 이를 위해서는 설명할 수 있는 모델을 생성하는 새로운 기계학습 기술개발을 요구하고 있음

추적가능성은 학습 신경망 내의 수많은 관계와 연결을 사람이 이해하도록 추적하는 방식으로 인간이 AI 의사결정의 루프에 들어가 필요할 때마다 작업을 중지하거나 제어할 수 있게 되면, 한층 더 정교한 조정과 전환이 가능하게 될 것으로 분석하고 있음

또 XAI시스템은 특정작업을 수행하거나 의사결정을 내릴 때뿐만 아니라, 특정 결론을 내린 이유에 대한 투명한 보고서를 제공할 수 있는 모델 역시 가지고 있기 때문에 인공지능 기술이 확대될수록 그 필요성이 함께 증가하고 있음

[그림2] XAI 개발 과제

출처: https://www.darpa.mil/program/explainable-artificial-intelligence

▣ XAI 기술은 해석을 제공함으로써 데이터 및 기능 동작에서 문제를 찾는데 도움이 되는 개념으로 ‘좀 더 설명가능한 모델을 어떻게 만들 것인가’, 그리고 사용자에게 추가 정보를 전달할 수 있는 ‘설명을 위한 인터페이스를 어떻게 디자인할 것인가’, 마지막으로 ‘효율적인 설명을 위해 필요한 심리학적 요구사항을 어떻게 파악할 것인가’ 등과 같이 3가지 부문으로 나누어 진행된다.

이를 토대로 XAI는 합리적이고 추적 가능하며 이해할 수 있는 시스템을 감춤으로써 학습과정 중 데이터로부터 다양한 패턴을 추출ㆍ분석하여 드러나지 않았던 법칙, 전략 등을 도출할 수 있게 되고, 이를 기반으로 중개자에게 현명하고 단호하게 행동할 수 있는 추가 정보와 확신을 제공하게 됨

​특히 AI가 사람에게 의사결정의 이유를 설명하게 되면, 통제 감각을 되찾을 수 있기 때문에 질병진단과 금융거래, 조사 보고서 등에서 그 결과에 대한 신뢰성을 높일 수 있을 것이며, 그로 인해 용도는 더욱 확대될 것으로 전망하고 있음

[다양한 산업 분야에 활용될, 맞춤형 인공지능ㆍ설명 가능한 인공지능(XAI) 혁신 기술 트렌드 및 향후 전망] 보고서 상세보기

 

https://www.irsglobal.com/shop_goods/goods_view.htm?category=02000000&goods_idx=85445&goods_bu_id=