출처 : https://xtech.nikkei.com/atcl/nxt/keyword/18/00002/061600232/

데이터 패브릭(data fabric)이란 기업 안팎의 관련된 모든 데이터를 관리하고 기업 활동에 활용하기 위한 데이터 관리 설계 개념이다. 기업 내 업무 시스템에서 발생하는 정형 데이터, IoT(사물인터넷) 등의 새로운 시스템에서 발생하는 비정형 데이터에 더하여 거래처 데이터 및 소비자의 스마트폰을 통해 얻을 수 있는 정보 등 각종 데이터를 활용할 수 있도록 하는 것을 목적으로 한다. 다양한 데이터소스를 다음과 같이 실로 연결하여 천을 만든다는 의미에서 패브릭(fabric)이라고 부른다.

예를 들어, 현장에서 ‘공급체인에서 발생하는 납기 지연의 원인을 알고 싶다’는 요구를 하면, 곧바로 지연된 원인을 알기 위해 필요할 것 같은 데이터를 전체적으로 수집하고 분석할 수 있는 시스템을 만드는 것이 데이터 패브릭의 목적이다.

지연된 원인이 자사 내의 제조가 지연된 것인지, 부품을 조달하는 거래처 때문인지, 완성 제품을 운송하는 물류 회사 때문인지, 아니면 운송 경로에서 일어난 교통사고에 의한 것인지 등, 조사하고자 하는 일에 따라 필요한 데이터를 자동으로 수집하고 분석함으로써 목적으로 달성하고자 한다.

<표> 데이터 패브릭 개요

지금까지도 기업은 데이터를 분석하고 업무에서 활용하기 위한 정보 시스템을 조성하는 데 주력해 왔다. 데이터 마트 및 데이터 웨어하우스가 그 대표적인 예다. 데이터 웨어하우스의 경우, 여러 업무 시스템의 데이터를 정리하여 수집ㆍ축적하고 필요에 따라 분석할 수 있는 환경을 목적으로 하는 시스템이다. 많은 기업이 데이터를 활용하기 위해 데이터 웨어하우스에 데이터를 축적하고 있다.

데이터 웨어하우스와 데이터 패브릭 모두 기업에서 데이터를 활용하는 것을 목적으로 하지만, ‘특정한 목적을 가지고 준비되었는가’ 하는 점에서 그 차이가 있다. 데이터 웨어하우스의 경우, 마케팅 분석 및 주요 경영 지표 파악과 같이 목적을 명확히 하여 구축해야 한다.

이에 반해 데이터 패브릭의 경우, 특정한 사업 부문이나 업무에만 초점을 맞춘 형태로 활용하는 것을 상정하는 것이 아니라 폭넓은 문제에 대응할 수 있도록 망라적으로 다양한 데이터 소스를 관리하는 것을 상정한다. 그에 더해 데이터를 활용하는 목적도, 특정한 업무나 과제만을 상정하고 있지 않다. 어떤 업무와 과제에 대해서도 데이터를 활용할 수 있도록 하는 것을 목적으로 한다.

데이터 패브릭을 실현하기 위한 제품과 기술은 갖추어져 있다. 하지만 데이터 패브릭 구축 소프트와 같이 하나의 기술이나 제품으로 구성된 것은 없다

구체적으로는 데이터를 격납하는 데이터베이스 및 데이터 웨어하우스, 데이터를 수집하는 ETL(추출ㆍ변환ㆍ기록) 소프트, 데이터의 활용을 지원하는 BI(비즈니스 인텔리전스) 소프트 및 데이터 분석 소프트 등이 구성 요소이다.

다양한 구성 요소 중 특히 데이터 패브릭을 실현하는 데 있어 중요한 것이 메타데이터다. 메타데이터는 데이터를 설명하기 위한 데이터다. 메타데이터를 만들려면 데이터 소스가 되는 데이터베이스에 대해 ‘어떤 테이블에 어떤 데이터가 존재하는지’와 같은 정보를 수집하여 등록해야 한다. 그에 더해 NoSQL의 그래프 데이터베이스를 이용하여 메타데이터 간의 관계를 관리해야 한다.

데이터 패브릭에서 데이터를 활용하거나 분석하고자 하는 경우에는, 그때마다 적절한 데이터 소스에서 필요한 데이터를 수집하게 된다. 그때 메타데이터나 데이터 간 관계성을 포함하고 있는 그래프 데이터베이스 내의 정보를 바탕으로 데이터를 수집한다.

그러므로 데이터 패브릭을 실현하려면 메타데이터를 최신 상태로 유지해야 한다. 데이터베이스가 변경된 경우에는 반드시 변경 사항을 반영해야 하며, 그렇지 않으면 올바른 데이터 소스에 접속할 수 없기 때문이다. 메타데이터 작성 및 갱신은 AI(인공지능) 등을 이용하여 자동화하고, 데이터 간 관계성을 발견하는 데 있어서는 ‘인간의 힘도 필요하다’고, 이치시는 말한다.

메타데이터에 더하여 데이터 패브릭을 실현하려면, 데이터 패브릭을 구성하는 요소를 특정하는 것이 아니라 재구성하거나 새로운 요소를 추가하기 쉽도록 설계해야 한다.

데이터 패브릭은 이전부터 제창되어 온 개념이지만, 최근 몇 년 사이 주목도가 올라갔다. 이전에는 실현하기 어려웠지만 이제는 데이터 패브릭을 실현하기 위한 중요한 퍼즐의 한 조각으로 이용할 수 있는 제품과 서비스가 등장했기 때문이다. 그에 더해 많은 기업이 자사를 둘러싼 문제를 해결함에 있어 자사 내에서만 그치지 않고 폭넓은 데이터를 활용할 수 있는 데이터 패브릭의 중요성을 깨닫게 되었기 때문이기도 하다.

데이터 패브릭과 관련된 기술의 성숙도가 향상되고 기업의 이해도 깊어지긴 했지만, 실제 환경에서 데이터 패브릭을 실현하는 것은 쉬운 일이 아니다. 거래처 및 소비자의 폭넓은 데이터 소스를 수집하기 위한 합의를 얻어야 하며, 메타데이터를 관리하고 갱신하는 체제를 만들고, 데이터 분석 전문가가 아닌 사람도 활용할 수 있는 환경을 마련하는 등 다양한 준비를 해야 한다.