데이터 메시

1. 데이터 메시란 무엇인가?#

• 분산된 소유권을 통해 고급데이터 보안 문제를 해결하는 아키텍처 프레임워크
• 조직 내 여러 데이터 소스가 있을 경우 서로 다른 데이터 소스를 효과적으로 통합하고 데이터 공유 및 거버넌스 지침을 통해 서로 연결함
• 아키텍처 복잡성은 증가하지만 데이터의 엑세스와 보안, 확장성을 증가시킴

리드문#

2. 데이터 메시 원리#

• 도메인 기반 분산 아키텍처

  • 데이터를 도메인별 분리, 각 도메인의 소유권과 책임을 나눔
  • 이를 통해 전문성을 높히고 변화에 빠른 대응가능
• 데이터를 제품으로 취급

  • 단순한 정보가 아닌 가치 있는 제품으로 간주
  • 도메인별 제품을 개발/운영/관리하며 사용자가 필요로 하는 형태와 품질로 데이터 제공
• 셀프 서비스 데이터 플랫폼

  • 데이터 접근 편의성을 위한 셀프 데이터 서비스 플랫폼 구축
• 연합 거버넌스

  • 데이터 일관성을 유지하지만, 도메인별 자율성 존중
  • 이를 통해 데이터 품질/보안을 유지하지만 유연성이 증가

3. 데이터 메시 구축 방법#

1. 도메일 식별 및 데이터 제품 정의

   1. 비즈니스 도메인 식별, 각 도메인별 관리 데이터 제품 정의
2. 분산 데이터 아키텍처 설계

   1. 도메인 별 독립적 데이터 저장/처리/제공 가능한 아키텍처 설계
3. 셀프 서비스 데이터 플랫폼 구축

   1. 사용자가 필요한 기능을 제공하는 셀프 서비스 데이터 플랫폼 구축
4. 데이터 거버넌스 체계 수립

   1. 데이터 품질, 보안, 접근 권한 등을 관리하는 연합 거버넌스 체계 수립
5. 문화적 변화 및 조직 개편

   1. 데이터 소유권과 책임의 분산, 데이터 제품 중심 사고 등 핵심가치 내재화

4. 비슷한 기술들과의 차이점#

언급해볼만한 기술적 요소#

• IaC

  • 코드적 인프라 관리
• IAM

  • 접근 권한 부여/회수