2장 - 개략적인 규모 추정

1. 개요#

• 시스템 설계 면접 시, 시스템 용량이나 성능 요구사항을 개략적으로 추정해야할 경우가 있다.
• 개략적 규모 추정을 효과적으로 해 내려면 규모 확장성을 표현하는 데 필요한 기본기에 능숙해야 하며, 2의 제곱수나 Latency 값, 그리고 가용성에 관계된 수치들을 기본적으로 잘 이해하고 있어야 한다.

2. 2의 제곱수#

• 분산 시스템에서 다루는 데이터 양은 엄청나게 커질 수 있으나 그 계산법은 기본을 크게 벗어나지 않음

3. 모든 프로그래머가 알아야 하는 응답지연 값#

• 2010년에 통상적 컴퓨터 연산의 응답지연 값으로 현재는 몇몇 수치는 유효하지 않지만 해당 수치로 컴퓨터 연산의 처리 속도를 짐작하게 해준다.

• 이를 통해 알 수 있는건 다음과 같다.

  • 메모리는 빠르지만 디스크는 아직 느리다.
  • 디스크 탐색은 가능한 피하자
  • 단순한 압축 알고리즘은 빠르다.
  • 인터넷 전송 전 가능한 압축하자.
  • 지역간 데이터 전송은 시간이 걸린다.

4. 가용성에 관계된 수치들#

• 고가용성은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어다.

• SLA(Service Level Agreement)는 서비스 사업자(service provider)가 보편적으로 사용하는 용어로, 서비스 사업자와 고객 사이에 맺어진 합의를 의미한다.

  • 이 합의에는 서비스 사업자가 제공하는 서비스의 가용시간(uptime)이 공식적으로 기술되어 있다.

5. 예제 : 트위터 QPS와 저장소 요구량 추정#

가정#

• 월간 능동 사용자(monthly active user)는 3억명이다.
• 50%의 사용자가 트위터를 매일 사용한다.
• 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
• 미디어를 포함하는 트윗은 10% 정도다.
• 데이터는 5년간 보관된다.

추정#

• QPS 추정치

  • DAU : 300,000,000 * 50% = 150,000,000 (1.5억)
  • QPS : 150,000,000 * 2(tweet)/24(hour)/3600(second) = 3472.2 (약 3500)
  • 최대 QPS(Peek QPS) : 2 * QPS = 6944 (약 7000)
• 미디어 저장을 위한 저장소 요구량

  • 평균 트윗 크기

    • tweet_id = 64Byte
    • text =140Byte
    • Media = 1MB
  • 미디어 저장소 요구량 : 15억 X 2 X 10% X 1MB = 30TB/일
  • 5년간 미디어 보관하기 위한 저장소 요구량 : 30TB X 365 X 5 = 약 55PB