[IT] 샤딩(Sharding) / 샤드(Shard) - DB의 수평적 규모 확장

📂 데이터베이스의 규모 확장

저장할 데이터가 많아지면 데이터베이스에 대한 부하도 증가하게 된다. 그때가 오면 데이터베이스를 증설할 방법을 찾아야 한다. 

데이터베이스의 규모를 확장하는 데는 두 가지 접근법이 있다. 

📄 수직적 확장

Scale-up 이라고도 부르는 수직적 규모 확장법은 기존 서버에 더 많은, 또는 고성능의 자원(CPU, RAM, 디스크 등)을 증설하는 방법이다. 이러한 수직적 접근법에는 몇 가지 심각한 약점이 있다. 

• 데이터베이스 서버 하드웨어에는 한계가 있으므로 CPU, RAM 등을 무한 증설할 수는 없다. 사용자가 계쏙 늘어나면 한 대 서버로는 결국 감당하기 어렵게 될 것이다.
• SPOF(Single Point of Failure)로 인한 위험성이 크다. 
• 비용이 많이 든다. 고성능 서버로 갈수록 가격이 올라가는 것은 당연하다.

📄 수평적 확장

데이터베이스의 수평적 확장은 샤딩(sharding)이라고도 부르는데, 더 많은 서버를 추가함으로써 성능을 향상시킬 수 있다. 아래 그림은 수직적 확장법과 수평적 확장법이 어떻게 다른지 보여준다. 

📂 샤드(Shard)? 샤딩(Sharding)?

샤딩은 대규모 데이터베이스를 샤드(shard)라고 부르는 작은 단위로 분할하는 기술을 말한다. 즉, 데이터베이스에서 부하 분산을 위해 다수의 데이터베이스에 데이터를 분산 저장하는 기법이다.  모든 샤드는 같은 스키마를 쓰지만 샤드에 보관되는 데이터 사이에는 중복이 없다. 

 

아래의 그림은 샤드로 분할된 데이터베이스의 예이다. 사용자 데이터를 어느 샤드에 넣을지는 사용자 ID에 따라 정한다. 이 예시에서는 user_id % 3을 해시 함수로 사용하여 데이터가 보관되는 샤드를 정한다. 

또한, 아래는 각 샤드 노드에 사용자 데이터가 어떻게 보관되는지를 보여준다. 

보이는 것처럼 샤드 간에 중복되는 데이터가 존재하지 않는다!

🏷 샤딩 키(Sharding Key)

샤딩 전략을 구현할 때 고려해야 할 가장 중요한 것이 바로 샤딩 키(sharding key)를 어떻게 정하느냐 하는 것이다. 샤딩 키는 파티션 키(partition key)라고도 부르는데, 데이터가 어떻게 분산될지 정하는 하나 이상의 칼럼으로 구성된다. 위 그림의 경우, 샤딩 키는 user_id이다. 샤딩 키를 통해 올바른 데이터베이스에 질의를 보내어 데이터 조회나 변경을 처리하므로 효율을 높일 수 있다. 이 샤딩 키를 정할 때는 데이터를 고르게 분할 할 수 있도록 하는 게 가장 중요하다. 

 

 샤딩은 DB 규모 확장을 실현하는 휼륭한 기술이지만 완벽하지는 않다. 샤딩을 도입하면 시스템이 복잡해지고 풀어야 할 새로운 문제도 생긴다. 

• 데이터의 재 샤딩(resharding) : 재 샤딩은 다음과 같은 경우에 필요하다.
  • 데이터가 너무 많아져서 하나의 샤드로는 더 이상 감당하기 어려울 때
  • 샤드 간의 데이터 분포가 균등하지 못하여 어떤 샤드에 할당된 공간 소모가 다른 샤드에 비해 빨리 진행될 때
    이 경우를 샤드 소진(shard exhaustion)이라고도 부르는데 이런 현상이 발생하면 샤드 키를 계산하는 함수를 변경하고 데이터를 재배치하여야 한다. 안정 해시(consistent hashing) 기법을 활용하면 이 문제를 해결할 수 있다. 
• 유명인사(celebrity) 문제 : 핫스팟 키(hotspot key) 문제라고도 부르는데, 특정 샤드에 질의가 집중되어 서버에 과부하가 걸리는 문제이다. 예를 들어, BTS, 봉준호, 손흥민, JPark Let's go 같은 유명인사가 전부 같은 샤드에 저장되는 데이터베이스가 있다고 해 보자. 이 데이터로 사회 관계망 애플리케이션을 구축하게 되면 결국 해당 샤드에는 read 연산 때문에 과부하가 걸리게 될 것이다. 
• 조인과 비정규화(join and de-normalization) : 일단 하나의 데이터베이스를 여러 샤드 서버로 쪼개고 나면, 여러 샤드에 걸친 데이터를 조인하기가 힘들어진다. 이를 해결하는 한 가지 방법은 데이터베이스를 비정규화하여 하나의 테이블에서 질의가 수행될 수 있도록 하는 것이다.