오늘날 기업은 매일 많은 중요 정보를 데이터베이스에 저장합니다. 자동화된 시스템에서 데이터를 백업하므로, 끊임없이 데이터를 다시 복사하고 저장하기 마련입니다. 결국 데이터 스토리지는 중복 데이터 카피본 때문에 차츰 불필요한 부담을 지게 됩니다. 데이터 요구 사항이 증가하고 처리 속도가 느려지면서 비용이 발생합니다.
따라서 데이터 중복 제거가 필요합니다.
데이터 중복 제거는 중복 데이터를 제거하여 스토리지 요구 사항을 줄입니다. 최첨단 기술로 등장한 이후 차츰 주류이자 필수 조건으로 자리잡았습니다. 2003년에 처음 등장했는데, 바로 기업들이 성능을 위해 테이프 스토리지에서 디스크 기반 백업으로 전환하려던 시절이었습니다.
그로부터 10년 후, 데이터 중복 제거는 Veritas NetBackup Appliance 등 각종 백업 제품의 표준 구성 요소가 되어 엔터프라이즈 데이터 보호 전략에 중요한 툴이 되었습니다.
그러나 기업에 적합한 백업 중복 제거 기술을 선택할 때는 고려할 사항이 많습니다. 사용 가능한 중복 제거 유형, 기술 작동 방식, 중복 제거에 영향을 미치는 요인, 압축과의 차이점, 가상화 환경에서의 중복 제거 등을 살펴봐야 합니다.
데이터 중복 제거에 관한 본 종합 가이드에서는 이 모든 사항, 그리고 베리타스가 NetBackup Appliance 미디어 서버에 고급 데이터 중복 제거 기술을 구현하는 방법을 설명합니다. 결국 베리타스는 특히 중복 제거에 관한 80개 이상의 특허 기술을 적용한 NetBackup MSDP(Media Server Deduplication Pool)를 출시했습니다.
MSDP는 압축 및 암호화, 짧은 백업 시간, 더 빠르고 확장 가능한 복구를 통해 클라우드 중복 제거를 보장합니다.
데이터 중복 제거 프로세스는 중복된 데이터 카피본을 제거하고 소프트웨어 시스템의 처리 시간을 줄입니다. 결국 모든 소프트웨어 시스템의 데이터 백업에서는 대용량 데이터 세트를 복사하고 저장하게 됩니다. 차츰 상당한 규모의 데이터 스토리지가 필요합니다. 따라서 데이터 중복 제거는 해당 조직에서 고유한 데이터 인스턴스 하나만 복사하고 저장하도록 데이터 스토리지를 최적화합니다.
근본적으로, 중복 제거는 데이터 세트 내에서 고유하지 않은 데이터 세그먼트를 제거합니다. 이렇게 정의하면, 중복 제거는 압축과 크게 다르지 않습니다. 그러나 과거 데이터보다 데이터를 줄여 스토리지를 절약하고, 여러 소스에서 유사한 데이터를 복사하는 것을 방지한다는 데 차이점이 있습니다.
중복 제거가 등장하기 전에는 압축이 대표적인 스토리지 절약 전략이었습니다. 압축 과정에서 백업 솔루션은 데이터가 백업 테이프나 디스크에 기록될 때 데이터 스트림을 압축했습니다. 그러나 압축을 통한 절약은 해당 시점에서만 가능했습니다. 즉, 다른 시점에 유사한 데이터 백업을 압축하는 것이 가능했는데, 그러면 같은 양의 공간을 또 차지하는 셈입니다.
중복 제거는 데이터를 세그멘트화하고 이전에 작성된 데이터를 나타내는 매트릭스와 비교하면서 확인한다는 점에서 다릅니다. 결국 고유한 세그먼트가 스토리지로 전송됩니다. 고유하지 않은 세그먼트에서는 유사한 세그먼트 데이터의 고유 인스턴스에 대한 참조를 생성합니다.
이를테면 한 1MB 첨부 파일의 인스턴스 50개가 회사의 이메일 시스템에 있습니다. 중복 제거 없이 이 플랫폼을 백업하면, 50개의 인스턴스가 모두 저장되므로 50MB의 스토리지 공간이 필요합니다. 그러나 중복 제거는 이메일 첨부 파일의 인스턴스 하나만 저장하게 합니다. 후속 인스턴스 각각은 저장된 카피본으로 참조됩니다. 따라서 스토리지 필요량이 50MB에서 1MB로 줄어듭니다.
간단히 설명하자면, 데이터 중복 제거 프로세스는 중복 제거를 위해 따로 설정한 데이터를 여러 청크로 자르는 것으로 시작됩니다. 청크는 하나 이상의 연속 데이터 블록으로 구성됩니다. 이 프로세스에서 청크를 나누는 방법 및 그 위치와 관련하여 각각의 특허 기술이 적용되었습니다. 프로세스에서 일련의 청크를 생성하면, 이미 생성되어 중복 제거 시스템의 확인을 거친 모든 이전 청크와 비교합니다.
시스템은 해시를 생성하는 결정적 암호화 해싱 알고리즘을 실행하여 청크를 비교합니다. 서로 다른 두 청크의 해시가 일치할 경우, 시스템은 동일하다고 간주합니다. 아무리 사소한 변경에도 청크 해시가 달라지기 때문입니다. 예를 들어, 암호화 해싱 알고리즘이 8MB 청크에 대해 SHA-1이라는 160비트 해시를 생성한다면, 시스템에서는 해당 청크를 백업할 때마다 8MB 가까이 절약하는 셈입니다. 따라서 데이터 중복 제거는 공간을 절약하는 데 매우 효과적입니다.
데이터 중복 제거 프로세스는 중복 데이터 블록을 제거하고 고유한 데이터 블록만 저장합니다. 데이터 블록의 고유 디지털 시그니처인 핑거프린트에 의존합니다. 따라서 인라인 중복 제거 엔진은 시스템이 데이터를 쓸 때 들어오는 데이터 블록을 검사하고, 각각에 대한 핑거프린트를 개발하여 해시 저장소에 보관합니다(인메모리 데이터 구조).
이 프로세스는 핑거프린트 계산 후 해시 저장소에서 조회를 수행합니다. 그런 다음 캐시 메모리의 중복 핑거프린트(도너 블록)와 일치하는 데이터 블록을 검사합니다. 해시 저장소에서 일치하는 항목을 찾으면, 다음 두 가지 중 하나가 진행됩니다.
백그라운드 복제 엔진도 유사하게 작동합니다. 모든 데이터 블록을 대량으로 검색합니다. 블록 핑거프린트를 비교하는데, 바이트 대 바이트 비교를 수행하면서 오탐지를 방지하고 중복을 제거합니다. 이 프로세스에서는 어떤 데이터도 손실되지 않습니다.
중복 제거 엔진을 만드는 것은 어렵지 않지만, 확장 가능한 성능 최적화 내결함성 솔루션을 만들기란 쉽지 않습니다. 중복 제거가 발생하는 방법과 위치에 따라 서비스 품질이 크게 달라집니다. 다음은 주요 중복 제거 유형입니다.
가장 효율적인 형태의 중복 제거인 사후 중복 제거에는 전체 데이터 세트를 임시로 저장하기 위한 대용량 디스크 캐시와 중복 제거된 데이터를 위한 또 다른 디스크 캐시가 필요합니다. 따라서 데이터를 대상 디스크에 성공적으로 기록할 때까지는 중복 제거 프로세스를 적용하지 않습니다. 여기서는 사후 중복 제거 방식으로 처리가 이루어집니다. 그런 다음 중복 제거 리포지토리에 데이터를 저장합니다.
처리 시간에 대한 걱정 없이 소스에서 데이터를 가져온다는 점이 좋지만, 공간을 비효율적으로 사용하고 데이터 무결성 문제를 야기합니다. 이런 까닭에 베리타스 중복 제거 솔루션은 사후 중복 제거를 제공하지 않습니다.
인라인 중복 제거는 데이터 스트림을 스토리지에 쓰기 전에 데이터 스트림에 중복 제거 프로세스를 적용합니다. 고유한 데이터 세그먼트만 스토리지에 씁니다.
소스 측 중복 제거는 네트워크를 통해 전송해야 하는 데이터의 양이 대폭 줄기 때문에 데이터 전송의 관점에서 효율적입니다. 다행히 베리타스 중복 제거 솔루션은 대상 및 소스 인라인 중복 제거/압축을 모두 수행합니다.
그 밖에도 다음과 같은 데이터 중복 제거 방법도 자주 사용됩니다.
디스크 용량이 계속 커지고 있으나, 데이터 스토리지 벤더는 갈수록 증가하는 고객의 데이터를 스토리지 및 백업 디바이스에 저장할 방법을 여전히 모색합니다. 게다가 데이터 스토리지와 잠재적 디스크 용량을 최대화할 새로운 방법을 발굴하는 것도 바람직합니다.
이에 스토리지 및 백업 벤더는 중복 제거, 압축과 같은 데이터 감축 전략에 의존합니다. 그러면 고객은 스토리지 미디어의 용량보다 더 많은 데이터를 효과적으로 저장할 수 있습니다. 고객이 다양한 데이터 감축 메커니즘을 통해 5:1의 감축 효과를 얻는다면, 이론적으로 10TB 스토리지 어레이에 최대 50TB의 데이터를 저장할 수 있습니다.
다음과 같은 시나리오를 생각해보십시오.
가상 데스크탑 환경에서 200개의 동일한 워크스테이션을 지원합니다. 이 워크스테이션은 데이터 저장 목적으로 도입한 고가의 스토리지 어레이에 데이터를 저장합니다. Windows 10, Office 2013 및 2016, ERP 소프트웨어 등 사용자에게 필요한 각종 소프트웨어 툴의 카피본을 실행하고, 각 워크스테이션 이미지가 약 25GB의 디스크 공간을 사용한다고 가정합니다. 200개의 워크스테이션에서 5테라바이트의 용량을 소비합니다.
중복 제거를 통해 개별 가상 머신의 카피본 하나를 저장합니다. 스토리지 어레이는 나머지에 대한 포인터를 배치합니다. 따라서 중복 제거 엔진은 환경에 이미 저장된 동일한 데이터 자산을 찾을 때마다 데이터를 다시 복사하는 게 아니라, 작은 크기의 포인터를 데이터 카피본 대신 저장합니다. 이러한 방식으로 중복 제거는 스토리지 블록을 비웁니다.
보호받는 데이터를 대상으로 중복 제거를 순조롭게 수행하려면, 면밀한 중복 제거 구축 계획이 필요합니다. 데이터 유형에 따라 그 구성을 기준으로 중복 제거 수준이 다를 수 있습니다. 이를테면 이미지 파일, 가상 이미지, 압축 데이터, 암호화된 데이터, NDMP 스트림은 중복 제거가 잘 수행되지 않습니다.
또한 변경이 잦은 데이터베이스는 최적의 중복 제거 결과를 얻도록 데이터를 표현하기 위해 더 많은 노력이 필요할 수 있습니다. 베리타스 중복 제거 프로세스는 중복 제거 수준에 따라, NetBackup 내에 다양한 데이터 유형별로 각기 다른 정책을 구현할 수 있습니다.
베리타스는 데이터 중복 제거를 개선하기 위해 두 가지 방법을 마련했습니다.
MSDP는 베리타스 기술을 적용한 지능형 스트림 처리기를 사용하여 데이터 유형에 따라 중복 제거 대상 스트림을 최적화합니다. 아울러 스트림 처리기는 적응형이며 데이터를 인식합니다. 따라서 수집된 데이터 유형을 기반으로 스토리지 효율성 및 백업 성능을 제고하는 데 도움이 됩니다.
결과적으로, 데이터 스트림은 고정 길이 세그멘테이션을 통해 빠른 속도로 꾸준히 우수한 중복 제거율을 달성하는 방향으로 바뀝니다. 또한 표준 파일 시스템 백업, VMware, NetApp, EMC NDMP, Hyper-V, 기타 스냅샷 기반 솔루션(FlashBackup 등)에서 스트림 처리기를 사용합니다.
베리타스는 스트림 처리기를 채택하지 못한 고객도 최적의 중복 제거 결과를 얻을 수 있도록 NetBackup에 VLD(Adaptive Variable Length) 세그먼트화 기능을 도입했습니다. VLD는 정의된 세그먼트 크기 범위를 토대로 중복 제거된 데이터에 대한 최적의 세그먼트화를 찾습니다. 고정 길이 세그먼트화보다 더 효과적으로 CPU 성능을 활용하는 동시에 불투명한 데이터에 대해 최상의 결과를 얻을 수 있습니다.
NetBackup, NetBackup Virtual Appliance, NetBackup Appliance 환경에서는 중복 제거 풀을 생성할 수 있습니다. 이 풀은 셸프 경계의 제약을 받지 않으므로, 디스크 셸프가 다른 스토리지 용도로 쓰이는 것이 가능합니다. 게다가 MSDP는 하나의 미디어 서버에서 고정 길이, 가변 길이, 중복 제거 없음 옵션 중에서 선택할 수 있습니다.
오늘날 많은 애플리케이션은 저장 상태의 데이터에 암호화를 적용하는데, 이 방식은 업계 보안 트렌드에 따라 빠르게 자리잡고 있습니다. NetBackup은 데이터 스토리지 전용 스토리지 셸프가 필요하지 않습니다. 즉, 이러한 워크로드가 중복 제거되지 않은 스토리지 풀로 이동하므로, 스토리지 비용이 최대 200% 절감됩니다. 이는 벤더의 요금을 비교할 때 고려할 사항입니다.
데이터 중복 제거는 꼭 필요합니다. 스토리지 공간 요구 사항을 획기적으로 줄이고, 비용을 절감하는 것은 물론, 원격 스토리지 위치끼리 데이터를 주고받기 위한 대역폭 사용량도 절약하기 때문입니다. 단일 소스에서 데이터를 저장하고 가져옴으로써 확장성과 효율성도 제고할 수 있습니다. 서로 다른 공간에 저장되는 유사 데이터가 많을수록 전체 시스템이 느려집니다.
다음과 같은 이점도 있습니다.
데이터 중복 제거는 중복 데이터 청크를 찾아낸 다음, 다시 복사하지 않고 포인터를 배치합니다. 이와 달리 압축은 데이터를 나타내는 데 필요한 스토리지 비트 수를 최소화합니다. 하지만 둘 다 저장 용량을 최대화하는 데이터 감축 전략의 일부입니다.
다음과 같은 영역에 중복 제거를 적용할 수 있습니다.
이러한 파일 서버는 다양한 용도로 사용되며, 다음과 같은 공유를 포함할 수 있습니다.
여러 사용자가 동일한 파일에 대한 수많은 데이터 카피본과 수정본을 가지고 있으므로, 범용 파일 서버가 중복 제거에 적합합니다. 또한 소프트웨어 개발 공유에도 유용한데, 다수의 바이너리는 빌드가 바뀌더라도 거의 변경되지 않기 때문입니다.
원격 데스크탑 서비스와 같은 VDI 서버를 통해 직원에게 PC를 효율적으로 제공할 수 있습니다. 다음과 같은 이유로 이 기술을 사용합니다.
VDI 구축 환경은 데이터 중복 제거를 적용하기에 매우 적합한 후보입니다. 원격 데스크탑을 구동하는 가상 하드 디스크가 거의 동일하기 때문입니다.
가상화된 백업 애플리케이션이 백업 타깃으로, 백업 스냅샷 간에 효과적인 중복 제거가 이루어지기 때문입니다. 따라서 백업 프로그램은 중복 제거를 적용할 후보로 완벽합니다.
중복 제거 기술을 백업 인프라스트럭처에서 사용할 경우, 획기적으로 비용을 절감할 수 있습니다. 하지만 이론적으로는 백업 이미지도 결국 중복 데이터가 됩니다.
예를 들어, 여러 관계자가 동일한 데이터 세트 또는 문서를 사용하여 작업하곤 합니다. 그러면 수많은 시스템에서 데이터의 일부 또는 전부가 중복될 수 있으며, 이는 비효율적이고 비용이 많이 듭니다. 게다가 다년간 데이터를 보존해야 하는 시나리오에서는 엄청난 양의 데이터가 저장될 것입니다.
본래 테이프 스토리지는 가장 비용 효율적인 데이터 보존 솔루션이었습니다. 그러나 그 모든 데이터를 저장하는 데 드는 비용이 심각한 문제가 되었습니다. 테이프는 어레이 세트보다 비용이 저렴하지만, 미디어가 차지하는 물리적 공간이 너무 많은 편이라 이상적인 솔루션은 아닙니다.
게다가 테이프 스토리지 전용 관리 하드웨어가 데이터 센터에서 차지하는 공간도 만만치 않습니다. 테이프를 필요한 위치에 가져가려면, 장기간에 걸쳐 데이터를 운송하고 저장하는 등 온갖 물류 문제가 발생합니다. 긴급 복원 상황에서는 다운타임 장기화의 원인이 됩니다. 그리고 운영 능력과 총소유비용에도 큰 영향을 미칩니다.
베리타스는 이러한 모든 문제를 두루 해결할 데이터 보호 솔루션을 강력한 통합형 데이터 중복 제거 스토리지 엔진 형태로 개발했습니다. MSDP와 NetBackup을 통합하여 단일 애플리케이션 형태의 종합 솔루션을 생성했습니다. 그 결과, 베리타스의 중복 제거 데이터 형식은 새로운 가능성과 함께 탁월한 이동성을 제공합니다. 여러 위치와 다양한 대상을 포괄하여 데이터 복제를 수행할 수 있다는 점도 중요합니다.
NetBackup 클라이언트는 클라이언트 측 중복 제거를 지원하지만, MSDP는 다른 데이터 중복 제거 솔루션과 달리 수신 스트림 수를 제한하거나 연결을 거부하지 않습니다.
가상화 솔루션은 새로운 기회와 복잡성을 동반합니다. 예컨대 많은 가상 엔티티가 단일 공통 코어 인프라스트럭처를 공유하는 것이 일반적인데, 그러면 가상 머신(VM) 확산, 즉 수천 개의 호스트가 데이터 세트 또는 단일 표준 템플릿을 공유하되 각자 고유한 요소를 보유하는 상황이 발생합니다. 게스트 시스템의 독립성을 유지하면서 이러한 지점을 보호하다보면, 방대한 과거 데이터가 쌓이게 됩니다.
중복 제거로 이 모든 데이터를 보호할 수 있습니다. NetBackup MSDP는 가상 머신(VM) 데이터를 보호하고, 즉각적인 운영 및 재해 복구 기능을 제공합니다. 아울러 고객은 NetBackup Appliance 및 NetBackup Universal Share with MSDP를 활용하여 복제, 테스트 또는 기타 용도를 위해 VM 또는 VM의 보조 카피본에서 개별 파일에 즉시 액세스하는 것을 보호할 수 있습니다.
또한 NetBackup은 백업 관리자가 게스트 운영 체제의 스왑 파일 및 페이징 파일에 포함된 데이터를 제외하는 것이 가능하므로, 백업하고 압축할 데이터가 줄어듭니다.
결과적으로, 가상화 환경의 데이터 중복 제거는 공간을 재확보하는 데 도움이 됩니다. 더 이상 필요하지 않은 데이터 세그먼트를 제거하는 번거로움 없이 더 수월하게 데이터 쓰기 작업을 수행할 수 있습니다. MSDP에는 클라우드 환경에서 데이터 정리 및 중복 제거를 간소화하는 rebase라는 특허 기술 기반 프로세스가 있습니다.
MSDP 스토리지 서버는 스토리지에 데이터를 쓰고 스토리지로부터 읽어들이는 엔티티입니다. 하나의 호스트는 스토리지 서버로, 각 NetBackup 중복 제거 노드에 대해 하나씩만 존재하는 NetBackup 미디어 서버여야 합니다. 또한 스토리지 서버 구성 요소는 미디어 서버에서 실행되지만, 별도의 논리적 엔티티입니다. 다음은 MSDP 스토리지 서버의 기능입니다.
구성하는 스토리지 서버 및 노드의 수는 스토리지 요구 사항에 따라, 최적화된 복제 또는 복제 사용 여부에 따라 달라집니다.
NetBackup Appliance 및 Virtual Appliance를 사용하면, 안전하고 유연하며 확장 가능하고 관리하기 쉬운 방식으로 MSDP 서비스를 구축할 수 있습니다. 단일 NetBackup Appliance는 최대 960TB의 중복 제거 데이터를 지원하는데, Virtual Appliance는 250TB를 지원합니다. 또한 각 NetBackup Media Server Appliance가 중복 제거된 데이터와 중복 제거되지 않은 데이터를 호스팅합니다.
NetBackup Appliance는 안전한 단일 운영 체제(OS)를 실행합니다. 여러 대의 가상 머신(VM)에서 서로 다른 OS를 실행하는 형태가 아닙니다. 여러 대의 가상 머신에서 서로 다른 OS를 실행할 경우, 잠재적 공격 범위가 늘어나므로 안전하지 않습니다.
NetBackup Appliance는 역할 기반 액세스 제어 및 SDCS(Systemic Data Center Security)를 통해 보안 보호 및 침입 탐지 기능을 제공합니다. FIPS 140-2 검증 기능도 추가 비용 없이 포함됩니다.
아울러 NetBackup Appliance는 대규모 복원이 가능하도록 빠른 복구 속도를 지원합니다. 이 기술은 SSD와 같은 추가 요구 사항이나 제한 없이 여러 건의 동시 복구를 지원합니다.
베리타스에는 NetBackup Appliance 각 버전의 성능을 테스트하고 검증하는 엔지니어와 성능 전문가로 구성된 정예 팀도 있습니다.
기업 운영이 확장되면 비용 절감 및 효율성 보장 차원에서 대용량 데이터 볼륨 관리가 중요해집니다. 데이터 중복 제거를 통해 방대한 데이터를 최상의 방식으로 처리할 수 있습니다.
Veritas NetBackup Appliance는 데이터 보호 및 중복 제거를 위한 업계 최고의 기술 솔루션입니다. 우수한 성능, 보안, 확장성을 두루 갖춘 환경에서 데이터 암호화 및 압축 기능도 제공합니다.
MSDP 기술이 적용된 NetBackup Appliance는 백업 공간을 최소화하고 데이터 전송 속도를 최적화하여 상당한 비용 절감 효과를 제공합니다. 그리고 NetBackup 가상 어플라이언스는 MSDP 서비스를 클라우드 및 기타 가상 환경으로 확장합니다.