방송사나 대형 프로덕션에서 영상 작업을 한 번이라도 해 보신 분이라면 ‘공유 스토리지’라는 용어를 들어 본 적이 있을 겁니다.
이는 주로 촬영본 파일 인제스트나 라인피드 인제스트, 영상 아카이브에 사용되는 중앙 스토리지를 지칭하며,
온 프레미스(On-Premise) 제작 시스템에서는 없어서는 안 될 굉장히 중요한 부분이기도 합니다.
*온 프레미스(On-Premise) : 기업의 서버를 자체적으로 보유하여 직접 설치 및 운용하는 방식
오늘은 이 스토리지를 기억장치별, 등급별, 연결 방식별, 저장 방식별로 분류하여 좀 더 깊숙이 알아보는 시간을 가져보도록 하겠습니다.
글의 순서
스토리지란?
스토리지는 영어의 뜻 그대로 저장 창고라는 뜻이 있지만 저희가 원하는 뜻은 바로 ‘기억 장치’가 되겠습니다.
기억 장치는 컴퓨터에서 데이터를 ‘일시적’으로 또는 ‘영구히’ 보존하는 장치를 뜻합니다.
쉽게 ‘데이터 저장소’라고 생각하시면 될 것 같습니다.
이러한 다양한 형태의 디스크들을 장착하여 데이터를 저장하고 관리할 수 있도록 하는 장치가 바로 스토리지입니다.
물론 서버와 같은 형태로 랙에 설치하여 서버와 연결할 수 있습니다.
데이터 센터나 기업의 전산실, 방송국이나 대형 프로덕션의 서버실에서 많이 사용하는 형태이기도 합니다.
1.스토리지의 기억장치별 분류
기업용으로 많이 사용되는 기억 장치는 HDD와 SSD뿐 아니라 TAPE와 NVME도 있습니다.
TAPE 드라이브는 자기 테이프에 저장된 데이터를 읽고 쓰는 데이터 기억장치입니다.
다른 기억 장치에 비해 데이터 전송 속도가 느리지만 안정적이기 때문에 데이터를 오래 보관할 수 있습니다.
때문에 일반적으로 백업 스토리지로 많이 사용하고 있습니다.
최근 노트북이나 PC에도 많이 사용되고 있는 NVME도 있습니다.
NVME는 기존 HDD의 최적화된 SATA 규격 대신 PCIE 인터페이스를 기반으로 연결하는 SSD 형태의 플래시 메모리입니다.
쉽게 말해서 SSD의 성능을 최대한으로 사용할 수 있게 개발된 가장 빠르고 비싼 SSD라고 생각하시면 됩니다.
간단하게 정리하면
오래 저장할 수 있는 TAPE,
가성비가 좋아 많이 사용하고 있는 HDD,
속도가 빠른 SSD,
더 빠른 NVME라고
정리할 수 있겠습니다.
2.스토리지의 등급별 분류
스토리지를 서버처럼 등급으로 나누기도 합니다.
컨트롤러나 프로세서, 캐쉬 메모리의 사양으로도 나누기도 하는데 ‘가용성’으로도 구분하고 있습니다.
*가용성이란? 서버와 네트워크, 프로그램 등의 정보 시스템이 정상적으로 사용 가능한 정도를 말합니다.
99%처럼 ‘%’로 표현하면서 100%에 가까울수록 시스템 중단 없이 서비스를 제공한다고 볼 수 있습니다.
미드레인지(Midrange) 기준으로는
Five 9s(파이브 나인즈), ‘99.999%’의 가용성을 보장하며 연간 ‘5분 25초 이하’의 장애를 허용해야 한다는 의미입니다.
3.스토리지의 연결 방식별 분류
스토리지는 연결 방식에 따라서 DAS, NAS, SAN으로 구분할 수도 있습니다.
DAS(Direct Attached Storage)
-먼저 DAS란 ‘Direct Attached Storage’의 약자로 직접 연결 저장 장치라는 뜻입니다.
서버와 스토리지를 직접 1대1로 연결하여 사용하는 방식입니다.
예를 들어 PC에 외장 하드를 꽂아서 데이터를 저장하는 방식처럼 사용합니다.
-전용 케이블로 직접 연결해서 속도가 빠르다는 장점을 가지고 있습니다.
-연결방식은 USB/썬더볼트/mini SAS 등이 있습니다.
-블록 단위 전송이기 때문에 속도가 빠릅니다.
-3가지(DAS/NAS/SAN) 인터페이스 중 속도가 가장 빠릅니다.
-하지만 직접 연결한다는 것은 단점도 분명하게 있습니다.
연결 포트가 제한되어서 확장성에 한계가 있다는 것,
즉, 남는 공간을 공유할 수 없습니다.
예를 들어, 100TB의 DAS 스토리지를 사용하고 있다고 가정해 봅시다.
이 100TB 중에 10TB만 사용하고 있고, 나머지 90TB는 누군가에게 할당해 주고 싶어도
다이렉트(Direct)로 연결했기 때문에 본인이 필요 없어도 그 부분을 사용해야 하는 단점이 있습니다.
-그리고 서버와 스토리지가 직접 연결되다 보니 각 서버가 파일 시스템을 관리해야 합니다.
-그러다 보니 DAS는 여러 서버가 스토리지를 공유해서 사용하는 경우에는 적합하지 않습니다.
NAS(Network Attached Storage)
NAS는 ‘Network Attached Storage’의 약자로 네트워크 결합 스토리지입니다.
-서버와 스토리지가 LAN 방식의 네트워크로 연결된 방식입니다.
*LAN : Local Area Network 근거리 통신망
요즘에는 개인용으로도 많이 사용하는데 쉽게 ‘웹하드’나 ‘공유 폴더’를 생각하시면 이해하기가 쉬울 것 같습니다.
-NAS는 서버와 스토리지 사이에 중개 역할을 하는 ‘파일 서버’가 필요하고 이 파일 서버가 파일 시스템을 관리합니다.
*파일 서버란?
파일 서버는 OS에 따라 Windows 파일 서버, Unix 파일 서버, Linux 파일 서버가 있습니다.
Windows 파일 서버는 CIFS(Common Internet File System)를 사용해서 클라이언트에 스토리지를 공유합니다.
흔히 PC의 윈도우 탐색기에서 ‘우클릭-속성-공유’로 해당 폴더를 공유하고,
다른 PC에서 네트워크 드라이브 연결로 상대방 PC의 스토리지를 원격 접속하는 것이 바로 그것입니다.
Unix나 Linux에서는 CIFS가 아니라 NFS(Network File System)를 사용합니다.
-DAS와는 반대로 포트 수의 제한이 없어서 스토리지 확장에 더 유연하다고 볼 수 있습니다.
-여러 서버가 공통 스토리지를 사용해야 할 때 적합한 형태로 경제적으로 유리하고 설치와 유지 보수가 용이합니다.
-하지만 스위치를 통하여 네트워크로 연결되다 보니 속도가 비교적 느린 편이고, 접속이 많아지면 성능이 저하됩니다.
-그리고 파일 단위 전송이기 때문에 속도가 다소 느릴 수 있습니다.
-그리고 파일 시스템을 공유하기 때문에 비교적 보안에 취약합니다.
-NAS는 다른 인터페이스(DAS, SAN)에 비하여 비약적인 발전이 이루어졌는데
그 이유는 NAS만 OS(운영체제) 탑재가 가능하기 때문이었습니다.
그러다 보니 여러 가지 다양한 솔루션(포토 스테이션, 서베일런스 스테이션, 파일 스테이션 등)이 탑재될 수 있었습니다.
이와 같은 이유로 개인 소비자도 많이 늘어나고 있고, 기업에서도 여러 가지 기능을 사용할 수 있다 보니
NAS를 많이 선호하고 있고 성장률 또한 다른 인터페이스(DAS, SAN)에 비해 크다고 볼 수 있습니다.
SAN(Storage Area Network)
-SAN은 ‘Storage Area Network’의 약자로 직역하면 ‘저장 지역 통신망’입니다.
Fiber Channel, 즉, 광채널 스위치로 연결하는 고속데이터 네트워크 스토리지입니다.
-SAN은 DAS와 NAS의 단점을 보완한 스토리지입니다.
DAS(Direct Attachted Storage)를 사용하다 보니 남아있는 스토리지의 공간을 다른 사용자에게 할당할 수 없는 부분이 불편했습니다.
그런데 SAN은 ‘SAN Switch’를 통해 SAN 스토리지의 특정 공간을 여러 명에게 각각 할당 수 있게 되었습니다.
다시 말해, NAS와는 다르게 스토리지의 영역을 공유하는 개념이 아니라 ‘할당’할 수 있게 된 겁니다.
할당하는 개념이다 보니 실제 스토리지에서 데이터를 볼 수는 없고,
서버를 통해서만 데이터를 볼 수 있는 방식입니다.
그러다보니 보안에서는 좀 더 안정적인 방식입니다.
공간을 여러명이서 나눠쓰는 방식이다보니
많이 필요한 사람은 많이 가져가게 하고 적게 쓸 사람은 적게 가져가게 하고
그런 부분에서 공간 효율성이 높다고 할 수 있습니다.
-DAS처럼 전용 광케이블을 사용하고, NAS처럼 네트워크로 연결하는 방식으로
파이버 채널 스위치를 사용해서 빠른 속도로 연결되게 합니다.
때문에 속도가 빠르고 확장성이 높다는 것이 장점이지만, 그만큼 가격이 비싸다는 것도 단점이 되겠습니다.
정리
정리하면
소규모 독립 구성에는 DAS를,
파일 공유를 위한 일반적인 용도에는 NAS를,
높은 성능이 필요한 미션 크리티컬 용도에는 SAN을 선택하시면 되겠습니다.
*미션 크리티컬 : 절대로 다운돼서는 안되는 중요한 시스템
4.저장 방식별 분류
이번에는 저장 방식에 따라 스토리지를 구분하여 알아보겠습니다.
블록 스토리지(Block Storage)
블록 스토리지는 데이터를 일정한 크기의 덩어리로 나누어 저장하는 방식입니다.
블록은 파일보다는 작은 단위로서 조각으로 나누어 저장하는 방식입니다
이렇게 나누어진 각각의 블록은 ‘고유한 주소’를 가지고 있습니다.
이 주소를 통해 블록들을 재구성하여 데이터를 불러올 수 있습니다.
SAN(Storage Area Network) 또는 가상 머신의 디스크로 사용하며, 정형화된 데이터를 빠르게 처리하는 용도로 많이 사용됩니다.
블록 스토리지는 주차장에 비유됩니다.
주차장의 한 구획을 블록으로 비유하여 특정 공간에 차를 주차하듯이, 정해진 블록에 데이터를 저장합니다.
블록 스토리지는 데이터의 고유 주소가 있기 때문에 다양한 경로를 가지고 있습니다.
그만큼 데이터를 신속하게 검색할 수 있다는 뜻입니다.
또한 파티션으로 분할할 수 있어 서로 다른 운영체제에서 엑세스 할 수 있습니다.
자유롭고 효율적이며 안정적이기 때문에 대규모 DB 운영에 잘 맞습니다.
단점은 비용이 많이 든다는 것입니다.
메타 데이터 처리가 제한적이기 때문에 데이터 단위가 아닌 애플리케이션 또는 데이터베이스 수준에서
작업을 진행함에 있어서 관리자의 부담이 있습니다.
파일 스토리지(File Storage)
파일 스토리지는 파일과 폴더의 계층 구조로 이루어진 방식입니다.
가장 일반적이면서 개인적으로도 익숙한 방식입니다.
윈도우 탐색기 같이 계층 구조를 가지고 있어 폴더 안에 하위 폴더를 만들고 파일을 저장하는 것과 같습니다.
파일을 찾으려면 경로를 알아야 할 겁니다.
파일들은 이름, 위치, 생성일, 수정일, 크기 등의 제한적인 메타 데이터를 가지고 있습니다.
파일이 늘어나면 데이터도 늘어나고 파일을 찾는 것도 그만큼 힘들어지기 때문입니다.
참고로 파일 스토리지는 일반적으로 NAS(Network Attached Storage)에 사용됩니다.
파일 스토리지는 주차타워에 비유됩니다.
주차타워에 차가 많아지면 차가 차곡차곡 쌓이고, 차를 되찾으려면 시간도 오래 걸리면서 힘도 많이 들겁니다.
파일 스토리지는 오래전부터 사용해온 전통적인 데이터 스토리지 시스템입니다.
그만큼 사용에 친숙하고 표준화가 잘 돼 있다는 점이 장점입니다.
단점은 앞서 말씀드린 것처럼 데이터가 많아지면 파일과 폴더를 찾기 위해 리소스가 많이 들기 때문에 성능이 저하된다는 점입니다.
오브젝트 스토리지(Object Storage)
오브젝트 스토리지는 오브젝트라는 개별 데이터 단위로 데이터를 저장하는 유형입니다.
오브젝트는 비디오, 오디오뿐 아니라 텍스트, 기타 다른 파일 유형의 모든 데이터를 포괄하는 유형입니다.
파일 스토리지와는 다르게 계층 구조도 없이 평면 구조로 데이터를 저장합니다.
그만큼 접근이 쉽고 빠르며 확장성이 높습니다.
오브젝트에도 메타 데이터가 포함됩니다.
파일 스토리지의 제한적인 메타 데이터와는 달리 사용자가 원하는 상세한 정보를 추가할 수 있습니다.
그만큼 데이터 검색이 용이합니다.
이와 같이 오브젝트 스토리지는 폭증하는 대량의 데이터를 저장하고 관리하기 좋은 최신의 스토리지 방식입니다.
오브젝트 스토리지는 대리주차에 비유합니다.
어디에 주차를 하는지 알 필요도 없이 알아서 공간을 효율적으로 활용하여 빈틈 없이 주차를 해줍니다.
찾을 때도 보관증만 건네면 쉽게 가져다주는 방식입니다..
오브젝트 스토리지의 장점은 데이터의 구조가 계층이 아닌 평면 구조로 데이터 접근이 빠르고 확장성이 좋다는 것입니다.
또한 메타 데이터가 오브젝트 자체로 저장됨으로 접근과 검색이 쉽습니다
단점은 오브젝트를 수정할 수 없어서 덮어쓰는 방법을 사용합니다.
때문에 자주 변경되는 데이터에는 맞지 않고 수정이 잘 일어나지 않는 이미지나 영상 데이터에 적합합니다.
정리
정리를 하자면,
‘블록 스토리지’는 데이터를 블록으로 나누어 저장하는 스토리지로 SAN(Storage Area Network)으로 많이 사용합니다.
‘파일 스토리지’는 전통적인 방식으로 파일과 폴더의 계층 구조로 저장하는 스토리지로
일반적으로 NAS(Network Attached Storage)에 사용됩니다.
‘오브젝트 스토리지’는 오브젝트 객체 단위로 데이터를 저장하여 확장성이 좋고 비정형 데이터를 저장하기 좋습니다.