Slow Steady

나스에 RAID를 구성할 때 전용 레이드 카드를 이용하는 HW RAID와 SW RAID 사이에서 고민이 되어서 서로 비교 정리해 보았다.

HW RAID

장점

BBU와 NV-CACHE가 있으면 갑작스러운 정전에서 데이터 손실에 면역이 될 수 있다.

패리티 연산을 레이드 카드의 프로세서가 담당하므로 CPU에 부담을 주지 않는다.

GUI나 WEB기반의 관리 프로그램이 제공된다.

단점

BBU나 NV-CACHE가 없는 경우 레이드 카드 캐시 메모리에 저장된 데이터는 손실된다.

통상적으로 8 포트까지 제공된다. 16 포트도 있으나 구하기 어렵다.

BBU와 NV-CACHE모듈을 구하기 어렵다.

레이드 카드 고장 시에는 동일한 회사의 대체품이 필요하다.

SW RAID(MDADM)

장점

HBA카드 고장 시에 회사에 관계없이 HBA카드만 교체해주면 된다.

레이드 셋을 구성하는 디스크 카운트에 제한이 없다(그러나 통상적으로 8개 정도를 추천한다)

SW이므로 수시로 업데이트가 가능하기에 HW 방식에 비해 가용성이 좋다.

정전 시 데이터 손실의 위험에서 BBU없는 HW RAID 보다 안전하다.

Resync 속도가 빠르다.

단점

패리티 계산에 CPU 파워가 필요하나 현대의 CPU에는 거의 부담이 없다.

mdadm 커맨드를 다룰 줄 알아야 한다.

정리해보자면 HW RAID는 BBU가 있다면 정전 시에 수십 분, NV-CACHE까지 있다면 수개월에 걸쳐서 데이터를 보호할 수 있어서 데이터 손실의 위험성을 최소화할 수 있는 장점이 있다.

그러나 홈서버에 사용하는 레이드 카드는 대부분 교체되는 노후 서버에서 적출한 중고 레이드 카드를 사용하게 되는데 이런 경우 소모품인 BBU, NV-CACHE 없이 판매되는 경우가 많다. BBU 없는 HW RAID 카드는 데이터 손실 가능성 측면에서 SW RAID에 비해 좋은 점은 없다. 전용 UI를 제공받을 있고 CPU 파워를 아낄 수 있다는 정도의 장점이 있을 뿐이다.

게다가 정전에 대한 대비는 10만 원 내외의 UPS만으로도 서버 정상 종료를 위한 시간을 충분히 확보할 수 있다.

반면에 SW RAID의 장점은 프로그램을 다룰 줄 안다면 튜닝을 통해서 하드웨어 레이드보다 압도적인 성능을 만들어 낼 수 있다. 아무래도 레이드 카드에 달려 있는 CPU보다는 PC의 CPU 성능이 압도적이기 때문이다.

SW RAID는 정전시 데이터 손실에서 BBU 없는 HW RAID 방식보다 안전하다.

ZFS는 CoW구조여서 근본적으로 데이터 손실에서 자유로운 장점이 있고, MDRAID도 bitmap으로 데이터 손실의 위험성을 줄여주는 내부 로직을 갖추고 있다.

그리고 레이드 카드 고장 시에도 동일회사의 제품을 찾아야 하는 수고로움에서 벗어나서 HBA카드 고장에 더 유연하게 대처할 수 있다.

또한, 잠시 하드를 분리했다 다시 연결해서 resync 해야 하는 경우에 HW RAID는 디스크 전체를 리빌딩하는 만큼의 시간이 걸리지만 ZFS와 bimap이 켜진 MDRAID는 필요한 부분만 resync가 진행되므로 순식간에 완료되는 장점도 있다.

SW RAID는 포트의 제한도 없다. 16개의 포트를 지원하는 HW RAID 카드도 있지만 구하기 어렵다. 반면에 SW RAID는 10개든 20개든 포트만 확보되어 있으면 제한이 없다. 물론 RAID-6라 하더라도 10개 이상의 어레이 구성은 추천하지 않는다.

이상의 이유로 SW RAID가 더 적합하다고 결론을 내렸다.

RAID-5는 1개의 디스크를 패리티로 할당하고 RAID-6는 2개의 디스크를 패리티용으로 할당하게 된다.

10개 이하의 하드로 사용하는 홈 NAS에서 입장에서는 하드디스크 1개라도 절약할 수 있는 RAID-5가 매력적이다.

RAID-5는 1개의 디스크 고장에 대해서 대비할 수 있는 방식이다.

한 개의 디스크가 고장 나서 RAID SET이 Degraded 되었을 때 고장 난 디스크를 교체해서 리빌딩하는 24시간 동안에만 추가적인 고장이 없다면 안정적으로 운영할 수 있다.

문제는 여기에는 URE(Uncorrectable Error)가 고려되어 있지 않다는 데에 있다.

디스크에 기록된 데이터는 영원불멸하지 않으며 가만히 두더라도 자연 방사능 등의 영향으로 인해 비트가 뒤집히는 현상이 발생할 수 있다. 즉, 고장이 아니어도 데이터가 손상될 확률을 URE라고 한다.

보통 하드디스크의 스펙시트에는 엔터프라이즈급은 1e-15, 컨슈머급은 1e-14 이하의 URE를 갖는다고 되어 있다.

어디까지나 꺽쇠(<)가 붙어있는 이하라는 수치이고 제조사에는 보수적인 값을 제시하기 때문에 실제 URE는 훨씬 적을 가능성이 높다고는 하나 최악의 상황을 가정한다면 제조사의 제공하는 수치를 믿어야 한다.

URE가 1e-14라는 의미는 12.5TB당 1bit의 에러가 발생하다.

14TB 디스크 5개를 RAID-5로 구성할 경우 1개의 디스크에서 고장이 발생하고 남은 4개의 디스크를 이용해서 리빌딩을 수행하게 된다. 데이터의 총량이 56TB(14TBx4)이므로 이론적으로 4~5bit에 에러가 발생하게 된다.

즉, RAID-5에 어레이에 저장되어 있는 데이터의 극히 일부는 복구할 수 없는 없게 되는 것이다. 특히나 에러가 발생한 부분이 레이드 셋이나 파일시스템의 중요한 메타데이터일 경우에는 리빌딩에 실패하거나 파일 시스템이 깨질 수도 있는 최악의 사태가 발생할 수 있다.

반면에 RAID-6에서는 패리티를 제공해주는 여분의 디스크가 하나 더 남아 있기 때문에 URE에 대한 대처가 가능해지게 된다.

위의 표는 RAID-5와 RAID-6에 대하여 URE와 DRIVE COUNT에 따른 리빌딩 실패확률을 계산해 본 것이다.

URE가 커질수록 실패확률이 높아지고 DRIVE COUNT가 커질수록 역시 리빌딩 실패 확률이 커진다.

URE가 1E-14일 때 RAID-5의 데이터 손실 확률이 급증하므로 20TB이상의 레이드 어레이에서는 RAID-5보다는 RAID-6를 사용하는 것이 적합하다.

이번 14TB 블프 할딧에 힘입어 자작 NAS 3호기를 만들기로 결심했다.

CPU는 인텔 12세대 알더레이크가 22년 1월에 출시하는 만큼 뒤로 미루기로 했다.

RAM은 현재의 16기가도 부족함이 없다.

SSD는 256GB에서 500GB로 업그레이드한다.

운영체제만으로는 큰 용량이 필요 없지만 메타데이터 쌓이다 보면 꽤 용량이 나가는 데다가 임시 작업을 빠르게 SSD에서 수행해야 하는 경우가 있어서 용량을 업그레이드하기로 했다.

PSU는 기존 500W에서 700W로 업그레이드한다.

기존에 사용하던 500W 파워가 연식이 오래되기도 했고 하드를 10개 이상으로 확장한다면 감당하기 힘들 거 같아서 확장성을 고려해서 업그레이드하기로 했다. 마침 집에 미사용 파워렉스 700W 파워가 있어서 따로 구매할 필요도 없다.

HDD는 4TB 9개에서 14TB 6개로 업그레이드한다.

하드 별로 파티션을 구성하다 보니 고장 시 데이터 손실의 위험도 크고 하드링크 사용이 제한적이라 파일 정리하기에도 매우 불편하였다. 이번에는 14TB 6개 하드로 RAID-6를 구성하기로 했다. 가용 용량은 36TB(4TBx9)->56TB(14TBx4)로 +55% 증설하게 된다. 14TB 하드는 7개를 구매했지만 1개는 예비용으로 남겨두기로 한다.

CHASIS는 가장 큰 고민거리이다.

현재 사용 중인 케이스에는 3.5인치 베이 7개, 5.25인치 4개가 있다.

3.5인치 베이 최상단 1개는 높이가 낮아서 두께가 20mm짜리 하드만 장착이 가능하다.

일반적인 3.5인 하드의 두께는 26.1mm이다.

따라서 총 10개의 장착이 가능하기 때문에 사용은 가능하지만 사이드 패널이 없는 점이 문제다.

옆면이 개방되어 있어서 벌레가 들어갈 수도 있고 보안에도 취약하다는 핑계를 대지만 사실 간지(?)가 없어서 바꾸려고 한다. ㅋ

이번에 새로운 후보군을 찾아봐야 겠다.

자작나스 2호기 Rev2의 용량을 95% 이상 채운 상태라 용량 증설이 필요한 상황이었다.

WD 14TB 엘레멘트 외장하드가 199.99달러에 풀리는 경우게 꽤 있었지만 판매처가 베스트바이라 베바고시를 통과하지 못한 나로서는 구매를 못하고 있었다. 그렇게 블프를 기대하고 존버에 들어갔다.

예상대로 불프에 WD14TB가 아마존에서 핫딜로 떴다.

11번가의 환율이 우호적인 데다 각종 쿠폰을 더하면 실구매가가 21만원까지 가능했다.

단, 21만원은 1대만 가능했다.

이번 블프에 나스 용량 증설을 위해 총 투자한 금액이다. 좀 많이 쓰긴 했다. ㅋ

8TB 하드 정리비용은 원래는 8TB 하드로 증설하기 위해서 중고나라에서 하드를 사모으고 있었는데 이번 핫딜로 14TB로 계획이 변경되면서 8TB 하드를 도로 되팔면서 손해 본 금액이다.

SN570은 한 개는 NAS의 운영체제용으로 사용되는 256GB SSD를 업그레이드하기 위해서 구매했고, 나머지 한 개는 다른 리눅스 머신의 운영체제용 256GB SSD를 업그레이드하기 위해 샀다.

SN570은 DRAM-Less SSD이긴 하지만 TLC NAND를 탑재하고 컨트롤러 성능도 기존의 DRAM-Less 컨트롤러의 성능을 뛰어넘어서 구매하였다. 어차피 성능은 NVME SSD면 충분히 좋기 때문에 수명 때문에 QLC는 기피하고 TLC를 선택했다.

SSD 구입 과정에서 알게 된 WD의 급 나누기

SN550 - DRAM-Less, QLC, PCI-E Gen3

SN570 - DRAM-Less, TLC, PCI-E Gen3

SN750 SE - DRAM-Less, TLC, PCI-E Gen4

SN750 - DRAM, TLC, PCI-E Gen3

SN850 - DRAM, TLC, PCI-E Gen4

WD RED SMR 뒤통수에 이어 SN550 QLC 잠수함 패치는 뒤통수계의 레전드라 할 수 있다.

WD 제품을 구입할 때는 스펙을 세심히 관찰할 필요가 있다. 

티스토리 블로그 관리 메뉴에서 파비콘을 추가하려고 하면 "움직임 없는 이미지만 업로드 가능합니다."라는 에러가 발생한다. 

내가 업로드하는 ico 파일은 움직임이 없는데 왜 이런 에러가 나는지 모르겠다.

버그인가?

파비콘 파일을 직접 업로드하고 스킨의 소스코드를 수정해 보았으나 적용이 안되었다.

크롬 디버그 모드를 통해 HTML 소스에 파비콘의 주소가 정상적으로 삽입되었다는 걸 확인했음에도 안된다.

시간이 좀 흐르니 로딩 초반에는 등록한 파비콘을 나오다가 로딩 이후에 티스토리 기본 파비콘으로 변경되는 현상이 발생하고 있다.

시간이 더 흐르니 파비콘이 정상적으로 출력되기 시작했다.

아마도 소스코드 수정 후에도 적용되려면 몇 시간 정도 기다려야 하는 거 같다.

기존에 사용하던 24TB 용량도 모두 차서 추가 증설이 필요하게 되었다.

H270보드에 SATA포트가 6개뿐이므로 추가 증설을 위해서 HBA카드가 필요했다.

DELL H310 레이드카드는 LSI 9211-8i의 OEM 버전이다.

DELL H310 레이드 카드를 IT MODE 펌웨어로 변경해서 PCI-E슬롯에 장착해 주었다.

IT MODE 펌웨어가 올라가면 레이드 카드는 HBA로 동작하게 된다. 이를 통해 추가로 8개의 SATA포트를 확보했다.

하드를 추가하면서 SMR타입하드를 CMR타입으로 전부 교체해 주었다.

SMR타입 하드는 단독 작업중에는 CMR하드와 비슷한 성능을 내지만 다중 작업에서는 성능이 급격하게 떨어지는 문제가 있다. 순간적으로 20MB/s 이하로 떨어지는 경우도 있었다.

이제 케이스에 하드를 추가로 장착할 수 있는 공간이 1개 정도 남은 상태라 추가 증설이 필요하면 대용량 하드디스크로 마이그레이션해야할꺼 같다.

기존에 사용하던 16TB 용량도 모두 차서 추가 증설이 필요하게 되었다.

하드를 증설하면서 기존 시스템에서 문제가 되었던 두 가지를 개선하는 작업을 하였다.

1번. CPU 업그레이드

Passmark기준으로 i5-7600은 6632점, i5-4570은 5157점으로 연산 성능은 별 차이가 없다.

그럼에도 불구하고 업그레이드를 감행한 이유는 퀵싱크 때문이다.

퀵싱크 리눅스 드라이버가 스카이레이크부터 지원하기 때문이다.

퀵싱크를 활용하면 h264 인코딩 속도가 2배이상 빨라지게 된다.

그리고 인코딩 작업동안에 CPU 컴퓨팅 파워를 다른 작업에 활용할 수도 있다.

CPU 때문에 보드도 H270으로 바꿨는데 M.2 단자를 지원하면서 SSD를 nvme타입으로 변경했다.

덕분에 SATA포트 하나를 더 확보할 수 있어서 하드를 총 6개 장착할 수 있었다.

2. LVM 단일 볼륨에서 디스크별 파일 시스템으로 전환

기존에는 하드 4개를 LVM을 이용해 단일 볼륨으로 구성하고 있었다.

4개의 Physical volume을 LVM으로 1개의 Logical volume으로 묶는 방식이다.

장점은 16TB의 광대한 용량을 단일 볼륨으로 사용할 수 있어서 하드 링크를 활용해 파일 관리를 쉽게 할 수 있다.

문제는 4개의 디스크를 리던던시 없이 묶었기 때문에 하나의 디스크만 고장나도 전체 데이터를 손실한다는 점이다.

LVM은 레이드와 다르게 데이터를 순서대로 채워 나가기 때문에 하나의 디스크가 고장 나면 3개의 디스크에는 데이터가 남아 있지만 문제는 파일 시스템이 깨진다는 점이다.

4개의 디스크에 걸쳐서 파일시스템을 만들었기 때문에 디스크 중에 하나만 고장 나도 파일 시스템이 깨지게 되고 디스크 내부의 데이터에 접근할 방법이 없게 된다.

디스크별로 파일시스템을 구성하게 되면 하드링크 사용이 물리 디스크 내부로 전환되므로 파일관리에 불편해지는 것은 단점이다.

하드디스크 증설이 필요해져서 1호기의 슬림 케이스로는 더 이상 감당할 수 없게 되었다.

새로 케이스를 구매할려고 했지만 어느 시점부터인가 하드를 여러 개 장착할 수 있는 케이스는 더 이상 팔지 않는 세상이 되어버렸다.

고민하고 있던 차에 실험실에서 굴러다니는 케이스가 보였다. 무려 2008년에 출시된 제품인데 내부가 하드디스크를 여러 개 장착하기에 매우 적합한 구조를 가지고 있다.

케이스 철판도 0.6T라는데 강도측면에서 매우 튼튼한 느낌을 받았다.

아쉬운 점은 왼쪽 사이드패널이 없어진 상태라 오픈해놓고 사용해야 한다.

CPU는 듀얼코어에서 쿼드코어로 업그레이드해서 성능이 더욱 좋아졌다.

하드디스크는 SMR타입 4TB 2개를 추가로 증설해서 용량은 16TB까지 늘어났다. 

CMR타입 하드에 비해서 SMR타입가 훨씬 저렴한데다 쓰는데 별 문제 없다는 인터넷 의견을 보고 구입하였다.

그러나 이건 재앙의 시작이었다.... 싼 데는 다 이유가 있었다...

실험실에 굴러다니는 케이스와 남는 부품을 조합해서 처음으로 구축한 1호기.

원래는 시놀로지 DS218+를 2018년 12월에 구입해서 잠깐 사용해보았으나 셀러론 J3355와 램 2기가의 압박에 곧바로 처분하고 남는 부품들을 모아 자작 NAS를 구축했다.

굴러다니는 부품으로 만들었어도 시놀로지보다 압도적인 성능을 자랑해서 만족스러웠다.

본격 자작 NAS의 세계로 입문하게 된 계기.

내부가 단순한 구조의 슬림형 케이스라 하드 2개, SSD1 1개, ATX파워, M-ATX보드까지가 한계였다.

인터넷 검색해보니 BTRFS가 CoW(Copy on Write)를 구현한 차세대 파일시스템이라는 글을 보고 처음에 BTRFS를 채택했으나 사용하는 중에 너무 느려지는 현상이 있어서 EXT4로 다시 돌아갔다. 

차세대는 말그대로 차세대다. 현재 쓰면 안 되는 거다.