Slow Steady

WD 14TB 하드를 적출해 보니 나사 구멍의 위치와 개수가 기존 하드와 다르다.

고용량 하드들은 플래터 사이즈가 커지면서 측면부 중앙부분 나사홀이 없다.

아래와 같은 케이스에서는 하드 측면부 중앙부분 나사홀을 사용해서 고정하기 때문에 문제가 된다.

케이스에 5.25베이가 여유가 있다면  5.25베이 3개를 3.5베이 5개를 확보해주는 케이지의 사용도 고려해볼 필요가 있다.

아쉽게 요즘에는 HDD를 많이 달 수 있는 케이스가 거의 찾아보기 어려워졌다.

HDD의 대용량화, 클라우드&스트리밍 서비스 활성화로 많은 하드디스크를 사용할 필요성이 줄어들었기 때문이다.

요즘 출시되는 대부분의 케이스는 HDD보다는 그래픽카드와 CPU 일체형 수냉 쿨러를 위한 공간 확보에 공을 들인다.

그래서 단종된 제품의 중고품까지 스코프를 넓혀서 최대한 NAS에 적합한 케이스를 찾아야 한다.

1번. 쿨러마스터 ELITE 334U

보이는 3.5 베이는 7개이나 2개는 나사 구멍 위치가 달라서 HDD 장착이 불가능하다.

HDD 장착 방향이 전면이라 SATA 케이블이 꺾이는 문제도 없다. 단, HDD 장착/분리는 번거로운 단점이 있다.

치명적인 단점은 최신 고용량 하드의 나사 구멍이 3개에서 2개로 줄어들면서 3.5 베이 하드를 장착하면 나사를 2개만 고정해야 한다.

2번. 스카이디지탈 SKY550 블랙번

보이는 3.5 베이는 7개이나 1개는 높이가 낮아서 두께 20mm 하드만 장착이 가능하다.

1번 ELITE 334U 새시와 다른 점은 3.5 베이 상단 부분의 나사 구명이 HDD에도 호환되게 수정되었다는 점이다.

HDD 장착 방향이 전면이라 SATA 케이블이 꺾이는 문제도 없다. 단, HDD 장착/분리는 번거로운 단점이 있다.

치명적인 단점은 최신 고용량 하드의 나사 구멍이 3개에서 2개로 줄어들면서 3.5 베이 하드를 장착하면 나사를 2개만 고정해야 한다.

상단파워라 먼지청소에도 장점이 있다.

3번. BITFENIX Shinobi

1번~2번 새시와 다르게 이번에는 3.5인치 HDD 베이를 전부 활용할 수 있다.

HDD 장착 방향이 전면이라 SATA 케이블이 꺾이는 문제도 없다. 단, HDD 장착/분리는 번거로운 단점이 있다.

치명적인 단점은 최신 고용량 하드의 나사 구멍이 3개에서 2개로 줄어들면서 3.5 베이 하드를 장착하면 나사를 2개만 고정해야 한다.

4번. Fractal Design Define R5

HDD 장착 방향이 측면이라 SATA 케이블이 꺾이는 문제가 있지만, HDD 장착/분리가 편리한 장점이 있다.

HDD 측면 장착 방식이라 메인보드의 측면으로 연결되는 SATA 케이블 공간을 확보하기 위해서 깊이가 길어져서 공간 효율성 측면에서는 단점이 존재한다.

사이즈가 좀 크다는 단점을 제외하면 내구성, 디자인, 마감 모두 훌륭하다.

5번. 쿨러마스터 Centurion 590

HDD 장착 방향이 전면이라 SATA 케이블이 꺾이는 문제도 없다. 단, HDD 장착/분리는 번거로운 단점이 있다.

5.25인치 베이 9개로 구성되어 있어서 3x5.25-> 5x3.5 베이 케이지를 사용하면 하드를 최대 15개까지 장착 가능하다.

공간 효율성 측면에서 NAS에 제일 적합한 케이스이다.

내부구조가 유사한 케이스

마이크로닉스 IGNITION 
마이크로닉스 Smart Server
마이크로닉스 New Smart Server
BRAVOTEC 스텔스
잘만 GS1000
잘만 MS1000
리안리 PC-A17

6번. hy/恒煜 4U-H4480

장점은 5번 케이스보다도 훨씬 좋은 공간 효율성이다. 5번은 5.25베이 때문에 깊이와 너비가 커졌지만 6번은 처음부터 3.5베이를 사용하기 때문에 훨씬 컴팩트한 사이즈에 15개의 하드를 장착하는게 가능하다.

랙타입 케이스이지만 랙 이어를 제거하고 세워서 사용할 수도 있다.

발판을 따로 장착해줘야 하는 수고로움이 있고 케이스 전면부만 도색되어 있다는 단점이 있다.

7번. 半岛铁盒 F10

HDD 장착방향이 측면이라는 점을 제외하면 대체적으로 무난하다.

HDD 측면 장착 특성 상 SATA선 정리를 위한 충분한 공간이 확보되어야 한다.

결론

랙타입이 공간효율성은 가장 좋지만 도색이 안되어 있고 세워서 쓸 때 따로 발판 작업을 해줘야 하는 단점이 있다.

가장 결점없는 케이스는 5번 쿨러마스터 Centurion 590인거 같다.

그런데 10년 전에 단종된 케이스라 중고를 구해야 한다. ㅋ

7번 半岛铁盒 F10 케이스도 SATA선 정리를 위한 공간이 충분하다면 무난한 선택지가 될 것이다.

MDADM과 ZFS는 엄밀히는 다른 개념이다.

MDADM이 파일 시스템 레벨 이전에 추상화된 블록 레벨이라면 ZFS는 파일 시스템이다.

파일 시스템에서 RAID까지 지원하는 것이다.

ZFS의 장점 널리 알려진 대로 CoW(Copy on Write), scrub을 활용한 데이터 무결성 관리, 파일 시스템 레벨 레이드 지원, SLOG를 이용해 HW RAID의 NV-CACHE를 구현할 수도 있고 PC의 강력한 컴퓨팅 파워를 활용해 HW RAID 대비 압도적인 성능을 낼 수 있다.

파일 시스템 상에서 레이드를 구성하므로 리실버링(리빌딩)시에도 필요한 만큼만 작업을 수행하기 때문에 디스크에 채워진 데이터의 양이 적다면 매우 빠르게 수행된다.

개인적으로 ZFS의 가장 강력한 장점은 CoW라고 생각한다. CoW로 인해서 쓰기 작업 중에 갑작스러운 정전이 발생한다 해도 쓰기 작업 중이던 데이터의 손실이 발생할 수는 있어도 데이터가 망가지는 일은 발생하지 않는다. 기존 데이터는 갱신되지 않은 채로 남아 있게 된다.

ZFS는 강력한 장점이 많은 파일 시스템이지만 홈서버로 사용하기에 몇 가지 문제점도 존재한다.

첫 번째 on-line expansion을 지원하지 않는다.

HW RAID나 MDADM은 4개의 하드로 구성된 레이드 셋의 용량이 꽉 차게 되면 하드를 하나 새로 추가해서 리빌딩을 거치면 5개의 하드로 구성된 레이드 셋으로 용량을 확장하는 게 가능하다.

반면에 ZFS는 이것이 불가능하다. ZFS는 애초에 엔터프라이즈 용도를 가정하고 만들어졌기 때문이다.

엔터프라이즈 용도에서는 on-line expansion은 서버의 다운타임을 발생시키게 되므로 처음 셋업 할 때부터 완전한 구성을 갖추는 게 일반적이다.

두 번째 용량의 90% 이상을 사용하면 안 된다. 즉, 전체 용량의 10% 정도를 비워 놓는 것을 권장한다.

ZFS가 CoW를 채택하면서 발생한 문제로 쓰기 작업 시에 볼륨 전체를 200개 정도의 metaslab으로 나누고 빈 공간을 찾게 된다.

이때 빈 공간이 너무 적으면 디스크에 빈 공간을 찾기 위한 과도한 IO를 발생시키는 문제가 존재한다.

SSD처럼 Disk Map을 램에 상주시키면 전체 용량의 96%까지 성능 하락 없이 사용할 수 있지만, 10TB당 2~4기가 정도의 메모리가 요구된다고 한다. 

https://newbedev.com/zfs-performance-do-i-need-to-keep-free-space-in-a-pool-or-a-file-system

그럼에도 불구하고 홈서버에서 MDADM가지는 장점은 on-line expansion이 가능하다는 점이다. 처음에 필요한 만큼만 디스크를 준비했다가 더 필요해지면 그때마다 디스크를 추가하면서 용량을 확장하는 게 가능하다.

MDADM은 비록 ZFS처럼 강력한 기능을 제공하지는 못하지만 20년 넘게 개발이 진행되어 크리티컬한 문제를 발생시키지 않는 안정적인 수준에 도달한 툴이다.

MDADM 역시 정전시에 데이터 손실에 대해서 bitmap을 통해 대응하고 있고 on-line expansion이 가능한 MDADM이 홈서버에서는 더 적합하다고 생각한다.

MDADM 역시 cron 스크립트로 1달에 한번씩  scrubbing으로 데이터 무결성을 확인한다.

또한, MDADM은 AVX를 지원해서 RAID 연산에 들어가는 CPU파워를 더욱더 줄여준다.

MDADM은 블록디바이스의 역할을 수행하고 레이드 셋 위에 별도의 파일시스템을 올려서 사용해야 한다.

2cpu 커뮤니티에 물어보니 EXT4같은 저널링 파일 시스템으로도 100TB 이상의 시스템을 운영한다고 한다.

나스에 RAID를 구성할 때 전용 레이드 카드를 이용하는 HW RAID와 SW RAID 사이에서 고민이 되어서 서로 비교 정리해 보았다.

HW RAID

장점

BBU와 NV-CACHE가 있으면 갑작스러운 정전에서 데이터 손실에 면역이 될 수 있다.

패리티 연산을 레이드 카드의 프로세서가 담당하므로 CPU에 부담을 주지 않는다.

GUI나 WEB기반의 관리 프로그램이 제공된다.

단점

BBU나 NV-CACHE가 없는 경우 레이드 카드 캐시 메모리에 저장된 데이터는 손실된다.

통상적으로 8 포트까지 제공된다. 16 포트도 있으나 구하기 어렵다.

BBU와 NV-CACHE모듈을 구하기 어렵다.

레이드 카드 고장 시에는 동일한 회사의 대체품이 필요하다.

SW RAID(MDADM)

장점

HBA카드 고장 시에 회사에 관계없이 HBA카드만 교체해주면 된다.

레이드 셋을 구성하는 디스크 카운트에 제한이 없다(그러나 통상적으로 8개 정도를 추천한다)

SW이므로 수시로 업데이트가 가능하기에 HW 방식에 비해 가용성이 좋다.

정전 시 데이터 손실의 위험에서 BBU없는 HW RAID 보다 안전하다.

Resync 속도가 빠르다.

단점

패리티 계산에 CPU 파워가 필요하나 현대의 CPU에는 거의 부담이 없다.

mdadm 커맨드를 다룰 줄 알아야 한다.

정리해보자면 HW RAID는 BBU가 있다면 정전 시에 수십 분, NV-CACHE까지 있다면 수개월에 걸쳐서 데이터를 보호할 수 있어서 데이터 손실의 위험성을 최소화할 수 있는 장점이 있다.

그러나 홈서버에 사용하는 레이드 카드는 대부분 교체되는 노후 서버에서 적출한 중고 레이드 카드를 사용하게 되는데 이런 경우 소모품인 BBU, NV-CACHE 없이 판매되는 경우가 많다. BBU 없는 HW RAID 카드는 데이터 손실 가능성 측면에서 SW RAID에 비해 좋은 점은 없다. 전용 UI를 제공받을 있고 CPU 파워를 아낄 수 있다는 정도의 장점이 있을 뿐이다.

게다가 정전에 대한 대비는 10만 원 내외의 UPS만으로도 서버 정상 종료를 위한 시간을 충분히 확보할 수 있다.

반면에 SW RAID의 장점은 프로그램을 다룰 줄 안다면 튜닝을 통해서 하드웨어 레이드보다 압도적인 성능을 만들어 낼 수 있다. 아무래도 레이드 카드에 달려 있는 CPU보다는 PC의 CPU 성능이 압도적이기 때문이다.

SW RAID는 정전시 데이터 손실에서 BBU 없는 HW RAID 방식보다 안전하다.

ZFS는 CoW구조여서 근본적으로 데이터 손실에서 자유로운 장점이 있고, MDRAID도 bitmap으로 데이터 손실의 위험성을 줄여주는 내부 로직을 갖추고 있다.

그리고 레이드 카드 고장 시에도 동일회사의 제품을 찾아야 하는 수고로움에서 벗어나서 HBA카드 고장에 더 유연하게 대처할 수 있다.

또한, 잠시 하드를 분리했다 다시 연결해서 resync 해야 하는 경우에 HW RAID는 디스크 전체를 리빌딩하는 만큼의 시간이 걸리지만 ZFS와 bimap이 켜진 MDRAID는 필요한 부분만 resync가 진행되므로 순식간에 완료되는 장점도 있다.

SW RAID는 포트의 제한도 없다. 16개의 포트를 지원하는 HW RAID 카드도 있지만 구하기 어렵다. 반면에 SW RAID는 10개든 20개든 포트만 확보되어 있으면 제한이 없다. 물론 RAID-6라 하더라도 10개 이상의 어레이 구성은 추천하지 않는다.

이상의 이유로 SW RAID가 더 적합하다고 결론을 내렸다.

RAID-5는 1개의 디스크를 패리티로 할당하고 RAID-6는 2개의 디스크를 패리티용으로 할당하게 된다.

10개 이하의 하드로 사용하는 홈 NAS에서 입장에서는 하드디스크 1개라도 절약할 수 있는 RAID-5가 매력적이다.

RAID-5는 1개의 디스크 고장에 대해서 대비할 수 있는 방식이다.

한 개의 디스크가 고장 나서 RAID SET이 Degraded 되었을 때 고장 난 디스크를 교체해서 리빌딩하는 24시간 동안에만 추가적인 고장이 없다면 안정적으로 운영할 수 있다.

문제는 여기에는 URE(Uncorrectable Error)가 고려되어 있지 않다는 데에 있다.

디스크에 기록된 데이터는 영원불멸하지 않으며 가만히 두더라도 자연 방사능 등의 영향으로 인해 비트가 뒤집히는 현상이 발생할 수 있다. 즉, 고장이 아니어도 데이터가 손상될 확률을 URE라고 한다.

보통 하드디스크의 스펙시트에는 엔터프라이즈급은 1e-15, 컨슈머급은 1e-14 이하의 URE를 갖는다고 되어 있다.

어디까지나 꺽쇠(<)가 붙어있는 이하라는 수치이고 제조사에는 보수적인 값을 제시하기 때문에 실제 URE는 훨씬 적을 가능성이 높다고는 하나 최악의 상황을 가정한다면 제조사의 제공하는 수치를 믿어야 한다.

URE가 1e-14라는 의미는 12.5TB당 1bit의 에러가 발생하다.

14TB 디스크 5개를 RAID-5로 구성할 경우 1개의 디스크에서 고장이 발생하고 남은 4개의 디스크를 이용해서 리빌딩을 수행하게 된다. 데이터의 총량이 56TB(14TBx4)이므로 이론적으로 4~5bit에 에러가 발생하게 된다.

즉, RAID-5에 어레이에 저장되어 있는 데이터의 극히 일부는 복구할 수 없는 없게 되는 것이다. 특히나 에러가 발생한 부분이 레이드 셋이나 파일시스템의 중요한 메타데이터일 경우에는 리빌딩에 실패하거나 파일 시스템이 깨질 수도 있는 최악의 사태가 발생할 수 있다.

반면에 RAID-6에서는 패리티를 제공해주는 여분의 디스크가 하나 더 남아 있기 때문에 URE에 대한 대처가 가능해지게 된다.

위의 표는 RAID-5와 RAID-6에 대하여 URE와 DRIVE COUNT에 따른 리빌딩 실패확률을 계산해 본 것이다.

URE가 커질수록 실패확률이 높아지고 DRIVE COUNT가 커질수록 역시 리빌딩 실패 확률이 커진다.

URE가 1E-14일 때 RAID-5의 데이터 손실 확률이 급증하므로 20TB이상의 레이드 어레이에서는 RAID-5보다는 RAID-6를 사용하는 것이 적합하다.

이번 14TB 블프 할딧에 힘입어 자작 NAS 3호기를 만들기로 결심했다.

CPU는 인텔 12세대 알더레이크가 22년 1월에 출시하는 만큼 뒤로 미루기로 했다.

RAM은 현재의 16기가도 부족함이 없다.

SSD는 256GB에서 500GB로 업그레이드한다.

운영체제만으로는 큰 용량이 필요 없지만 메타데이터 쌓이다 보면 꽤 용량이 나가는 데다가 임시 작업을 빠르게 SSD에서 수행해야 하는 경우가 있어서 용량을 업그레이드하기로 했다.

PSU는 기존 500W에서 700W로 업그레이드한다.

기존에 사용하던 500W 파워가 연식이 오래되기도 했고 하드를 10개 이상으로 확장한다면 감당하기 힘들 거 같아서 확장성을 고려해서 업그레이드하기로 했다. 마침 집에 미사용 파워렉스 700W 파워가 있어서 따로 구매할 필요도 없다.

HDD는 4TB 9개에서 14TB 6개로 업그레이드한다.

하드 별로 파티션을 구성하다 보니 고장 시 데이터 손실의 위험도 크고 하드링크 사용이 제한적이라 파일 정리하기에도 매우 불편하였다. 이번에는 14TB 6개 하드로 RAID-6를 구성하기로 했다. 가용 용량은 36TB(4TBx9)->56TB(14TBx4)로 +55% 증설하게 된다. 14TB 하드는 7개를 구매했지만 1개는 예비용으로 남겨두기로 한다.

CHASIS는 가장 큰 고민거리이다.

현재 사용 중인 케이스에는 3.5인치 베이 7개, 5.25인치 4개가 있다.

3.5인치 베이 최상단 1개는 높이가 낮아서 두께가 20mm짜리 하드만 장착이 가능하다.

일반적인 3.5인 하드의 두께는 26.1mm이다.

따라서 총 10개의 장착이 가능하기 때문에 사용은 가능하지만 사이드 패널이 없는 점이 문제다.

옆면이 개방되어 있어서 벌레가 들어갈 수도 있고 보안에도 취약하다는 핑계를 대지만 사실 간지(?)가 없어서 바꾸려고 한다. ㅋ

이번에 새로운 후보군을 찾아봐야 겠다.

자작나스 2호기 Rev2의 용량을 95% 이상 채운 상태라 용량 증설이 필요한 상황이었다.

WD 14TB 엘레멘트 외장하드가 199.99달러에 풀리는 경우게 꽤 있었지만 판매처가 베스트바이라 베바고시를 통과하지 못한 나로서는 구매를 못하고 있었다. 그렇게 블프를 기대하고 존버에 들어갔다.

예상대로 불프에 WD14TB가 아마존에서 핫딜로 떴다.

11번가의 환율이 우호적인 데다 각종 쿠폰을 더하면 실구매가가 21만원까지 가능했다.

단, 21만원은 1대만 가능했다.

이번 블프에 나스 용량 증설을 위해 총 투자한 금액이다. 좀 많이 쓰긴 했다. ㅋ

8TB 하드 정리비용은 원래는 8TB 하드로 증설하기 위해서 중고나라에서 하드를 사모으고 있었는데 이번 핫딜로 14TB로 계획이 변경되면서 8TB 하드를 도로 되팔면서 손해 본 금액이다.

SN570은 한 개는 NAS의 운영체제용으로 사용되는 256GB SSD를 업그레이드하기 위해서 구매했고, 나머지 한 개는 다른 리눅스 머신의 운영체제용 256GB SSD를 업그레이드하기 위해 샀다.

SN570은 DRAM-Less SSD이긴 하지만 TLC NAND를 탑재하고 컨트롤러 성능도 기존의 DRAM-Less 컨트롤러의 성능을 뛰어넘어서 구매하였다. 어차피 성능은 NVME SSD면 충분히 좋기 때문에 수명 때문에 QLC는 기피하고 TLC를 선택했다.

SSD 구입 과정에서 알게 된 WD의 급 나누기

SN550 - DRAM-Less, QLC, PCI-E Gen3

SN570 - DRAM-Less, TLC, PCI-E Gen3

SN750 SE - DRAM-Less, TLC, PCI-E Gen4

SN750 - DRAM, TLC, PCI-E Gen3

SN850 - DRAM, TLC, PCI-E Gen4

WD RED SMR 뒤통수에 이어 SN550 QLC 잠수함 패치는 뒤통수계의 레전드라 할 수 있다.

WD 제품을 구입할 때는 스펙을 세심히 관찰할 필요가 있다. 

티스토리 블로그 관리 메뉴에서 파비콘을 추가하려고 하면 "움직임 없는 이미지만 업로드 가능합니다."라는 에러가 발생한다. 

내가 업로드하는 ico 파일은 움직임이 없는데 왜 이런 에러가 나는지 모르겠다.

버그인가?

파비콘 파일을 직접 업로드하고 스킨의 소스코드를 수정해 보았으나 적용이 안되었다.

크롬 디버그 모드를 통해 HTML 소스에 파비콘의 주소가 정상적으로 삽입되었다는 걸 확인했음에도 안된다.

시간이 좀 흐르니 로딩 초반에는 등록한 파비콘을 나오다가 로딩 이후에 티스토리 기본 파비콘으로 변경되는 현상이 발생하고 있다.

시간이 더 흐르니 파비콘이 정상적으로 출력되기 시작했다.

아마도 소스코드 수정 후에도 적용되려면 몇 시간 정도 기다려야 하는 거 같다.

기존에 사용하던 24TB 용량도 모두 차서 추가 증설이 필요하게 되었다.

H270보드에 SATA포트가 6개뿐이므로 추가 증설을 위해서 HBA카드가 필요했다.

DELL H310 레이드카드는 LSI 9211-8i의 OEM 버전이다.

DELL H310 레이드 카드를 IT MODE 펌웨어로 변경해서 PCI-E슬롯에 장착해 주었다.

IT MODE 펌웨어가 올라가면 레이드 카드는 HBA로 동작하게 된다. 이를 통해 추가로 8개의 SATA포트를 확보했다.

하드를 추가하면서 SMR타입하드를 CMR타입으로 전부 교체해 주었다.

SMR타입 하드는 단독 작업중에는 CMR하드와 비슷한 성능을 내지만 다중 작업에서는 성능이 급격하게 떨어지는 문제가 있다. 순간적으로 20MB/s 이하로 떨어지는 경우도 있었다.

이제 케이스에 하드를 추가로 장착할 수 있는 공간이 1개 정도 남은 상태라 추가 증설이 필요하면 대용량 하드디스크로 마이그레이션해야할꺼 같다.