Источник: selfhosting.sh
Быстрая рекомендация
Самое полезное расширение PCIe для домашнего сервера — это HBA-карта для добавления дополнительных SATA-дисков. Если вы строите NAS с более чем 4 дисками, используемая LSI SAS 9211-8i (~~$15 на eBay, прошитая в IT-режим) предоставляет 8 дополнительных портов SATA/SAS. Для сетевых решений, используемая Intel X520-DA2 (~~ $20) добавляет два порта 10GbE SFP+.
Мини-ПК и устройства малого форм-фактора ограничены — большинство из них имеют один слот M.2 и никаких слотов PCIe. Если вам нужно расширение, вам нужен корпус полноразмерного форм-фактора со стандартной материнской платой.
Получите конфигурации Docker Compose, выбор аппаратного обеспечения и сокращения настроек, которые мы не публикуем в статьях. Еженедельно. Без спама.
Подписаться
PCIe объяснено для домашних серверов
Поколения PCIe
| Gen | Пропускная способность на линию | Пропускная способность x1 | Пропускная способность x4 | Пропускная способность x8 | Пропускная способность x16 |
|---|---|---|---|---|---|
| PCIe 3.0 | 1 ГБ/с | 1 ГБ/с | 4 ГБ/с | 8 ГБ/с | 16 ГБ/с |
| PCIe 4.0 | 2 ГБ/с | 2 ГБ/с | 8 ГБ/с | 16 ГБ/с | 32 ГБ/с |
| PCIe 5.0 | 4 ГБ/с | 4 ГБ/с | 16 ГБ/с | 32 ГБ/с | 64 ГБ/с |
| Для домашних серверов: PCIe 3.0 достаточно для всего, кроме самых быстрых NVMe SSD. Сетевая карта 10GbE использует около 1.2 ГБ/с — один слот PCIe 3.0 x4 с этим справляется легко. Карты HBA используют PCIe 3.0 x8. Не переживайте из-за наличия последнего поколения PCIe. | |||||
| ### Бюджеты линий PCIe | |||||
| Каждый процессор имеет ограниченное количество линий PCIe: | |||||
| Платформа | Всего линий PCIe | Типичное распределение | |||
| --- | --- | --- | |||
| Intel N100/N150 | 9 | 4 для NVMe M.2, 4 для чипсета, 1 различное | |||
| Intel 12-е–14-е поколение | 20 (CPU) + 12 (чипсет) | Ограничено слотами материнской платы | |||
| AMD AM4 (Ryzen 5000) | 24 (CPU) | 16 GPU + 4 NVMe + 4 чипсет | |||
| AMD AM5 (Ryzen 7000) | 28 (CPU) | 16 GPU + 8 NVMe + 4 чипсет | |||
| Почему это важно: Если вам нужно много расширений (HBA + 10GbE NIC + NVMe), вам нужна платформа с достаточным количеством линий. Мини-ПК Intel N100 имеют почти нулевое расширение — один слот M.2 и все. |
Расширение хранилища
HBA-карты (Адаптеры шины хоста)
HBA-карта добавляет порты SATA и SAS к вашему серверу. Необходима для сборок NAS с более чем 4–6 дисками.
Карта| Интерфейс| Порты| PCIe| Цена (б/у)| Примечания
---|---|---|---|---|---
LSI SAS 9207-8i| SAS/SATA| 8 внутренних| 3.0 x8| ~$20| Новее 9211, родной IT-режим
LSI SAS 9211-8i| SAS/SATA| 8 внутренних| 2.0 x8| ~$15| Классика, необходимо перепрошить в IT-режим для ZFS
LSI SAS 9300-8i| SAS/SATA| 8 внутренних| 3.0 x8| ~$30| Поддержка SAS 12 Гбит/с
LSI SAS 9305-24i| SAS/SATA| 24 внутренних| 3.0 x8| ~$50| Для больших наборов
Dell H310| SAS/SATA| 8 внутренних| 2.0 x8| ~$10| Переименованная LSI 9211, перепрошить в IT-режим
Лучший вариант: LSI SAS 9207-8i или Dell H310, прошитая в IT-режим. Оба карты недорогие, надежные и прекрасно работают с TrueNAS, Unraid и любой системой Linux.
IT-режим против IR-режима: IT-режим (Initiator Target) передает диски непосредственно ОС — требуется для ZFS и Unraid. IR-режим (Integrated RAID) выполняет аппаратный RAID — обычно избегайте его для домашнего NAS, так как программный RAID (ZFS, mdadm) более гибок и можем восстанавливать данные.
Как перепрошить Dell H310 в IT-режим
# Это упрощенный обзор — следуйте детальному руководству для вашей конкретной карты
# Вам понадобится загрузочный USB с FreeDOS и файлы прошивки LSI
# 1. Загрузитесь в FreeDOS
# 2. Удалите существующую прошивку
sas2flsh -o -e 6
# 3. Перепрошите прошивку IT-режима
sas2flsh -o -f 2118it.bin -b mptsas2.rom
# 4. Установите SAS-адрес
sas2flsh -o -sasadd 500605bxxxxxxxxx
Кабели SAS Breakout
HBA-карты используют разъемы SFF-8087 (внутренний mini-SAS). Вам нужны breakout-кабели для подключения к стандартным SATA-дискам:
* SFF-8087 на 4x SATA — ~$8. Один кабель на 4 диска.
* SFF-8643 на 4x SATA — ~$10. Для новых HBA-карт на 12 Гбит/с.
Расширение M.2 NVMe
Если ваша материнская плата имеет только один слот M.2, но вам нужно больше NVMe хранилища:
Карта| Слоты M.2| PCIe| Цена| Примечания
---|---|---|---|---
ASUS Hyper M.2 x16 Gen5 Card| 4| 4.0/5.0 x16| ~$60| 4 NVMe-диска, требует линий PCIe от CPU
IOCREST M.2 на PCIe x4| 1| 3.0 x4| ~$15| Один NVMe-диск, простой адаптер
RIITOP M.2 на PCIe x16 4-слотовый| 4| 3.0 x16| ~$30| Бюджетный вариант на 4 слота
Примечание: Эти адаптеры не добавляют линии PCIe — они используют существующие линии слота. Адаптер на 4 слота в слоте PCIe 3.0 x16 делит 16 линий между 4 дисками (по 4 линии на каждый). Производительность вполне удовлетворительна для использования в NAS, но не для максимальной последовательной скорости.
Расширение USB на SATA
Для периодического или внешнего хранилища (не рекомендуется для основного NAS-хранилища):
* USB 3.0 на SATA адаптер — ~$10. Один диск, отлично подходит для резервных копий.
* Мультиблоки USB ORICO — $50–150. 4–5 отсеков, отлично подходят для резервного хранения.
Не используйте USB для вашего основного массива NAS. USB не поддерживает надежный мониторинг SMART, имеет более высокую задержку, а USB-контроллеры могут отключать диски под нагрузкой — это катастрофично для RAID/ZFS.
Расширение сети
10GbE NIC
| Карта | Порты | Тип | PCIe | Цена (б/у) | Примечания |
|---|---|---|---|---|---|
| Intel X520-DA2 | 2 | SFP+ | 2.0 x8 | ~$20 | Классическая 10GbE NIC |
| Intel X540-T2 | 2 | RJ45 | 2.0 x8 | ~$30 | 10GBase-T, используйте кабели Cat6a |
| Mellanox ConnectX-3 | 2 | SFP+ | 3.0 x8 | ~$15 | Отличная поддержка Linux |
| Intel X710-DA2 | 2 | SFP+ | 3.0 x8 | ~$30 | Новее, меньшее потребление энергии |
| SFP+ против RJ45: | |||||
| * SFP+ использует волоконные или DAC (Direct Attach Copper) кабели. DAC-кабели ($8–15 за 1м) — самый дешевый способ подключения двух устройств 10GbE. Требуются порты SFP+ на коммутаторе. | |||||
| * RJ45 (10GBase-T) использует стандартные Ethernet-кабели Cat6a, но потребляет больше энергии (на 5–10 Вт больше на порт) и имеет более высокую задержку. |
Рекомендация: Intel X520-DA2 или Mellanox ConnectX-3. Оба стоят $15–20 б/у на eBay, оба имеют отличную поддержку драйверов Linux. Совместите с DAC-кабелем для прямого соединения сервер-к NAS или получите коммутатор 10GbE.
2.5GbE NIC
Если вам не нужны полные 10GbE, но требуется лучше, чем Gigabit:
* Intel i225-V — Встроен во многих новых материнских платах. Некоторые ранние ревизии имели проблемы со стабильностью (степени B1/B2) — B3 и позже в порядке.
* Realtek RTL8125 — Распространен в бюджетных 2.5GbE PCIe картах (~$15). Поддержка Linux хорошая с драйвером r8169 в ядре 5.9+.
Infiniband (бюджетная альтернатива 40GbE)
Используемые карты Mellanox ConnectX-3 Infiniband поддерживают как IPoIB (IP через Infiniband), так и Ethernet режим. Пара карт ConnectX-3 VPI + кабель QSFP DAC может предоставить вам 40 Гбит/с между двумя серверами за менее чем $40 в общей сложности.
Расширение GPU
Когда вам нужен GPU в сервере
- Аппаратное транскодирование Plex/Jellyfin: Intel QuickSync (iGPU) обычно достаточно. Посвященный GPU помогает только при 5+ одновременных 4K транскодирования.
- AI/ML вывод: Запуск LLM (llama.cpp, Ollama) сильно выигрывает от VRAM GPU.
- Проход GPU (Proxmox): Передача GPU в ВМ для игр, потоковой передачи или вычислений.
Варианты GPU для домашних серверов
| GPU | VRAM | TDP | Транскодирование | AI/ML | Цена (б/у) |
|---|---|---|---|---|---|
| NVIDIA Tesla P4 | 8 ГБ | 75W | Отлично (NVENC) | Хорошо | ~$80 |
| NVIDIA T400 | 4 ГБ | 30W | Хорошо | Ограничено | ~$60 |
| NVIDIA RTX 3060 | 12 ГБ | 170W | Отлично | Очень хорошо | ~$200 |
| Intel Arc A380 | 6 ГБ | 75W | Отлично (AV1) | Ограничено | ~$80 |
| Только для транскодирования: NVIDIA T400 или Intel Arc A380. Низкое потребление, не требует внешнего питания. Для AI/ML: NVIDIA с максимальным VRAM. RTX 3060 с 12 ГБ — это оптимальный бюджетный вариант. Tesla P4 для безголового вычисления. |
Типы слотов M.2
Не все слоты M.2 одинаковы:
Ключ| Интерфейс| Типичное использование| Пропускная способность
---|---|---|---
M ключ| PCIe NVMe| Быстрое хранилище| До PCIe 4.0 x4 (7 ГБ/с)
B+M ключ| SATA или PCIe x2| Бюджетные SSD| 550 МБ/с (SATA) или 2 ГБ/с (PCIe)
E ключ| PCIe + USB| Wi-Fi карты| Не для хранения
A ключ| PCIe + USB| Wi-Fi карты| Не для хранения
Проверьте руководство вашей материнской платы на то, какой слот M.2 поддерживает NVMe против SATA. Установка SATA M.2 SSD в слот, предназначенный только для NVMe (или наоборот), не сработает.
Сравнение платформ для расширяемости
| Платформа | Слоты PCIe (типично) | Слоты M.2 | Лучшее для |
|---|---|---|---|
| Мини ПК (N100) | 0 | 1 | Компактный, не требуется расширение |
| Микро ПК (OptiPlex SFF) | 1 LP PCIe x16 | 1 | Минимальное расширение (1 карта) |
| ATX десктоп (AM4/LGA1700) | 2–3 полноразмерных | 2–3 | DIY NAS, HBA + NIC |
| Используемый сервер (R720/R730) | 6–7 полноразмерных | 0–2 | Максимальное расширение |
| Рабочая станция (Z690/X570) | 4+ полноразмерных | 3–4 | Построения для профессионалов |
FAQ
Могу ли я использовать карту PCIe x8 в слоте PCIe x16?
Да. PCIe обратно и вперед совместим по размерам слотов. Карта x8 в слоте x16 работает на скорости x8. Карта x16 в слоте x8 работает на скорости x8 (сниженная пропускная способность, но функциональна).
Будет ли LSI HBA работать с моей материнской платой для потребителей?
Обычно да. Карты LSI SAS 9207/9211 работают в любом слоте PCIe 2.0+ x8 (физический x8 или x16). Некоторые потребительские платы имеют проблемы совместимости с BIOS — если карта не определяется, попробуйте обновить BIOS или использовать другой слот.
Сколько дисков можно подключить к одному HBA?
Каждый порт SFF-8087 поддерживает 4 диска. HBA на 8 портов поддерживает 8 дисков. Для большего количества используйте SAS расширитель или добавьте второй HBA. Большинство домашних сборок NAS требуют 4–12 дисков — одного HBA на 8 портов достаточно.
Уменьшает ли адаптер M.2 в PCIe производительность NVMe?
Нет. Это пассивный адаптер без потери производительности. Протокол NVMe M.2 основан на PCIe — адаптер просто меняет физический разъем.