====== Сервер хранения данных ======
На базе сервера SuperMicro.
http://www.trinitygroup.ru/products/server/trinity/el/e130-m3

{{equipment:storage:supermicro-cse-836e1-r800b-3u-chassis-p5ps.jpg?300|}}

Технические характеристики
^Процессор | Один четырехъядерный Intel Xeon34XX | 
^ОЗУ | До 24ГБ DDR3 ECC (до шести 1ГБ, 2ГБ или 4ГБ DIMM). Свыше четырех модулей памяти поддерживается ТОЛЬКО память Registered | 
^Чипсет | Intel 3420 | 
^Жесткие диски | До 16шт SATA или SAS HDD, или комбинация SAS-SATA |
^RAID контроллер | Adaptec ASR5805 (512MB Cache, RAID0/1/1E/5/5EE/6/10) |
|:::| Рекомендуется установка BBU ABM-800 (модуль резервного питания кэша контроллера |
|:::| Опционально может устанавливаться RAID контроллер Adaptec 5445 (дополнительный внешний порт расширения), 5405Z (безбатарейная защита кэша) или 5445Z (дополнительный внешний порт расширения и безбатарейная защита кэша) |
^ Сеть | 2 x Gigabit Ethernet (RJ45) плюс выделенный порт IPMI |
^ Слоты расширения | PCI-Eх8 G2 - 3шт (один занят RAID контроллером)|
|:::|PCI-Eх4 G2- 1шт|
|:::|PCI-Eх1 - 1шт|
|:::|PCI-32 - 1шт |
^ Питание | Дублированный 800Вт блок питания, 220В 50Гц |
^ Габариты | 19″ 3U, 437х648х132мм (ШхГхВ) |
^ Удаленное управление | IPMI с функцией KVM-Over-LAN, virtual media over LAN |
^ Интегрированные устройства | DVD-ROM, 2xUSB2.0, 6xSATA, Video, PS/2 KB/Mouse |

Подробнее:
^  mb  | [[https://www.supermicro.com/products/motherboard/archive/xeon3000/3400/X8SIL.cfm?IPMI=Y| MB X8SIL-F ]], Intel 3420, 4xDDR3, 2x8PCIE, 1x4PCIE, 1xPCI32, 2x1Gb Eth, 6xS-ATA, fake RAID(0,1,5,10), Video, IPMI, m-ATX. |
^  cpu  | Intel Xeon X3430 (2.4GHz, DDR3 1333MHz, cache 8MB, Quad, LGA1156, 95W) |
^  mem  | [[https://www.supermicro.com/products/Memory/3400_support.cfm?pname=MBD-X8SIL-F&DIMM=4|8GB/16GB]], ECC,  DDR3-1333 |
^  case  | [[http://www.supermicro.com/products/chassis/3U/836/SC836E1-R800.cfm|CSE-836E1-R800B]], Black, 19", 16xSAS/SATA HS Bays, Slim DVD, 2x800W, 3U, E-ATX. |
^  cd  | Slim CD/DVD SATA to IDE KIT (ADSATAPISA+AASATAPIBK / CDM-PSATA). |
^  sas cable  | CBL-0108, Ipass - Ipass SAS Cable, 18". |
^  nic  | AOC-STG-I2, 2-port 10-Gigabit Ethernet LAN card (Intel 82598EB), PCI-e x8, 2xCX4, LP.|
^  raid  | [[https://storage.microsemi.com/en-us/support/raid/sas_raid/sas-5805/index.php| Adaptec ASR-5805]], 512MB, 8int SAS/SATA, PCI-E x8 + battery Adaptec ABM-800 Kit. |






===== Backplane =====
BPN-SAS-836EL1	1	3U SAS / SATA Expander Backplane with single LSI SASX28 Expander Chip

{{ :equipment:storage:bpn-sas-836el.pdf |}}


===== Сеть =====
4x1GE сетевая карта Intel-I350T4V2BLK.

{{:equipment:storage:intel-lan-i350-t4-v2-blk.jpg?nolink&200 | }}
===== Дисковая подсистема =====
====  RAID-контроллер ====

[[equipment:storage:adaptec-5805|Raid Adaptec-5805]].

{{equipment:storage:raid-acc5805.jpg?200|}}


==== Подключить диск с данными к серверу ====
  - Найти свободный отсек -- у свободных через вентиляционные отверстия видна белая заглушка.
  - Вынуть салазки, открутить винты, снять заглушку.
  - Установить диск, прикрутив как минимум четырьмя винтами -- иначе может заклинить. Пакетик с винтами обычно лежит в левом верхнем отсеке.
  - Вставить диск в сервер.
  - Запустить программу управления массивом [[equipment:storage:adaptec-5805#запуск_store_manager|StorMan]].
  - Щелкнуть по диску правой кнопкой и нажать **"create JBOD disk"** (если вместо этого нажать "create simple volume", первые 42 блока с таблицей разделов будут затерты нулями).
  - Перезагрузиться. Диск появляется в /dev только после перезагрузки. Никакие rescan-ы в /sys/class/scsi-host не помогают.
  - Скопировать данные в хранилище.

После копирования:
  - Отключить диск <code> echo 1 | sudo tee /sys/block/(whatever)/device/delete</code>
  - Извлечь диск, поставить заглушку на место, прикрутитв винтами. 
  - Вернуть салазки в свободный отсек, соблюдая нумерацию.
  - Положить пакетик с винтами на место.


==== Нумерация отсеков: ====
|  3  |  7  |  11  |  15  |
|  2  |  6  |  10  |  14  |
|  1  |  5  |   9  |  13  |
|  0  |  4  |   8  |  12  |


===== Проблемы =====

-0-
Особенности контроллера Adaptec: при инициализации диска он "откусывает" кусок в конце диска для метаданных и подравнивает его размер до круглого значения. Поэтому не надейтесь, что диск, размеченный где-то еще, заработает в этом сервере.

Чтобы это обойти, оставьте пустое место в конце диска (кратно 5ГБ, либо 40 ГБ для дисков с 4K-секторами).


-1- Система раз в 5 минут перезагружается, если сконфигурировать watchdog в BIOS.

Решение: на этой материнке два разных watchdog: один в биос (фиксирован на 5 минут), другой в IPMI (BMC-контроллере). 
Устанавливаем сервис `watchdog`, который взводит таймер в IPMI при старте операционки. Watchdog в BIOS не используем.

-2- Чтобы выбрать загрузочный диск, нужно:

  * Нажать Ctrl-A при загрузке.
  * В Adaptec 5805 Configuration Utility выбираем Manage Arrays.
  * Выбираем нужный диск, нажимаем Ctrl-B.

-3- При высокой нагрузке сервер иногда спонтанно перезагружается.
Причина остается неясной. Подозреваю контроллер RAID Adaptec.
Попробовал отключить HPET (High Precision Event Timer) -- hpet=disable в параметрах ядра в grub.

Другие вещи, которые стоит проверить:

  * The Supermicro X8SIL-F motherboard features early-generation PCI Express 2.0 energy-saving management, which interacts poorly with legacy RAID controllers when they spike to maximum power consumption under full load.The Fix: Reboot into your Supermicro BIOS. Navigate to Advanced PCI/PnP Settings and ensure PCIe ASPM (Active State Power Management) is disabled. Ensure the Adaptec card is installed in the primary physical PCIe x8 slot (Slot 6) rather than a shared slot.



  * Under intense Linux disk load, the open-source aacraid kernel driver often throws "Host adapter abort request" or "SCSI hang" errors. The firmware stops responding fast enough to the OS kernel requests, which locks up the storage subsystem.The Fix: Increase the device timeout threshold and swap the legacy I/O scheduler. Execute the following terminal commands as root to test:bash# Increase the SCSI device timeout to 45 or 60 seconds (replace sdX with your RAID array block names) 

    echo 45 > /sys/block/sdX/device/timeout # Change the I/O scheduler to 'none' or 'mq-deadline' (avoid older CFQ scheduler under RAID)
    echo mq-deadline > /sys/block/sdX/queue/scheduler

(If this stops the freezing, make these rules permanent by adding them to a custom /etc/udev/rules.d/ file).
https://serverfault.com/questions/463580/still-getting-aacraid-host-adapter-abort-request-errors-after-following-recomme



  * The Cause: Under high HDD load, the RAID chip quickly exceeds its 55°C limit. This triggers a thermal lockup, causing the Linux kernel to drop the controller entirely and freeze the system.The Fix: Open the chassis and physically check the card's heatsink. You must mount an active, small 40mm fan directly onto the Adaptec heatsink. If it is hot to the touch during a test load, it is overheating.