====== Сервер хранения данных ======
На базе сервера SuperMicro.
http://www.trinitygroup.ru/products/server/trinity/el/e130-m3

{{equipment:storage:supermicro-cse-836e1-r800b-3u-chassis-p5ps.jpg?300|}}

Технические характеристики
^Процессор | Один четырехъядерный Intel Xeon34XX | 
^ОЗУ | До 24ГБ DDR3 ECC (до шести 1ГБ, 2ГБ или 4ГБ DIMM). Свыше четырех модулей памяти поддерживается ТОЛЬКО память Registered | 
^Чипсет | Intel 3420 | 
^Жесткие диски | До 16шт SATA или SAS HDD, или комбинация SAS-SATA |
^RAID контроллер | Adaptec ASR5805 (512MB Cache, RAID0/1/1E/5/5EE/6/10) |
|:::| Рекомендуется установка BBU ABM-800 (модуль резервного питания кэша контроллера |
|:::| Опционально может устанавливаться RAID контроллер Adaptec 5445 (дополнительный внешний порт расширения), 5405Z (безбатарейная защита кэша) или 5445Z (дополнительный внешний порт расширения и безбатарейная защита кэша) |
^ Сеть | 2 x Gigabit Ethernet (RJ45) плюс выделенный порт IPMI |
^ Слоты расширения | PCI-Eх8 G2 - 3шт (один занят RAID контроллером)|
|:::|PCI-Eх4 G2- 1шт|
|:::|PCI-Eх1 - 1шт|
|:::|PCI-32 - 1шт |
^ Питание | Дублированный 800Вт блок питания, 220В 50Гц |
^ Габариты | 19″ 3U, 437х648х132мм (ШхГхВ) |
^ Удаленное управление | IPMI с функцией KVM-Over-LAN, virtual media over LAN |
^ Интегрированные устройства | DVD-ROM, 2xUSB2.0, 6xSATA, Video, PS/2 KB/Mouse |

Подробнее:
^  mb  | [[https://www.supermicro.com/products/motherboard/archive/xeon3000/3400/X8SIL.cfm?IPMI=Y| MB X8SIL-F ]], Intel 3420, 4xDDR3, 2x8PCIE, 1x4PCIE, 1xPCI32, 2x1Gb Eth, 6xS-ATA, fake RAID(0,1,5,10), Video, IPMI, m-ATX. |
^  cpu  | Intel Xeon X3430 (2.4GHz, DDR3 1333MHz, cache 8MB, Quad, LGA1156, 95W) |
^  mem  | [[https://www.supermicro.com/products/Memory/3400_support.cfm?pname=MBD-X8SIL-F&DIMM=4|8GB/16GB]], ECC,  DDR3-1333 |
^  case  | [[http://www.supermicro.com/products/chassis/3U/836/SC836E1-R800.cfm|CSE-836E1-R800B]], Black, 19", 16xSAS/SATA HS Bays, Slim DVD, 2x800W, 3U, E-ATX. |
^  cd  | Slim CD/DVD SATA to IDE KIT (ADSATAPISA+AASATAPIBK / CDM-PSATA). |
^  sas cable  | CBL-0108, Ipass - Ipass SAS Cable, 18". |
^  nic  | AOC-STG-I2, 2-port 10-Gigabit Ethernet LAN card (Intel 82598EB), PCI-e x8, 2xCX4, LP.|
^  raid  | [[https://storage.microsemi.com/en-us/support/raid/sas_raid/sas-5805/index.php| Adaptec ASR-5805]], 512MB, 8int SAS/SATA, PCI-E x8 + battery Adaptec ABM-800 Kit. |






===== Backplane =====
BPN-SAS-836EL1	1	3U SAS / SATA Expander Backplane with single LSI SASX28 Expander Chip

{{ :equipment:storage:bpn-sas-836el.pdf |}}


===== Сеть =====
4x1GE сетевая карта Intel-I350T4V2BLK.

{{:equipment:storage:intel-lan-i350-t4-v2-blk.jpg?nolink&200 | }}
===== Дисковая подсистема =====
====  RAID-контроллер ====

[[equipment:storage:adaptec-5805|Raid Adaptec-5805]].

{{equipment:storage:raid-acc5805.jpg?200|}}


==== Подключить диск с данными к серверу ====
  - Найти свободный отсек -- у свободных через вентиляционные отверстия видна белая заглушка.
  - Вынуть салазки, открутить винты, снять заглушку.
  - Установить диск, прикрутив как минимум четырьмя винтами -- иначе может заклинить. Пакетик с винтами обычно лежит в левом верхнем отсеке.
  - Вставить диск в сервер.
  - Запустить программу управления массивом [[equipment:storage:adaptec-5805#запуск_store_manager|StorMan]].
  - Щелкнуть по диску правой кнопкой и нажать **"create JBOD disk"** (если вместо этого нажать "create simple volume", первые 42 блока с таблицей разделов будут затерты нулями).
  - Перезагрузиться. Диск появляется в /dev только после перезагрузки. Никакие rescan-ы в /sys/class/scsi-host не помогают.
  - Скопировать данные в хранилище.

После копирования:
  - Отключить диск <code> echo 1 | sudo tee /sys/block/(whatever)/device/delete</code>
  - Извлечь диск, поставить заглушку на место, прикрутитв винтами. 
  - Вернуть салазки в свободный отсек, соблюдая нумерацию.
  - Положить пакетик с винтами на место.


==== Нумерация отсеков: ====
|  3  |  7  |  11  |  15  |
|  2  |  6  |  10  |  14  |
|  1  |  5  |   9  |  13  |
|  0  |  4  |   8  |  12  |


===== Проблемы =====

-0-
Особенности контроллера Adaptec: при инициализации диска он "откусывает" кусок в конце диска для метаданных и подравнивает его размер до круглого значения. Поэтому не надейтесь, что диск, размеченный где-то еще, заработает в этом сервере.

Чтобы это обойти, оставьте пустое место в конце диска (кратно 5ГБ, либо 40 ГБ для дисков с 4K-секторами).


-1- Система раз в 5 минут перезагружается, если сконфигурировать watchdog в BIOS.

Решение: на этой материнке два разных watchdog: один в биос (фиксирован на 5 минут), другой в IPMI (BMC-контроллере). 
Устанавливаем сервис `watchdog`, который взводит таймер в IPMI при старте операционки. Watchdog в BIOS не используем.

-2- Чтобы выбрать загрузочный диск, нужно:

  * Нажать Ctrl-A при загрузке.
  * В Adaptec 5805 Configuration Utility выбираем Manage Arrays.
  * Выбираем нужный диск, нажимаем Ctrl-B.