Различия

Здесь показаны различия между двумя версиями данной страницы.

--- equipment:storage:start [2015/03/12 10:52]
sergey [Диски]
+++ equipment:storage:start [2026/08/04 09:11] (текущий)
sergey
@@ Строка 3: / Строка 3: @@
 http://www.trinitygroup.ru/products/server/trinity/el/e130-m3
-{{:daq:spascharm:supermicro-cse-836e1-r800b-3u-chassis-p5ps.jpg?300|}}
+{{equipment:storage:supermicro-cse-836e1-r800b-3u-chassis-p5ps.jpg?300|}}
+Технические характеристики
+^Процессор | Один четырехъядерный Intel Xeon34XX |
+^ОЗУ | До 24ГБ DDR3 ECC (до шести 1ГБ, 2ГБ или 4ГБ DIMM). Свыше четырех модулей памяти поддерживается ТОЛЬКО память Registered |
+^Чипсет | Intel 3420 |
+^Жесткие диски | До 16шт SATA или SAS HDD, или комбинация SAS-SATA |
+^RAID контроллер | Adaptec ASR5805 (512MB Cache, RAID0/1/1E/5/5EE/6/10) |
+|:::| Рекомендуется установка BBU ABM-800 (модуль резервного питания кэша контроллера |
+|:::| Опционально может устанавливаться RAID контроллер Adaptec 5445 (дополнительный внешний порт расширения), 5405Z (безбатарейная защита кэша) или 5445Z (дополнительный внешний порт расширения и безбатарейная защита кэша) |
+^ Сеть | 2 x Gigabit Ethernet (RJ45) плюс выделенный порт IPMI |
+^ Слоты расширения | PCI-Eх8 G2 - 3шт (один занят RAID контроллером)|
+|:::|PCI-Eх4 G2- 1шт|
+|:::|PCI-Eх1 - 1шт|
+|:::|PCI-32 - 1шт |
+^ Питание | Дублированный 800Вт блок питания, 220В 50Гц |
+^ Габариты | 19″ 3U, 437х648х132мм (ШхГхВ) |
+^ Удаленное управление | IPMI с функцией KVM-Over-LAN, virtual media over LAN |
+^ Интегрированные устройства | DVD-ROM, 2xUSB2.0, 6xSATA, Video, PS/2 KB/Mouse |
-^  mb  | X8SIL-F, Intel 3420, 4xDDR3, 2x8PCIE, 1x4PCIE, 1xPCI32, 2x1Gb Eth, 6xS-ATA, fake RAID(0,1,5,10), Video, IPMI, m-ATX. |
+Подробнее:
+^  mb  | [[https://www.supermicro.com/products/motherboard/archive/xeon3000/3400/X8SIL.cfm?IPMI=Y| MB X8SIL-F ]], Intel 3420, 4xDDR3, 2x8PCIE, 1x4PCIE, 1xPCI32, 2x1Gb Eth, 6xS-ATA, fake RAID(0,1,5,10), Video, IPMI, m-ATX. |
 ^  cpu  | Intel Xeon X3430 (2.4GHz, DDR3 1333MHz, cache 8MB, Quad, LGA1156, 95W) |
-^  mem  | 8GB, ECC, DDR3-1333 |
+^  mem  | [[https://www.supermicro.com/products/Memory/3400_support.cfm?pname=MBD-X8SIL-F&DIMM=4|8GB/16GB]], ECC,  DDR3-1333 |
-^  hdd  | Hitachi Deskstar 7K1000.C, 500GB, S-ATA II, 7200rpm, 16MB cache (HDS721050CLA362 /0F10381) |
+^  case  | [[http://www.supermicro.com/products/chassis/3U/836/SC836E1-R800.cfm|CSE-836E1-R800B]], Black, 19", 16xSAS/SATA HS Bays, Slim DVD, 2x800W, 3U, E-ATX. |
-^  case  | CSE-836E1-R800B, Black, 19", 16xSAS/SATA HS Bays, Slim DVD, 2x800W, 3U, E-ATX. |
 ^  cd  | Slim CD/DVD SATA to IDE KIT (ADSATAPISA+AASATAPIBK / CDM-PSATA). |
 ^  sas cable  | CBL-0108, Ipass - Ipass SAS Cable, 18". |
 ^  nic  | AOC-STG-I2, 2-port 10-Gigabit Ethernet LAN card (Intel 82598EB), PCI-e x8, 2xCX4, LP.|
-^  raid  | Adaptec ASR-5805, 512MB, 8int SAS/SATA, PCI-E x8 + battery Adaptec ABM-800 Kit. |
+^  raid  | [[https://storage.microsemi.com/en-us/support/raid/sas_raid/sas-5805/index.php| Adaptec ASR-5805]], 512MB, 8int SAS/SATA, PCI-E x8 + battery Adaptec ABM-800 Kit. |
@@ Строка 21: / Строка 38: @@
+===== Backplane =====
+BPN-SAS-836EL1	1	3U SAS / SATA Expander Backplane with single LSI SASX28 Expander Chip
+{{ :equipment:storage:bpn-sas-836el.pdf |}}
 ===== Сеть =====
-GE контроллер на базе Intel_82598EB.
+x1GE сетевая карта Intel-I350T4V2BLK.
-{{:daq:spascharm:nic-aoc-utg-i2_.png?200|}}
+{{:equipment:storage:intel-lan-i350-t4-v2-blk.jpg?nolink&200 | }}
 ===== Дисковая подсистема =====
 ====  RAID-контроллер ====
-[[man:raid:adaptec-5805 |Raid Adaptec-5805]].
+[[equipment:storage:adaptec-5805|Raid Adaptec-5805]].
-{{:daq:spascharm:raid-acc5805.jpg?200|}}
+{{equipment:storage:raid-acc5805.jpg?200|}}
-==== Диски ====
-ST31000524NS (SAS 450G) \\
+==== Подключить диск с данными к серверу ====
-s/n: 9WK2BNKJ, 9WK2B24B, 9WK2B0WM, 9WK2BMYY, 9WK2BMSZ, 9WK2BNKH
+  - Найти свободный отсек -- у свободных через вентиляционные отверстия видна белая заглушка.
+  - Вынуть салазки, открутить винты, снять заглушку.
+  - Установить диск, прикрутив как минимум четырьмя винтами -- иначе может заклинить. Пакетик с винтами обычно лежит в левом верхнем отсеке.
+  - Вставить диск в сервер.
+  - Запустить программу управления массивом [[equipment:storage:adaptec-5805#запуск_store_manager|StorMan]].
+  - Щелкнуть по диску правой кнопкой и нажать **"create JBOD disk"** (если вместо этого нажать "create simple volume", первые 42 блока с таблицей разделов будут затерты нулями).
+  - Перезагрузиться. Диск появляется в /dev только после перезагрузки. Никакие rescan-ы в /sys/class/scsi-host не помогают.
+  - Скопировать данные в хранилище.
-ST3450857SS (SATA 1T) \\
+После копирования:
-s/n: 6SK03B4B0000M117PKVH, 6SK009S100009101DUFW, 6SK00R9W0000M105KUHN, 6SK02NQV0000M117PKV4,
+  - Отключить диск <code> echo 1 | sudo tee /sys/block/(whatever)/device/delete</code>
+  - Извлечь диск, поставить заглушку на место, прикрутитв винтами.
+  - Вернуть салазки в свободный отсек, соблюдая нумерацию.
+  - Положить пакетик с винтами на место.
-Нумерация отсеков:
+==== Нумерация отсеков: ====
 |  3  |  7  |  11  |  15  |
 |  2  |  6  |  10  |  14  |
@@ Строка 51: / Строка 79: @@
 |  0  |  4  |   8  |  12  |
-=== Текущая конфигурация дисков ===
-^ system,spare ^ --- A --- ^ --- B --- ^ --- C --- ^
+===== Проблемы =====
-| None       | Fasty \\ 4 x 450G \\ Raid10 (900G) | Steady1 \\ 4 x 931GB \\ Raid5 (2.7T)| Hot Spare 1.8TB |
-| Spare 460G | :::        | :::        |  Steady2 \\ 4 x 1.81T \\ Raid5 (3.6T) |
+-0-
-| SYSTEM1 1T | :::        | :::        | ::: |
+Особенности контроллера Adaptec: при инициализации диска он "откусывает" кусок в конце диска для метаданных и подравнивает его размер до круглого значения. Поэтому не надейтесь, что диск, размеченный где-то еще, заработает в этом сервере.
-| SYSTEM0 1T | :::        | :::        | ::: |
+Чтобы это обойти, оставьте пустое место в конце диска (кратно 5ГБ, либо 40 ГБ для дисков с 4K-секторами).
+-1- Система раз в 5 минут перезагружается, если сконфигурировать watchdog в BIOS.
+Решение: на этой материнке два разных watchdog: один в биос (фиксирован на 5 минут), другой в IPMI (BMC-контроллере).
+Устанавливаем сервис `watchdog`, который взводит таймер в IPMI при старте операционки. Watchdog в BIOS не используем.
+-2- Чтобы выбрать загрузочный диск, нужно:
+  * Нажать Ctrl-A при загрузке.
+  * В Adaptec 5805 Configuration Utility выбираем Manage Arrays.
+  * Выбираем нужный диск, нажимаем Ctrl-B.
+-3- При высокой нагрузке сервер иногда спонтанно перезагружается.
+Причина остается неясной. Подозреваю контроллер RAID Adaptec.
+Попробовал отключить HPET (High Precision Event Timer) -- hpet=disable в параметрах ядра в grub.
+Другие вещи, которые стоит проверить:
+  * The Supermicro X8SIL-F motherboard features early-generation PCI Express 2.0 energy-saving management, which interacts poorly with legacy RAID controllers when they spike to maximum power consumption under full load.The Fix: Reboot into your Supermicro BIOS. Navigate to Advanced PCI/PnP Settings and ensure PCIe ASPM (Active State Power Management) is disabled. Ensure the Adaptec card is installed in the primary physical PCIe x8 slot (Slot 6) rather than a shared slot.
-==== LVM-группы ====
+  * Under intense Linux disk load, the open-source aacraid kernel driver often throws "Host adapter abort request" or "SCSI hang" errors. The firmware stops responding fast enough to the OS kernel requests, which locks up the storage subsystem.The Fix: Increase the device timeout threshold and swap the legacy I/O scheduler. Execute the following terminal commands as root to test:bash# Increase the SCSI device timeout to 45 or 60 seconds (replace sdX with your RAID array block names)
-В системе предполагается исопльзовать три группы томов LVM: vgsys, vgfast и vgstore.
-  * vgsys -- разделы на системном диске для home, var, tmp, образов виртуальных машин и т.п.
-  * vgfast -- разделы на быстром массиве sas-дисков.
-  * vgstore -- разделы для научных данных на больших sata-дисках.
-Предполагаемая процедура расширения vgstore выглядит так:
+    echo 45 > /sys/block/sdX/device/timeout # Change the I/O scheduler to 'none' or 'mq-deadline' (avoid older CFQ scheduler under RAID)
-  - Добавляются диски.
+    echo mq-deadline > /sys/block/sdX/queue/scheduler
-  - Из новых дисков создается аппаратный рейд-массив.
-  - На новом массиве создается physical volume (pvcreate /dev/sd_).
-  - Physical volume добавляется в vgstore. (vgextend vgstore /dev/sd_).
-Изъять physical volume из vgstore можно так:
+(If this stops the freezing, make these rules permanent by adding them to a custom /etc/udev/rules.d/ file).
-  - Убеждаемся, что physical volume не используется (pvdisplay /dev/sd_).
+https://serverfault.com/questions/463580/still-getting-aacraid-host-adapter-abort-request-errors-after-following-recomme
-  - Если используется, перемещаем logical volumes на другой physical volume (pvmove ...).
-  - Если не используется, удаляем его из vgstore (vgreduce vgstore /dev/sdd).
-===== Программное обеспечение =====
+  * The Cause: Under high HDD load, the RAID chip quickly exceeds its 55°C limit. This triggers a thermal lockup, causing the Linux kernel to drop the controller entirely and freeze the system.The Fix: Open the chassis and physically check the card's heatsink. You must mount an active, small 40mm fan directly onto the Adaptec heatsink. If it is hot to the touch during a test load, it is overheating.

SPASCHARM

Инструменты пользователя

Инструменты сайта

Различия

Инструменты страницы