Здесь показаны различия между двумя версиями данной страницы.
Предыдущая версия справа и слева Предыдущая версия Следующая версия | Предыдущая версия | ||
equipment:storage:start [2019/07/07 18:04] sergey |
equipment:storage:start [2022/03/22 17:35] (текущий) |
||
---|---|---|---|
Строка 3: | Строка 3: | ||
http://www.trinitygroup.ru/products/server/trinity/el/e130-m3 | http://www.trinitygroup.ru/products/server/trinity/el/e130-m3 | ||
- | https://www.supermicro.com/products/motherboard/archive/xeon3000/3400/X8SIL.cfm?IPMI=Y | + | {{equipment:storage:supermicro-cse-836e1-r800b-3u-chassis-p5ps.jpg?300|}} |
- | {{:daq:spascharm:supermicro-cse-836e1-r800b-3u-chassis-p5ps.jpg?300|}} | + | Технические характеристики |
+ | ^Процессор | Один четырехъядерный Intel Xeon34XX | | ||
+ | ^ОЗУ | До 24ГБ DDR3 ECC (до шести 1ГБ, 2ГБ или 4ГБ DIMM). Свыше четырех модулей памяти поддерживается ТОЛЬКО память Registered | | ||
+ | ^Чипсет | Intel 3420 | | ||
+ | ^Жесткие диски | До 16шт SATA или SAS HDD, или комбинация SAS-SATA | | ||
+ | ^RAID контроллер | Adaptec ASR5805 (512MB Cache, RAID0/1/1E/5/5EE/6/10) | | ||
+ | |:::| Рекомендуется установка BBU ABM-800 (модуль резервного питания кэша контроллера | | ||
+ | |:::| Опционально может устанавливаться RAID контроллер Adaptec 5445 (дополнительный внешний порт расширения), 5405Z (безбатарейная защита кэша) или 5445Z (дополнительный внешний порт расширения и безбатарейная защита кэша) | | ||
+ | ^ Сеть | 2 x Gigabit Ethernet (RJ45) плюс выделенный порт IPMI | | ||
+ | ^ Слоты расширения | PCI-Eх8 G2 - 3шт (один занят RAID контроллером)| | ||
+ | |:::|PCI-Eх4 G2- 1шт| | ||
+ | |:::|PCI-Eх1 - 1шт| | ||
+ | |:::|PCI-32 - 1шт | | ||
+ | ^ Питание | Дублированный 800Вт блок питания, 220В 50Гц | | ||
+ | ^ Габариты | 19″ 3U, 437х648х132мм (ШхГхВ) | | ||
+ | ^ Удаленное управление | IPMI с функцией KVM-Over-LAN, virtual media over LAN | | ||
+ | ^ Интегрированные устройства | DVD-ROM, 2xUSB2.0, 6xSATA, Video, PS/2 KB/Mouse | | ||
- | + | Подробнее: | |
- | ^ mb | X8SIL-F, Intel 3420, 4xDDR3, 2x8PCIE, 1x4PCIE, 1xPCI32, 2x1Gb Eth, 6xS-ATA, fake RAID(0,1,5,10), Video, IPMI, m-ATX. | | + | ^ mb | [[https://www.supermicro.com/products/motherboard/archive/xeon3000/3400/X8SIL.cfm?IPMI=Y| MB X8SIL-F ]], Intel 3420, 4xDDR3, 2x8PCIE, 1x4PCIE, 1xPCI32, 2x1Gb Eth, 6xS-ATA, fake RAID(0,1,5,10), Video, IPMI, m-ATX. | |
^ cpu | Intel Xeon X3430 (2.4GHz, DDR3 1333MHz, cache 8MB, Quad, LGA1156, 95W) | | ^ cpu | Intel Xeon X3430 (2.4GHz, DDR3 1333MHz, cache 8MB, Quad, LGA1156, 95W) | | ||
- | ^ mem | 8GB, ECC, DDR3-1333 | | + | ^ mem | [[https://www.supermicro.com/products/Memory/3400_support.cfm?pname=MBD-X8SIL-F&DIMM=4|8GB/16GB]], ECC, DDR3-1333 | |
- | ^ hdd | Hitachi Deskstar 7K1000.C, 500GB, S-ATA II, 7200rpm, 16MB cache (HDS721050CLA362 /0F10381) | | + | ^ case | [[http://www.supermicro.com/products/chassis/3U/836/SC836E1-R800.cfm|CSE-836E1-R800B]], Black, 19", 16xSAS/SATA HS Bays, Slim DVD, 2x800W, 3U, E-ATX. | |
- | ^ case | CSE-836E1-R800B, Black, 19", 16xSAS/SATA HS Bays, Slim DVD, 2x800W, 3U, E-ATX. | | + | |
^ cd | Slim CD/DVD SATA to IDE KIT (ADSATAPISA+AASATAPIBK / CDM-PSATA). | | ^ cd | Slim CD/DVD SATA to IDE KIT (ADSATAPISA+AASATAPIBK / CDM-PSATA). | | ||
^ sas cable | CBL-0108, Ipass - Ipass SAS Cable, 18". | | ^ sas cable | CBL-0108, Ipass - Ipass SAS Cable, 18". | | ||
^ nic | AOC-STG-I2, 2-port 10-Gigabit Ethernet LAN card (Intel 82598EB), PCI-e x8, 2xCX4, LP.| | ^ nic | AOC-STG-I2, 2-port 10-Gigabit Ethernet LAN card (Intel 82598EB), PCI-e x8, 2xCX4, LP.| | ||
- | ^ raid | Adaptec ASR-5805, 512MB, 8int SAS/SATA, PCI-E x8 + battery Adaptec ABM-800 Kit. | | + | ^ raid | [[https://storage.microsemi.com/en-us/support/raid/sas_raid/sas-5805/index.php| Adaptec ASR-5805]], 512MB, 8int SAS/SATA, PCI-E x8 + battery Adaptec ABM-800 Kit. | |
Строка 23: | Строка 38: | ||
+ | ===== Backplane ===== | ||
+ | BPN-SAS-836EL1 1 3U SAS / SATA Expander Backplane with single LSI SASX28 Expander Chip | ||
+ | {{ :equipment:storage:bpn-sas-836el.pdf |}} | ||
===== Сеть ===== | ===== Сеть ===== | ||
- | 10GE контроллер на базе Intel_82598EB. | + | 4x1GE сетевая карта Intel-I350T4V2BLK. |
- | + | ||
- | {{:daq:spascharm:nic-aoc-utg-i2_.png?200|}} | + | |
+ | {{:equipment:storage:intel-lan-i350-t4-v2-blk.jpg?nolink&200 | }} | ||
===== Дисковая подсистема ===== | ===== Дисковая подсистема ===== | ||
==== RAID-контроллер ==== | ==== RAID-контроллер ==== | ||
- | [[man:raid:adaptec-5805 |Raid Adaptec-5805]]. | + | [[equipment:storage:adaptec-5805|Raid Adaptec-5805]]. |
- | {{:daq:spascharm:raid-acc5805.jpg?200|}} | + | {{equipment:storage:raid-acc5805.jpg?200|}} |
- | ==== Диски ==== | ||
- | |||
- | ST31000524NS (SAS 450G) \\ | + | ==== Подключить диск с данными к серверу ==== |
- | s/n: 9WK2BNKJ, 9WK2B24B, 9WK2B0WM, 9WK2BMYY, 9WK2BMSZ, 9WK2BNKH | + | - Найти свободный отсек -- у свободных через вентиляционные отверстия видна белая заглушка. |
+ | - Вынуть салазки, открутить винты, снять заглушку. | ||
+ | - Установить диск, прикрутив как минимум четырьмя винтами -- иначе может заклинить. Пакетик с винтами обычно лежит в левом верхнем отсеке. | ||
+ | - Вставить диск в сервер. | ||
+ | - Запустить программу управления массивом [[equipment:storage:adaptec-5805#запуск_store_manager|StorMan]]. | ||
+ | - Щелкнуть по диску правой кнопкой и нажать **"create JBOD disk"** (если вместо этого нажать "create simple volume", первые 42 блока с таблицей разделов будут затерты нулями). | ||
+ | - Перезагрузиться. Диск появляется в /dev только после перезагрузки. Никакие rescan-ы в /sys/class/scsi-host не помогают. | ||
+ | - Скопировать данные в хранилище. | ||
- | ST3450857SS (SATA 1T) \\ | + | После копирования: |
- | s/n: 6SK03B4B0000M117PKVH, 6SK009S100009101DUFW, 6SK00R9W0000M105KUHN, 6SK02NQV0000M117PKV4, | + | - Отключить диск <code> echo 1 | sudo tee /sys/block/(whatever)/device/delete</code> |
+ | - Извлечь диск, поставить заглушку на место, прикрутитв винтами. | ||
+ | - Вернуть салазки в свободный отсек, соблюдая нумерацию. | ||
+ | - Положить пакетик с винтами на место. | ||
- | Нумерация отсеков: | + | |
+ | ==== Нумерация отсеков: ==== | ||
| 3 | 7 | 11 | 15 | | | 3 | 7 | 11 | 15 | | ||
| 2 | 6 | 10 | 14 | | | 2 | 6 | 10 | 14 | | ||
Строка 53: | Строка 79: | ||
| 0 | 4 | 8 | 12 | | | 0 | 4 | 8 | 12 | | ||
- | === Текущая конфигурация дисков === | ||
- | ^ system,spare ^ --- A --- ^ --- B --- ^ --- C --- ^ | + | ===== Проблемы ===== |
- | | None | Fasty \\ 4 x 419G \\ Raid10 (900G) | Steady1 \\ 4 x 931GB \\ Raid5 (2.7T)| Hot Spare 1.8TB | | + | |
- | | Spare 460G | ::: | ::: | Steady2 \\ 4 x 1.81T \\ Raid5 (3.6T) | | + | -0- |
- | | SYSTEM1 1T | ::: | ::: | ::: | | + | Особенности контроллера Adaptec: при инициализации диска он "откусывает" кусок в конце диска для метаданных и подравнивает его размер до круглого значения. Поэтому не надейтесь, что диск, размеченный где-то еще, заработает в этом сервере. |
- | | SYSTEM0 1T | ::: | ::: | ::: | | + | |
+ | Чтобы это обойти, оставьте пустое место в конце диска (кратно 5ГБ, либо 40 ГБ для дисков с 4K-секторами). | ||
- | ==== LVM-группы ==== | ||
- | * vgsys -- разделы на системном диске для home, var, tmp, образов виртуальных машин и т.п. | ||
+ | -1- Система раз в 5 минут перезагружается, если сконфигурировать watchdog в BIOS. | ||
- | ===== Программное обеспечение ===== | + | Решение: на этой материнке два разных watchdog: один в биос (фиксирован на 5 минут), другой в IPMI (BMC-контроллере). |
+ | Устанавливаем сервис `watchdog`, который взводит таймер в IPMI при старте операционки. Watchdog в BIOS не используем. | ||
+ | -2- Чтобы выбрать загрузочный диск, нужно: | ||
+ | * Нажать Ctrl-A при загрузке. | ||
+ | * В Adaptec 5805 Configuration Utility выбираем Manage Arrays. | ||
+ | * Выбираем нужный диск, нажимаем Ctrl-B. |