Инструменты пользователя
equipment:storage:start
Различия
Здесь показаны различия между двумя версиями данной страницы.
| Предыдущая версия справа и слева Предыдущая версия Следующая версия | Предыдущая версия | ||
|
equipment:storage:start [2015/03/12 10:53] sergey [Диски] |
equipment:storage:start [2022/03/22 17:35] (текущий) |
||
|---|---|---|---|
| Строка 3: | Строка 3: | ||
| http://www.trinitygroup.ru/products/server/trinity/el/e130-m3 | http://www.trinitygroup.ru/products/server/trinity/el/e130-m3 | ||
| - | {{:daq:spascharm:supermicro-cse-836e1-r800b-3u-chassis-p5ps.jpg?300|}} | + | {{equipment:storage:supermicro-cse-836e1-r800b-3u-chassis-p5ps.jpg?300|}} |
| + | Технические характеристики | ||
| + | ^Процессор | Один четырехъядерный Intel Xeon34XX | | ||
| + | ^ОЗУ | До 24ГБ DDR3 ECC (до шести 1ГБ, 2ГБ или 4ГБ DIMM). Свыше четырех модулей памяти поддерживается ТОЛЬКО память Registered | | ||
| + | ^Чипсет | Intel 3420 | | ||
| + | ^Жесткие диски | До 16шт SATA или SAS HDD, или комбинация SAS-SATA | | ||
| + | ^RAID контроллер | Adaptec ASR5805 (512MB Cache, RAID0/1/1E/5/5EE/6/10) | | ||
| + | |:::| Рекомендуется установка BBU ABM-800 (модуль резервного питания кэша контроллера | | ||
| + | |:::| Опционально может устанавливаться RAID контроллер Adaptec 5445 (дополнительный внешний порт расширения), 5405Z (безбатарейная защита кэша) или 5445Z (дополнительный внешний порт расширения и безбатарейная защита кэша) | | ||
| + | ^ Сеть | 2 x Gigabit Ethernet (RJ45) плюс выделенный порт IPMI | | ||
| + | ^ Слоты расширения | PCI-Eх8 G2 - 3шт (один занят RAID контроллером)| | ||
| + | |:::|PCI-Eх4 G2- 1шт| | ||
| + | |:::|PCI-Eх1 - 1шт| | ||
| + | |:::|PCI-32 - 1шт | | ||
| + | ^ Питание | Дублированный 800Вт блок питания, 220В 50Гц | | ||
| + | ^ Габариты | 19″ 3U, 437х648х132мм (ШхГхВ) | | ||
| + | ^ Удаленное управление | IPMI с функцией KVM-Over-LAN, virtual media over LAN | | ||
| + | ^ Интегрированные устройства | DVD-ROM, 2xUSB2.0, 6xSATA, Video, PS/2 KB/Mouse | | ||
| - | ^ mb | X8SIL-F, Intel 3420, 4xDDR3, 2x8PCIE, 1x4PCIE, 1xPCI32, 2x1Gb Eth, 6xS-ATA, fake RAID(0,1,5,10), Video, IPMI, m-ATX. | | + | Подробнее: |
| + | ^ mb | [[https://www.supermicro.com/products/motherboard/archive/xeon3000/3400/X8SIL.cfm?IPMI=Y| MB X8SIL-F ]], Intel 3420, 4xDDR3, 2x8PCIE, 1x4PCIE, 1xPCI32, 2x1Gb Eth, 6xS-ATA, fake RAID(0,1,5,10), Video, IPMI, m-ATX. | | ||
| ^ cpu | Intel Xeon X3430 (2.4GHz, DDR3 1333MHz, cache 8MB, Quad, LGA1156, 95W) | | ^ cpu | Intel Xeon X3430 (2.4GHz, DDR3 1333MHz, cache 8MB, Quad, LGA1156, 95W) | | ||
| - | ^ mem | 8GB, ECC, DDR3-1333 | | + | ^ mem | [[https://www.supermicro.com/products/Memory/3400_support.cfm?pname=MBD-X8SIL-F&DIMM=4|8GB/16GB]], ECC, DDR3-1333 | |
| - | ^ hdd | Hitachi Deskstar 7K1000.C, 500GB, S-ATA II, 7200rpm, 16MB cache (HDS721050CLA362 /0F10381) | | + | ^ case | [[http://www.supermicro.com/products/chassis/3U/836/SC836E1-R800.cfm|CSE-836E1-R800B]], Black, 19", 16xSAS/SATA HS Bays, Slim DVD, 2x800W, 3U, E-ATX. | |
| - | ^ case | CSE-836E1-R800B, Black, 19", 16xSAS/SATA HS Bays, Slim DVD, 2x800W, 3U, E-ATX. | | + | |
| ^ cd | Slim CD/DVD SATA to IDE KIT (ADSATAPISA+AASATAPIBK / CDM-PSATA). | | ^ cd | Slim CD/DVD SATA to IDE KIT (ADSATAPISA+AASATAPIBK / CDM-PSATA). | | ||
| ^ sas cable | CBL-0108, Ipass - Ipass SAS Cable, 18". | | ^ sas cable | CBL-0108, Ipass - Ipass SAS Cable, 18". | | ||
| ^ nic | AOC-STG-I2, 2-port 10-Gigabit Ethernet LAN card (Intel 82598EB), PCI-e x8, 2xCX4, LP.| | ^ nic | AOC-STG-I2, 2-port 10-Gigabit Ethernet LAN card (Intel 82598EB), PCI-e x8, 2xCX4, LP.| | ||
| - | ^ raid | Adaptec ASR-5805, 512MB, 8int SAS/SATA, PCI-E x8 + battery Adaptec ABM-800 Kit. | | + | ^ raid | [[https://storage.microsemi.com/en-us/support/raid/sas_raid/sas-5805/index.php| Adaptec ASR-5805]], 512MB, 8int SAS/SATA, PCI-E x8 + battery Adaptec ABM-800 Kit. | |
| Строка 21: | Строка 38: | ||
| + | ===== Backplane ===== | ||
| + | BPN-SAS-836EL1 1 3U SAS / SATA Expander Backplane with single LSI SASX28 Expander Chip | ||
| + | {{ :equipment:storage:bpn-sas-836el.pdf |}} | ||
| ===== Сеть ===== | ===== Сеть ===== | ||
| - | 10GE контроллер на базе Intel_82598EB. | + | 4x1GE сетевая карта Intel-I350T4V2BLK. |
| - | + | ||
| - | {{:daq:spascharm:nic-aoc-utg-i2_.png?200|}} | + | |
| + | {{:equipment:storage:intel-lan-i350-t4-v2-blk.jpg?nolink&200 | }} | ||
| ===== Дисковая подсистема ===== | ===== Дисковая подсистема ===== | ||
| ==== RAID-контроллер ==== | ==== RAID-контроллер ==== | ||
| - | [[man:raid:adaptec-5805 |Raid Adaptec-5805]]. | + | [[equipment:storage:adaptec-5805|Raid Adaptec-5805]]. |
| + | |||
| + | {{equipment:storage:raid-acc5805.jpg?200|}} | ||
| - | {{:daq:spascharm:raid-acc5805.jpg?200|}} | ||
| - | ==== Диски ==== | + | ==== Подключить диск с данными к серверу ==== |
| - | + | - Найти свободный отсек -- у свободных через вентиляционные отверстия видна белая заглушка. | |
| + | - Вынуть салазки, открутить винты, снять заглушку. | ||
| + | - Установить диск, прикрутив как минимум четырьмя винтами -- иначе может заклинить. Пакетик с винтами обычно лежит в левом верхнем отсеке. | ||
| + | - Вставить диск в сервер. | ||
| + | - Запустить программу управления массивом [[equipment:storage:adaptec-5805#запуск_store_manager|StorMan]]. | ||
| + | - Щелкнуть по диску правой кнопкой и нажать **"create JBOD disk"** (если вместо этого нажать "create simple volume", первые 42 блока с таблицей разделов будут затерты нулями). | ||
| + | - Перезагрузиться. Диск появляется в /dev только после перезагрузки. Никакие rescan-ы в /sys/class/scsi-host не помогают. | ||
| + | - Скопировать данные в хранилище. | ||
| - | ST31000524NS (SAS 450G) \\ | + | После копирования: |
| - | s/n: 9WK2BNKJ, 9WK2B24B, 9WK2B0WM, 9WK2BMYY, 9WK2BMSZ, 9WK2BNKH | + | - Отключить диск <code> echo 1 | sudo tee /sys/block/(whatever)/device/delete</code> |
| + | - Извлечь диск, поставить заглушку на место, прикрутитв винтами. | ||
| + | - Вернуть салазки в свободный отсек, соблюдая нумерацию. | ||
| + | - Положить пакетик с винтами на место. | ||
| - | ST3450857SS (SATA 1T) \\ | ||
| - | s/n: 6SK03B4B0000M117PKVH, 6SK009S100009101DUFW, 6SK00R9W0000M105KUHN, 6SK02NQV0000M117PKV4, | ||
| - | Нумерация отсеков: | + | ==== Нумерация отсеков: ==== |
| | 3 | 7 | 11 | 15 | | | 3 | 7 | 11 | 15 | | ||
| | 2 | 6 | 10 | 14 | | | 2 | 6 | 10 | 14 | | ||
| Строка 51: | Строка 79: | ||
| | 0 | 4 | 8 | 12 | | | 0 | 4 | 8 | 12 | | ||
| - | === Текущая конфигурация дисков === | ||
| - | ^ system,spare ^ --- A --- ^ --- B --- ^ --- C --- ^ | + | ===== Проблемы ===== |
| - | | None | Fasty \\ 4 x 419G \\ Raid10 (900G) | Steady1 \\ 4 x 931GB \\ Raid5 (2.7T)| Hot Spare 1.8TB | | + | |
| - | | Spare 460G | ::: | ::: | Steady2 \\ 4 x 1.81T \\ Raid5 (3.6T) | | + | |
| - | | SYSTEM1 1T | ::: | ::: | ::: | | + | |
| - | | SYSTEM0 1T | ::: | ::: | ::: | | + | |
| - | ==== LVM-группы ==== | + | -0- |
| - | В системе предполагается исопльзовать три группы томов LVM: vgsys, vgfast и vgstore. | + | Особенности контроллера Adaptec: при инициализации диска он "откусывает" кусок в конце диска для метаданных и подравнивает его размер до круглого значения. Поэтому не надейтесь, что диск, размеченный где-то еще, заработает в этом сервере. |
| - | * vgsys -- разделы на системном диске для home, var, tmp, образов виртуальных машин и т.п. | + | |
| - | * vgfast -- разделы на быстром массиве sas-дисков. | + | |
| - | * vgstore -- разделы для научных данных на больших sata-дисках. | + | |
| - | Предполагаемая процедура расширения vgstore выглядит так: | + | Чтобы это обойти, оставьте пустое место в конце диска (кратно 5ГБ, либо 40 ГБ для дисков с 4K-секторами). |
| - | - Добавляются диски. | + | |
| - | - Из новых дисков создается аппаратный рейд-массив. | + | |
| - | - На новом массиве создается physical volume (pvcreate /dev/sd_). | + | |
| - | - Physical volume добавляется в vgstore. (vgextend vgstore /dev/sd_). | + | |
| - | Изъять physical volume из vgstore можно так: | ||
| - | - Убеждаемся, что physical volume не используется (pvdisplay /dev/sd_). | ||
| - | - Если используется, перемещаем logical volumes на другой physical volume (pvmove ...). | ||
| - | - Если не используется, удаляем его из vgstore (vgreduce vgstore /dev/sdd). | ||
| + | -1- Система раз в 5 минут перезагружается, если сконфигурировать watchdog в BIOS. | ||
| + | Решение: на этой материнке два разных watchdog: один в биос (фиксирован на 5 минут), другой в IPMI (BMC-контроллере). | ||
| + | Устанавливаем сервис `watchdog`, который взводит таймер в IPMI при старте операционки. Watchdog в BIOS не используем. | ||
| - | ===== Программное обеспечение ===== | + | -2- Чтобы выбрать загрузочный диск, нужно: |
| + | * Нажать Ctrl-A при загрузке. | ||
| + | * В Adaptec 5805 Configuration Utility выбираем Manage Arrays. | ||
| + | * Выбираем нужный диск, нажимаем Ctrl-B. | ||
equipment/storage/start.1426146796.txt.gz · Последние изменения: 2015/03/12 10:53 — sergey
Инструменты страницы
