Nvidia InfiniBand ile Proxmox (KVM) için Ceph cluster kurulumu
HP Z840 iş istasyonlarından oluşan, her birinde dört adet 4 TB SSD bulunan (toplam 12 OSD) üç node'lu bir Proxmox VE 8.2 cluster kuruyorum. Ceph replikasyon trafiği için InfiniBand ağı kullanılıyor.
Makalede neler var
- Trafiğin ayrı ağlara bölünmesi: yönetim bridge'i, Ceph için InfiniBand, LACP bond'lu kurumsal/üretim erişimi ve yedekleme ağı
- Mellanox ConnectX-3 InfiniBand desteği, OpenSM alt ağ yöneticisi ve IPoIB modülünün kalıcı yüklenmesi
- InfiniBand arayüzüne Ceph alt ağında statik adres, büyük MTU ve connected mode
- Node'ların hpc-cluster adlı bir Proxmox cluster'a katılması
- Ceph'in InfiniBand alt ağında kurulması; her node'da monitor, bir node'da manager
- Her SSD'nin OSD olarak eklenmesi ve PG autoscale ile pool oluşturma (replika sayısı, minimum size, PG sayısı ve CRUSH kuralları)
- Aynı adımların web arayüzünden yapılması, Ceph dashboard, HA grubu, kaynak ekleme ve test migrasyonu
Orijinal makaleyi LinkedIn'de oku ↗