------------------------------------------- version: Proxmox VE 9.2 node: 3 cpu: 8 vCPU mem: 24 G disk: 40 G 500 G net: nic0, nic1 bonding マネージメント nic2 - クラスタ1 nic3 - クラスタ2 nic4,nic5 bonding ストレージ、マイグレーション nic6,nic7 bonding VM用 storage: Ceph ------------------------------------------------ 参考URL ・Proxmox9.0をインストール https://souiunogaii.hatenablog.com/entry/proxmox9-install ・Proxmox VEで無償版リポジトリを設定する https://blog.nishi.network/2023/02/12/proxmox7-3-repository/ ・Proxmox超入門 https://speakerdeck.com/devops_vtj/proxmoxchao-ru-men ・Proxmox VEのクラスタ化とマイグレーションをやってみるの巻 https://qiita.com/ohtsuka-shota/items/c00bff8e8c1a5d4923cc ・Proxmox VE上でCeph/CephFS環境を作ってみる https://qiita.com/ohtsuka-shota/items/2419d9ed74530cc88287 ・Proxmox上のCephクラスタにRBDを作成し、ライブマイグレーションする https://qiita.com/ohtsuka-shota/items/6409e91e1167883cc01f ・HRPC - Proxmox VE https://infinicloud.com/manual_kvm-private-cloud.html?vt=sp ・HA https://subro.mokuren.ne.jp/1896.html ------------------------------------------------ ざっくり手順 ●インストール めんどくさかったのでSecureBootは無効にする。2023にも対応しているはずだが、以降の手順で再起動したら上がらなかった。。。 ●インストール後 ・エンタープライズリポジトリが2つあるはずなので、それぞれ無効にして、No-Subscription を追加。 ・アップデート ・DNSサーバ追加 ※インストール時は1つか設定できないので必要に応じてする。 ●クラスタ作成 ・ネットワーク設定 ・マネージメント ボンディング対象NICがすでに使われている場合、設定を適用するまでは仮状態になるので、 その仮状態であるべき設定にしてから適用すればOK。 ・クラスタ1、クラスタ2、ストレージ、マイグレーション、サービス用 ※各VMが接続するVLANなどはここではしない。ノードごとでの設定はめんどくさいので、 あとで、SDNのゾーンにて設定する。 ・全ノードでsshログインしてホスト鍵を登録 ・クラスタ作成 2台目、3台目でクラスタ参加時に認証エラーとなるが、ブラウザリロードして再ログインすればOK ・確認 ・pvecm status ・corosync-cfgtool -n ●Cephクラスタ作成 ・Cephインストール ・1号機を選んで、[ Ceph ] からインストール ※no-subscription リポジトリ からインストールする。 ※public/cluster networkは同じにする。どちらもストレージネットワークを指定。 ・2,3号機を選んで、[ Ceph ] からインストール ※2,3号機はインストールのみで設定はなし。 ・各ノードでOSD作成 ・任意のノードでMON,MGRを全ノードあるように作成する ・CephFS作成 ・任意のノードでMetadataServerを全ノードあるように作成する ・任意のノードでCephFSを作成 ・RBD作成 ●VM接続用のVLAN作成 ・各ノードでVM接続用のLinuxブリッジ作成 ・[ データセンター ] - [ SDN ] - [ ゾーン ]で設定する。 ・ゾーンに属するVnet（仮想ネットワーク）の定義をする。ここでVLAN IDを入れる。 ・[ データセンター ] - [ SDN ]で適用する。 ※vmbr1ブリッジを使用して、vlan201, 203 のVnet設定をした場合 # brctl show bridge name bridge id STP enabled interfaces vlan201 8000.1eaef962ba55 no ln_vlan201 vlan203 8000.1a3632d0c829 no ln_vlan203 vmbr0 8000.525400da65b3 no bond0 vmbr1 8000.5254003dd40d no bond2 vmbr1v201 8000.5254003dd40d no bond2.201 pr_vlan201 vmbr1v203 8000.5254003dd40d no bond2.203 pr_vlan203 # ●ライブマイグレーションの設定 ・[ データセンター ] - [ オプション ] - [ マイグレーションの設定 ]で設定する。 ※該当インターフェイスを選ぶだけではNG。選んで 「192.168.206.0/24」のようにネットワークアドレスとして設定すること。 ●ISO, クラウドイメージなどをCephFSにアップ ●VM作成 ------------------------------------------------