虚拟机去虚拟化(虚拟机去虚拟化成品系统)
Proxmox创建集群组ceph需要至少三个节点，本次实验为三台服务器，每台服务器系统为proxmox6.4，数据盘为各三块2.4t机械盘。
为每台服务器安装好系统后，首先都需要更新update和upgrade，自带的更新源速度很慢，所以需要改成中文源。
1.更换阿里源
Shell命令行下输入nano /etc/apt/sources.list
进入编辑界面
源地址如下：
deb https://mirrors.aliyun.com/debian buster main contrib non-free
deb https://mirrors.aliyun.com/debian buster-updates main contrib non-free
deb https://mirrors.aliyun.com/debian-security buster/updates main contrib non-free
deb https://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription
deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus/ buster main
然后按ctrl+o保存修改：
然后如上图所示，点击回车键。然后按ctrl+x退出编辑界面。
2.去除企业源，方法同理：
输入nano /etc/apt/sources.list.d/pve-enterprise.list
注释掉企业源，ctrl+o保存，然后回车，最后ctrl+x退出。
3. 删除该目录下所有文件。
输入rm -rf /etc/apt/sources.list.d/* （ 注意目录别删除了 ）
4.更新update和upgrade
输入apt update && apt upgrade，更新源和包
如下提示输入y，等待安装完成
1.建立集群
安装成功之后，首先需要建立集群，首先用节点1创建集群：
提示创建成功。
然后查看加入信息
2.加入集群
将节点2和3分别加入节点1创建的集群。
成功加入集群。
1.为每个节点安装ceph
每个节点进入命令行，然后后执行pveceph install 就可以了。
最后提示成功即可
2.为每个节点添加osd磁盘
命令行输入 fdisk -l，查看所有盘符，
pveceph osd create /dev/sd[X]------X对应的盘符
例如pveceph osd create /dev/sdb为将sdb挂载成osd盘。
将各个节点osd盘创建好。
如果提示报错，说明磁盘在使用，
需要输入如下命令
ceph-volume lvm zap /dev/sd[X]-----X对应的盘符
如果还是报错，需要
先vgdisplay ，查看所有vg卷组，把非系统卷组全部移除，
命令如下
用vgremove移除对应的卷组
同理移除全部需要移除的vg后，需要pvdisplay查看所有被占用的物理卷
同样pvremove移除对应的物理卷
移除之后，reboot重启节点。
3.分别把对应监控节点和管理节点添加进节点1，2，3。
4.将cephfs组元加入各个节点
执行以上步骤后，最后如下图为配置成功
5.创建ceph pool池
根据官方的文档，of_PGs这个数值比较关键，如果不合适的话，Ceph会告警，官方建议:
若少于5个OSD， 设置pg_num为128。
5~10个OSD，设置pg_num为512。
10~50个OSD，设置pg_num为4096。
创建好后每个节点都会出现创建的pool池。
最后可以进行迁移测试了，在任意节点上安装个虚拟系统，本次实验为节点1安装编号为129的系统为proxmox的虚拟机。
如图节点1安装一个proxmox系统
如图需要先将虚拟机的iso删除，否则不会迁移。会提示报错
将刚才创建的虚拟机添加进HA中。
此时节点3为master状态，节点1，2，3都是激活状态
关闭节点1，hengcan01 等待片刻
此时节点1是断开状态，节点2，3为活动状态。至此，实验成功。
