{"id":329076,"date":"2022-02-04T15:02:36","date_gmt":"2022-02-04T15:02:36","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=329076"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=329076","title":{"rendered":"\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 Opennebula \u0441 Ceph RDB, CephFS<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c Ceph \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u043e\u0434 \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c Opennebula, \u0430 \u0442\u0430\u043a \u0436\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e Opennebula \u0441 Ceph RDB, CephFS<\/p>\n

\u00a0\u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415\u00a0!!!<\/strong><\/p>\n

\u0412 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0438\u043d\u0435 \u043d\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c OSD \u043d\u043e\u0434\u044b \u0438 \u043d\u043e\u0434\u044b, \u0433\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f KVM \u043c\u0430\u0448\u0438\u043d\u044b<\/p>\n

\u041d\u0443… \u043f\u043e\u0435\u0445\u0430\u043b\u0438….<\/p>\n

\u0412\u0432\u043e\u0434\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f<\/strong><\/p>\n

\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f OpenNebula+Ceph \u0431\u044b\u043b\u043e \u0432\u0437\u044f\u0442\u043e 6 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u0438\u0437 \u043d\u0438\u0445 3 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0430, \u0434\u0432\u0435 KVM \u043d\u043e\u0434\u044b (\u0442\u0443\u0442 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c KVM \u043c\u0430\u0448\u0438\u043d\u044b, \u0430 \u0442\u0430\u043a \u0436\u0435 OSD) \u0438 \u043e\u0434\u0438\u043d \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u043e\u0434 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0443\u044e \u043d\u043e\u0434\u0443 OpenNebula.<\/p>\n

\u041d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445, \u0433\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043a\u0440\u0443\u0442\u0438\u0442\u044c\u0441\u044f OSD \u0431\u044b\u043b \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u0434\u0435\u043b \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \/dev\/sdb: 320 GiB — \u0434\u043b\u044f Ceph<\/p>\n

\u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f \u043c\u044b \u043d\u0430\u0437\u043e\u0432\u0435\u043c \u0445\u043e\u0441\u0442\u044b \u0432\u043e\u0442 \u0442\u0430\u043a<\/p>\n

192.168.10.2 mon1
192.168.10.3 mon2
192.168.10.4 mon3
192.168.10.5 open-mgr (\u043e\u043d\u0430 \u0436\u0435 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 ceph-admin)
192.168.10.6 kvm-node1
192.168.10.7 kvm-node2<\/p>\n

\u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u043e apt-get update<\/strong>(\u0438 \u0437\u0430\u0442\u0435\u043c reboot)\u00a0 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0447\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u0443 \u043d\u0430\u0441 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f(\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 ntpd.conf \u0438\u043b\u0438 chronyd.conf) \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445.<\/p>\n

\u0420\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u0435 Ceph:
<\/strong>
\u0417\u0430\u0445\u043e\u0434\u0438\u043c \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u00a0open-mgr<\/strong>\u00a0\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043b\u044e\u0447 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f (\u043f\u043e\u0434 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c root \u0438\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0447\u0435\u0440\u0435\u0437 sudo)
wget -q -O- 'https:\/\/download.ceph.com\/keys\/release.asc' | apt-key add -<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0433\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043b\u044e\u0447\u0430 — \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u0439 \u0434\u043b\u044f ceph:
echo deb\u00a0https:\/\/download.ceph.com\/debian-nautilus\/\u00a0$(lsb_release -sc) main | tee \/etc\/apt\/sources.list.d\/ceph.list<\/p>\n

<\/code>\u0412\u0441\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0431\u0443\u0434\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0open-mgr<\/strong><\/p>\n

\u0423\u0441\u0442\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c\u00a0ceph-deploy
apt updateapt -y install ceph-deploy<\/p>\n

<\/strong>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445, \u0433\u0434\u0435 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043a\u0440\u0443\u0442\u0438\u0442\u044c\u0441\u044f ceph — \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u044e\u0437\u0435\u0440\u0430 ceph-admin.<\/strong><\/p>\n

\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u043e\u0442 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0438 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0434 \u044e\u0437\u0435\u0440\u043e\u043c ceph-admin<\/strong> — \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b sudo \u0431\u0435\u0437 \u0432\u0432\u043e\u0434\u0430 \u043f\u0430\u0440\u043e\u043b\u044f:<\/p>\n

export USERPASS=\"\u043d\u0443\u0436\u0435\u043d_\u0441\u043b\u043e\u0436\u043d\u044b\u0439_\u043f\u0430\u0440\u043e\u043b\u044c\" - \u043e\u0431\u044b\u0447\u043d\u043e \u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e \u0438 \u0434\u043b\u0438\u043d\u0443 \u043f\u0430\u0440\u043e\u043b\u044f \u0441\u0442\u0430\u0432\u043b\u044e 32 \u0441\u0438\u043c\u0432\u043e\u043b\u0430
export USERNAME=\"ceph-admin\"
sudo useradd --create-home -s \/bin\/bash ${USERNAME}
echo \"${USERNAME}:${USERPASS}\" | sudo chpasswd
echo \"${USERNAME} ALL = (root) NOPASSWD:ALL\" | sudo tee \/etc\/sudoers.d\/${USERNAME}
sudo chmod 0440 \/etc\/sudoers.d\/${USERNAME}<\/code><\/p>\n

\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u0441\u044f \u043d\u0430 open-mgr \u0438 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 ssh-\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0432 ceph-admin<\/strong><\/p>\n

su — ceph-admin
<\/strong>\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:
ssh-keygen<\/strong><\/p>\n

\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0444\u0430\u0439\u043b\u0438\u043a \/home\/ceph-admin\/.ssh\/config \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0440\u0430\u0446\u0438\u0435\u0439<\/p>\n

Host kvm-node1
\u00a0\u00a0 \u00a0 \u00a0Hostname kvm-node1
\u00a0\u00a0 \u00a0 User ceph-admin
\u00a0Host kvm-node2
\u00a0\u00a0 \u00a0 \u00a0Hostname kvm-node2
\u00a0\u00a0 \u00a0 \u00a0User ceph-admin
\u00a0Host mon1
\u00a0\u00a0 \u00a0 \u00a0Hostname mon1
\u00a0\u00a0 \u00a0 \u00a0User ceph-admin
\u00a0Host mon2
\u00a0\u00a0 \u00a0 \u00a0Hostname mon2
\u00a0\u00a0 \u00a0 \u00a0User ceph-admin
\u00a0Host mon3
\u00a0\u00a0 \u00a0 \u00a0Hostname mon3
\u00a0\u00a0 \u00a0 \u00a0User ceph-admin<\/code> <\/p>\n

\u041a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u043a\u043b\u044e\u0447 \u043d\u0430 \u0432\u0441\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430:
\u00a0for i in mon1 mon2 mon3 kvm-node1 kvm-node2; do
\u00a0\u00a0 \u00a0 \u00a0ssh-copy-id $i
\u00a0done<\/code><\/p>\n

\u041f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0434\u0435\u043f\u043b\u043e\u044e ceph<\/strong>.<\/p>\n

\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e
\u00a0mkdir ceph-deploy<\/strong>\u00a0\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u043d\u0435\u0435
\u00a0cd ceph-deploy<\/strong><\/p>\n

\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0434\u043b\u044f ceph.<\/p>\n

\u0414\u043b\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u043e\u0432 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:
\u00a0ceph-deploy new mon1 mon2 mon3<\/strong><\/p>\n

\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443:
[ceph_deploy][ERROR ] RuntimeError: AttributeError: module 'platform' has no attribute 'linux_distribution'<\/code><\/p>\n

<\/strong>\u0420\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 ceph-deploy:
\u00a0pip3\u00a0install\u00a0git+https:\/\/github.com\/ceph\/ceph-deploy.git<\/code><\/p>\n

\u0415\u0441\u043b\u0438 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0448\u0430\u0433\u0443.<\/p>\n

\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e \u0441\u043e\u0444\u0442\u0430 \u0434\u043b\u044f Ceph
ceph-deploy install mon1 mon2 mon3 kvm-node1 kvm-node2<\/code><\/p>\n

\u041f\u0440\u043e\u0439\u0434\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0441\u043e\u0444\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043d\u0430<\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0438\u043d\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u043e\u0432
ceph-deploy mon create-initial<\/code><\/p>\n

\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0434\u0435\u043f\u043b\u043e\u0439 \u0434\u0435\u043c\u043e\u043d\u043e\u0432
ceph-deploy mgr create mon1 mon2 mon3<\/code>\u00a0
<\/strong>\u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c Metadata \u0441\u0435\u0440\u0432\u0435\u0440\u0430
ceph-deploy mds create mon1 mon2 mon3<\/code><\/p>\n

\u041a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u043a\u043e\u043d\u0444\u0438\u0433 \u0444\u0430\u0439\u043b\u044b \u0438 \u0430\u0434\u043c\u0438\u043d \u043a\u043b\u044e\u0447 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430
ceph-deploy admin mon1 mon2 mon3 kvm-node1 kvm-node2<\/code>
<\/strong><\/p>\n

\u041a\u0430\u043a \u044f \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b \u0440\u0430\u043d\u0435\u0435, \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u00a0kvm-node1 kvm-node2\u00a0<\/strong>\u043f\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0443\u00a0\/dev\/sdb —\u00a0<\/strong>320GB<\/p>\n

\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 OSD:<\/p>\n

for j in kvm-node1 kvm-node2; do
\u00a0\u00a0 \u00a0 \u00a0 \u00a0ceph-deploy osd create --data \/dev\/sdb $j
\u00a0done<\/code><\/p>\n

B \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u0435 \u043d\u0430\u0448\u0435\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u00a0
ceph health<\/strong><\/p>\n

\u0423 \u0412\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043f\u0430\u0440\u043e\u0447\u043a\u0430 Warnings:
HEALTH_WARN mons are allowing insecure global_id reclaim; \u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 OSD < 3 (\u0442.\u043a. \u0443 \u043d\u0430\u0441 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0435\u0449\u0435 \u043e\u0434\u0438\u043d OSD, \u0438 \u0434\u0438\u0441\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u043c\u0435\u043d\u044c\u0448\u0435 \u0441 \u0441\u0435\u0440\u0432\u0435\u0440 mon1)
ceph-deploy osd create --data \/dev\/sdb mon1<\/code><\/p>\n

\u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u043c\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c Ceph \u0414\u044d\u0448\u0431\u043e\u0440\u0434<\/strong><\/p>\n

\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0430\u0445 \u043d\u0443\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0430\u043a\u0435\u0442:\u00a0ceph-mgr-dashboard\u00a0 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 mon1, mon2, mon3<\/p>\n

for j in\u00a0mon1 mon2 mon3 do
\u00a0\u00a0 \u00a0 \u00a0 \u00a0ssh -t $j sudo apt install\u00a0ceph-mgr-dashboard
\u00a0done<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043d\u0430 open-mgr<\/strong> \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c
sudo ceph mgr module enable dashboard
sudo ceph dashboard create-self-signed-cert\u00a0
sudo ceph dashboard ac-user-create admin administrator -i \/home\/ceph\/pass.txt<\/code><\/p>\n

\u0424\u0430\u0439\u043b pass.txt — \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043f\u0430\u0440\u043e\u043b\u044c. \u0424\u0430\u0439\u043b \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0437\u0443 \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e, \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u043a\u0440\u044b\u0442\u044c Dashboard
https:\/\/192.168.10.2:8443<\/code><\/p>\n

\u041d\u0430 \u044d\u0442\u043e\u043c \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 Ceph \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0430.
\u0415\u0441\u043b\u0438, \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0448\u043b\u043e \u043d\u0435 \u0442\u0430\u043a \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438, \u0442\u043e \u0432\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442\u0435 \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0432\u0441\u0435 \u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e:
ceph-deploy purge\u00a0mon1 mon2 mon3 kvm-node1 kvm-node2
ceph-deploy purgedata\u00a0mon1 mon2 mon3 kvm-node1 kvm-node2
ceph-deploy forgetkeysrm ceph.*<\/code><\/p>\n

\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 OpenNebula FrontEnd<\/p>\n

<\/strong>\u0417\u0430\u0445\u043e\u0434\u0438\u043c \u043f\u043e ssh \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 open-mgr \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043b\u044e\u0447 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f opennebula:
wget -q -O-\u00a0https:\/\/downloads.opennebula.org\/repo\/repo.key\u00a0| sudo apt-key add -<\/code>
\u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u0439 OpenNebula
echo \"deb\u00a0https:\/\/downloads.opennebula.org\/repo\/6.2\/Ubuntu\/20.04\u00a0stable opennebula\" | sudo tee \/etc\/apt\/sources.list.d\/opennebula.list<\/code><\/p>\n

\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u043f\u0430\u043a\u0435\u0442\u044b \u0438 \u0443\u0441\u0442\u0430\u0432\u0438\u043c mySQL-\u0441\u0435\u0440\u0432\u0435\u0440<\/strong>
sudo apt update
sudo apt -y install mariadb-server
\u0438
sudo mysql_secure_installation<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 mySQL \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u044e\u0437\u0435\u0440\u0430 \u0434\u043b\u044f \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a mySQL:
CREATE DATABASE opennebula;
GRANT ALL PRIVILEGES ON opennebula.* TO 'oneadmin' IDENTIFIED BY '\u043e\u0447\u0435\u043d\u044c_\u0441\u043b\u043e\u0436\u043d\u044b\u0439_\u043f\u0430\u0440\u043e\u043b\u044c';
FLUSH PRIVILEGES;EXIT;<\/code><\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b \u0434\u043b\u044f FrontEnd:<\/strong>
sudo apt install opennebula opennebula-sunstone opennebula-gate opennebula-flow<\/code>
\u0418 \u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0441\u0442\u0430\u0432\u0438\u043c \u0420\u0443\u0431\u0438-\u043c\u043e\u0434\u0443\u043b\u0438:
sudo \/usr\/share\/one\/install_gems<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u0442\u0430\u0432\u043d\u043e\u043a\u0438 \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u043e\u0438\u0442\u044c OpenNebula \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 mySQL, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u0438\u043a:\u00a0\/etc\/one\/oned.conf<\/strong> \u0437\u0430\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0432\u0430 \u0441\u0442\u0440\u043e\u043a\u0443 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u0443\u044e \u0441 sqllite \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0432<\/p>\n

DB = [ backend = \"mysql\",
\u00a0server = \"localhost\",
\u00a0port = 0,
\u00a0user = \"oneadmin\",
\u00a0passwd = \"\u043e\u0447\u0435\u043d\u044c_\u0441\u043b\u043e\u0436\u043d\u044b\u0439_\u043f\u0430\u0440\u043e\u043b\u044c\",
\u00a0db_name = \"opennebula\" ]<\/code><\/p>\n

\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043f\u0430\u0440\u043e\u043b\u044c \u0434\u043b\u044f oneadmin (\u0432\u0445\u043e\u0434 \u0432 WebUI).
sudo su - oneadmin\u00a0echo \"oneadmin:\u0432\u0430\u0448_\u043f\u0430\u0440\u043e\u043b\u044c\" > ~\/.one\/one_auth<\/code><\/p>\n

\u0435\u0441\u043b\u0438 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0441\u0442\u043e\u0438\u0442 \u0444\u0430\u0435\u0440\u0432\u043e\u043b, \u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e:
sudo ufw allow proto tcp from any to any port 9869<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0441\u0435\u0440\u0432\u0438\u0441\u044b:<\/p>\n

sudo systemctl start opennebula opennebula-sunstone\u00a0sudo systemctl enable opennebula opennebula-sunstone<\/code><\/p>\n

\u0415\u0441\u043b\u0438 \u0412\u0441\u0435 \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0439\u0442\u0438 \u043d\u0430 WebUI:
https:\/\/192.168.10.5:9869<\/a> <\/p>\n

\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 OpenNebula KVM-Node
<\/strong>\u0417\u0430\u0445\u043e\u0434\u0438\u043c \u043f\u043e ssh \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 kvm-node1, kvm-node2 \u0438\u00a0 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043b\u044e\u0447 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f opennebula\u00a0<\/p>\n

wget -q -O-\u00a0https:\/\/downloads.opennebula.org\/repo\/repo.key\u00a0| sudo apt-key add -<\/code><\/p>\n

\u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u0439 OpenNebula
<\/strong>echo \"deb\u00a0https:\/\/downloads.opennebula.org\/repo\/6.2\/Ubuntu\/20.04\u00a0stable opennebula\" | sudo tee \/etc\/apt\/sources.list.d\/opennebula.list<\/code><\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430 kvm-node1 \u0438 kvm-node2 \u043d\u0443\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0430\u043a\u0435\u0442\u044b
apt-get install opennebula-node-kvm openvswitch-switch<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u0438\u043a :\u00a0\u00a0\/etc\/libvirt\/libvirtd.conf
<\/strong>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:
unix_sock_group = \"oneadmin\"
unix_sock_rw_perms = \"0777\"<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u0435\u0440\u0432\u0438\u0441\u044b:
systemctl restart libvirtd.service libvirtd.socket<\/code>\u00a0<\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043d\u0430 open-mgr
<\/strong>\u00a0\u0438 \u0441\u0442\u0430\u043d\u0435\u043c \u044e\u0437\u0435\u0440\u043e\u043c oneadmin:
\u00a0sudo su - oneadmin<\/code><\/p>\n

\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b:
ssh-keyscan open-mgr kvm-node1 kvm-node2 >> \/var\/lib\/one\/.ssh\/known_hosts<\/code><\/p>\n

\u00a0for j in open-mgr kvm-node1 kvm-node2 do
\u00a0\u00a0 \u00a0 \u00a0 scp -rp \/var\/lib\/one\/.ssh $j:\/var\/lib\/one\/
done<\/code><\/p>\n

\u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0447\u0442\u043e \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0437\u0430\u0439\u0442\u0438 \u043d\u0430 \u0432\u0441\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0431\u0435\u0437 \u043f\u0430\u0440\u043e\u043b\u044f(\u043f\u043e \u043a\u043b\u044e\u0447\u0443).<\/p>\n

\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 KVM-\u0445\u043e\u0441\u0442\u0430<\/strong>
\u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u0439\u0442\u0438\u00a0http:\/\/ip_\u0432\u0430\u0448\u0435\u0433\u043e_\u0441\u0435\u0440\u0432\u0435\u0440\u0430:9869<\/u><\/a>\u00a0\u043f\u043e\u0434 \u0443\u0447\u0435\u0442\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u044c\u044e: oneadmin \u0438 \u043f\u0435\u0440\u0435\u0439\u0442\u0438\u00a0\u00a0Infrastructure -> Hosts \u0438 \u043d\u0430\u0436\u0430\u0442\u044c \u0438\u043a\u043e\u043d\u043a\u0443 \u0441 «+»<\/p>\n

\u0423\u043a\u0430\u0436\u0438\u0442\u0435 \u0422\u0438\u043f : KVM<\/strong> \u0438 IP \u0441\u0435\u0440\u0432\u0435\u0440\u0430<\/strong>. \u041d\u0430\u0436\u043c\u0438\u0442\u0435 \u043d\u0430 Create<\/strong> — \u0435\u0441\u043b\u0438 \u0432\u0441\u0435 \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0432\u0435\u0440\u043d\u043e — \u0441\u0442\u0430\u0442\u0443\u0441 \u0425\u043e\u0441\u0442\u0430 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f \u043d\u0430 ON. \u041f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u0435 \u044d\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0434\u043b\u044f \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430.<\/p>\n

\u0418 \u0442\u0430\u043a \u043c\u044b \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 Ceph \u0438 OpenNebula \u0438 \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0441\u0430\u043c\u043e\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435 — \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432. \u0414\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a \u0441\u043b\u043e\u0436\u043d\u043e(\u043a\u043e\u0433\u0434\u0430 \u043f\u0443\u0442\u044c \u043f\u0440\u043e\u0439\u0434\u0435\u043d):<\/p>\n

\u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e, \u0442\u0430\u043a \u044d\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043f\u0443\u043b — \u0438 \u043d\u0430\u0437\u043e\u0432\u0435\u043c \u043c\u044b \u0435\u0433\u043e «one» \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043b\u0438\u0431\u043e \u0438\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u043b\u0438\u0431\u043e \u0447\u0435\u0440\u0435\u0437 \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 Ceph. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u043e \u0447\u0435\u0440\u0435\u0437 Web-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441. \u0417\u0430\u0439\u0434\u0438\u0442\u0435 \u043f\u043e\u0434 \u0430\u0434\u0440\u0435\u0441\u0443:
https:\/\/mon1:8443\/<\/u><\/strong><\/a>\u00a0<\/strong>\u0438 \u0437\u0430\u0439\u0434\u0438\u0442\u0435 \u044e\u0437\u0435\u0440\u043e\u043c admin.
\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0439\u0434\u0438\u0442\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b Pool \u0438 \u043d\u0430\u0436\u043c\u0438\u0442\u0435 Create:<\/p>\n

<\/figcaption><\/figure>\n

\u0417\u0430\u0434\u0430\u0439\u0442\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u043e\u043b\u0435\u0439:
NAME: one,\u00a0
Applications: rdb,\u00a0
Pool type: replicated \u0438 \u0443\u043a\u0430\u0436\u0438\u0442\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0443\u043b\u0430 \u0438 \u043d\u0430\u0436\u043c\u0438\u0442\u0435: Create Pool.<\/strong>
\u041d\u0443\u0436\u043d\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u043e\u0436\u0434\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043f\u0443\u043b \u0441\u043e\u0437\u0434\u0430\u043b\u0441\u044f \u0438 \u0441\u0442\u0430\u043b \u0437\u0435\u043b\u0435\u043d\u0435\u043d\u044c\u043a\u0438\u043c. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u0437\u0440\u0430\u0449\u0430\u0435\u043c \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 open-mg<\/strong>r \u0438 \u0437\u0430\u0445\u043e\u0434\u0438\u043c \u0432 \u044e\u0437\u0435\u0440\u0430 ceph-admin<\/strong>:
\u041f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438 ceph-deploy<\/strong> \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:
\u00a0ceph auth get-or-create client.oneadmin mon 'profile rbd' osd 'profile rbd pool=one'\u00a0> \/etc\/ceph\/ceph.client.oneadmin.keyring<\/code><\/p>\n

\u00a0\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0444\u0430\u0439\u043b\u0438\u043a \u043a\u043b\u044e\u0447:
cat \/etc\/ceph\/ceph.client.oneadmin.keyring | grep key | awk '{print $3}' >>\u00a0 \/etc\/ceph\/oneadmin.key
<\/code>
\u041a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u043e\u0431\u0430 \u0444\u0430\u0439\u043b\u0438\u043a\u0430 (\/etc\/ceph\/ceph.client.oneadmin.keyring\u00a0 \u0438 \/etc\/ceph\/oneadmin.key )\u00a0\u043d\u0430 Kvm-node1, Kvm-node2<\/p>\n

\u041d\u0430 KVM-node1 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e uuidgen \u0438 \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0444\u0430\u0439\u043b sec.xml:
<secret ephemeral='no' private='no'>
\u00a0 <uuid>\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435_uuid (\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 uuidgen)<\/uuid>
\u00a0 \u00a0<usage type='ceph'>
\u00a0 \u00a0 \u00a0<name>client.oneadmin \u0441\u0442\u0440\u043e\u043a\u0430 \u0438\u0437 \u0444\u0430\u0439\u043b\u0430\u00a0\u00a0\/etc\/ceph\/oneadmin.key<\/name>
\u00a0 \u00a0<\/usage>
<\/secret><\/code><\/p>\n

\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0434\u0432\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b:<\/p>\n

virsh secret-define --file\u00a0sec.xml\u00a0
virsh secret-set-value --secret UUID --base64 $(cat \/etc\/ceph\/oneadmin.key)<\/code><\/p>\n

UUID - \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 uuidgen<\/code><\/p>\n

C\u043a\u043e\u043f\u0438\u0440\u0443\u0439\u0442\u0435 \u044d\u0442\u043e\u0442 \u0444\u0430\u0439\u043b\u0438\u043a (sec.xml) \u0438 \u043d\u0430 \u0432\u0442\u043e\u0440\u0443\u044e \u043d\u043e\u0434\u0443 \u0438 \u0441\u0434\u0435\u043b\u0430\u0439\u0442\u0435 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f:
virsh secret-define --file\u00a0sec.xml\u00a0
virsh secret-set-value --secret UUID --base64 $(cat \/etc\/ceph\/oneadmin.key)<\/code><\/p>\n

UUID - \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 uuidgen<\/code><\/p>\n

\u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0447\u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u043d\u0435\u0441\u0435\u043d\u044b:
\u00a0virsh secret-list<\/code><\/p>\n

\u041f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0430 \u043e\u0431\u0435\u0438\u0445 \u043d\u043e\u0434\u0430\u0445:
systemctl restart libvirtd.service<\/code><\/p>\n

\u0412\u044b\u043f\u043e\u043b\u043d\u0438\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:
rbd ls -p one --id oneadmin<\/code> \u043d\u0430 \u043e\u0431\u043e\u0438\u0445 KVM \u043d\u043e\u0434\u0430\u0445<\/p>\n

\u041a\u043e\u043c\u0430\u043d\u0434\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u044c\u0441\u044f,\u00a0\u043d\u043e \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0438 \u0447\u0435\u0433\u043e \u043f\u043e\u043a\u0430 \u043d\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043e — \u0432\u0435\u0440\u043d\u0443\u0442\u0441\u044f \u043f\u0443\u0441\u0442\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430<\/strong><\/p>\n

\u0418 \u0442\u0430\u043a \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c System DataStore(\u0442\u0443\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f — \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b, \u043a\u043e\u043d\u0444\u0438\u0433\u0430 \u0434\u043b\u044f VM) \u0438 Image DataStore (\u0442\u0443\u0442 \u0431\u0443\u0434\u0435\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0437\u044b VM). \u041e\u0447\u0435\u043d\u044c \u0412\u0430\u0436\u043d\u043e — \u0435\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c HA, \u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b System DataStore \u0431\u044b\u043b shared. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c cephfs (\u044f \u043d\u0430 \u044d\u0442\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b \u0435\u0441\u043b\u0438 \u0447\u0435\u0441\u0442\u043d\u043e \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438).<\/p>\n

\u0414\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 ImageDS \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433:<\/p>\n

C\u043e\u0437\u0434\u0430\u0439\u0442\u0435 \u0444\u0430\u0439\u043b\u0435 image_ds.conf
NAME = \"cephds\"
DS_MAD = ceph
TM_MAD = ceph
DISK_TYPE = RBD
POOL_NAME = one
CEPH_HOST = \"mon1:6789 mon2:6789 mon3:6789\"
CEPH_USER = oneadmin
CEPH_SECRET = \"secret\"
BRIDGE_LIST = \"open-mgr\"<\/code><\/p>\n

secret<\/strong> = \u043a\u043e\u043b\u043e\u043d\u043a\u0430 UUID \u043f\u0440\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b virsh secret-list<\/strong><\/p>\n

\u0412\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u0435 :\u00a0onedatastore create image_ds.conf<\/p>\n

\u041f\u0435\u0440\u0435\u0439\u0434\u0438\u0442\u0443 \u0432 WebUI \u0432 \u0440\u0430\u0437\u0434\u0435\u043b DataStores — \u0442\u0430\u043c \u0432\u044b \u0443\u0432\u0438\u0434\u0438\u0442\u0435\u00a0cephds — \u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0447\u0442\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u0432\u0435\u0440\u043d\u044b\u0439.<\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c SystemDS, \u043d\u043e \u0443\u0436\u0435 shared. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0432\u044b\u0448\u0435 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c cephfs. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u043d\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443<\/p>\n

ceph osd pool create cephfs-data
ceph osd pool create cephfs-metadata
ceph fs new cephfs cephfs-metadata cephfs-data<\/code><\/p>\n

\u0412\u044b\u0434\u0430\u0435\u043c \u043f\u0440\u0430\u0432\u0430 foo — \u044e\u0437\u0435\u0440\u0443 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c \u043f\u0443\u043b\u043e\u043c<\/p>\n

sudo ceph auth get-or-create client.foo mon 'allow r' mds 'allow rw' osd 'allow rw pool=data' >\u00a0\/etc\/ceph\/ceph.client.foo.keyring<\/code><\/p>\n

\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043a\u043b\u044e\u0447 \u0434\u043e\u0441\u0442\u0443\u043f \u0434\u043b\u044f \u044e\u0437\u0435\u0440\u0430 foo:
sudo ceph auth get client.foo <\/p>\n

\u0417\u0430\u0445\u0440\u0430\u043d\u0438\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043a\u043b\u044e\u0447 \u0432 \u0444\u0430\u0439\u043b\u0435\u00a0\/etc\/ceph\/ceph.client.foo.secret \u0438 \u0441\u043a\u043e\u043f\u0438\u0440\u0443\u0439\u0442\u0435 \u0435\u0433\u043e \u043d\u0430 kvm-node1 \u0438 kvm-node2,open-mgr<\/strong> \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e \/etc\/ceph\/<\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u0443\u044e FS:<\/p>\n

\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435\u00a0\/var\/lib\/one\/datastores\/ \u0432 \u043a\u0430\u043a\u043e\u0439 \u043b\u0438\u0431\u043e \u043a\u0430\u0442\u0430\u043b\u043e\u0433 (\u044d\u0442\u043e \u043d\u0430 \u043d\u043e\u0434\u0435 open-mgr)
\u0438 \u043c\u043e\u043d\u0442\u0438\u0440\u0443\u0435\u043c
mount -t ceph mon1:6789,mon2:6789,mon3:6789:\/ \/var\/lib\/one\/datastores\/\u00a0-o name=foo,secretfile=\/etc\/ceph\/ceph.client.foo.keyring (\u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430 open-mgr, kvm-node1, kvm-node2)<\/code><\/p>\n

\u041d\u0435\u0437\u0430\u0431\u0443\u0434\u044c\u0442\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \/etc\/fstab.<\/p>\n

<\/strong>\u0421\u043e\u0437\u0434\u0430\u0439\u0442\u0435 \u0444\u0430\u0439\u043b ds_shared.conf
NAME = shared_system
TM_MAD = shared
TYPE = SYSTEM_DS<\/code><\/p>\n

\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u0435 onedatastore create\u00a0ds_shared.conf<\/code><\/p>\n

\u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0447\u0442\u043e \u0414\u0430\u0442\u0430\u0421\u0442\u043e\u0440 \u0441\u043e\u0437\u0434\u0430\u043b\u0441\u044f.\u00a0 \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0442\u044c VM. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c IMAGE \u041e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b — \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c qcow2-image<\/p>\n

<\/figcaption><\/figure>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c\u00a0 \u0428\u0430\u0431\u043b\u043e\u043d \u0434\u043b\u044f VM — \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0439\u0434\u0438\u0442\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b Templates\u00a0 \u0438 \u043d\u0430\u0436\u043c\u0438\u0442\u0435 \u043f\u043b\u044e\u0441\u0438\u043a, \u0432\u044b\u0431\u0435\u0440\u0438\u0442\u0435 CREATE<\/strong><\/p>\n

<\/figcaption><\/figure>\n

\u0423\u043a\u0430\u0437\u0430\u044b\u0432\u0430\u0435\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435, \u0442\u0438\u043f \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0430\u043c\u044f\u0442\u0438, CPU. \u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u0440\u0430\u0437\u0434\u0435\u043b Storage — \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c Image<\/p>\n

<\/figcaption><\/figure>\n

\u0416\u043c\u0435\u043c Create (\u043d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u044b \u0441\u0435\u0442\u043a\u0443 \u043d\u0435 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c, \u0435\u0441\u043b\u0438 \u0441\u0435\u0442\u044c \u0443\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0430 — \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 Network).<\/p>\n

\u041d\u0430\u0448 \u0428\u0430\u0431\u043b\u043e\u043d \u0441\u043e\u0437\u0434\u0430\u043b\u0441\u044f \u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u041c\u0430\u0448\u0438\u043d\u0443: \u041f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u0440\u0430\u0437\u0434\u0435\u043b Instances \u0438 \u043a\u043b\u0438\u043a\u0430\u0435\u043c VM — \u0436\u043c\u0435\u043c \u043d\u0430 «+» \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0428\u0430\u0431\u043b\u043e\u043d<\/p>\n

<\/figcaption><\/figure>\n

\u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0418\u043c\u044f \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c Deploy VM on Specific DataStore\u00a0 \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u00a0shared_system \u0438 \u0436\u043c\u0435\u043c Create. \u0427\u0435\u0440\u0435\u0437 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0441\u0442\u0430\u0442\u0443\u0441 VM — \u0441\u0442\u0430\u043d\u0435\u0442 RUNNING<\/strong>.\u00a0<\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0441\u0430\u043c\u043e\u0435 \u0432\u043a\u0443\u0441\u043d\u043e\u0435 — \u044d\u0442\u043e HA VM<\/strong>, \u043f\u0440\u0438 \u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u0445\u043e\u0441\u0442\u0430, \u0433\u0434\u0435 \u0440\u0430\u043d\u0438\u0442\u0441\u044f VM — \u043e\u043d\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0441\u043c\u0438\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u0445\u043e\u0441\u0442 \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c\u0441\u044f \u0443\u0436\u0435 \u0442\u0430\u043c.<\/p>\n

\u041f\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0432\u0441\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043b\u0435\u0433\u043a\u043e \u0438 \u043f\u0440\u043e\u0441\u0442\u043e.. \u041d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c HOOK \u043d\u0430 status: ERROR \u0443 \u0445\u043e\u0441\u0442\u0430 \u0438 \u0432\u0441\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c, \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a. \u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c — \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c shared \u0441\u0442\u043e\u0440\u0430\u0434\u0436 — \u043c\u044b \u0435\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u043b\u0438, \u0438\u043d\u0430\u0447\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043e\u0448\u0438\u0431\u043a\u0443, \u043f\u0440\u0438 \u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u0445\u043e\u0441\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0441\u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0441 \u0443\u043c\u0435\u0440\u0448\u0435\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e ssh — \u0430 \u044d\u0442\u043e \u043d\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442.
\u0412\u0442\u043e\u0440\u043e\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0444\u0430\u0439\u043b:\u00a0\/var\/lib\/one\/remotes\/hooks\/ft\/fence_host.sh<\/code><\/p>\n

\u0417\u0430\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0439\u0442\u0435 \u0441\u0442\u0440\u043e\u043a\u0443:
echo \"\"Fence host not configured, please edit ft\/fence_host.sh\"\" && exit 1<\/code><\/p>\n

\u0418 \u0434\u043e\u0431\u0430\u0432\u044c\u0442\u0435 \u0441\u0442\u0440\u043e\u043a\u0443:
fence_heuristics_ping --ping-count=2 --ping-good-count=2 --ping-maxfail=1 --ping-targets=$FENCE_IP -o off && exit 0<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0441\u0442\u0440\u043e\u043a
if [ -z \"$FENCE_IP\" ]; then
echo \"Fence ip not found\"
exit 1
fi<\/code><\/p>\n

FENCE_IP — <\/strong>\u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0432 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u0445 Host<\/strong><\/p>\n

\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0438 \u0441\u0442\u0430\u0432\u0438\u043c \u043f\u0430\u043a\u0435\u0442:
sudo apt install\u00a0fence-agents\u00a0 -y<\/code><\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0444\u0430\u0439\u043b-HOOK «\/usr\/share\/one\/examples\/host_hooks\/error_hook»
ARGUMENTS = \"$TEMPLATE -m -p 2\"
ARGUMENTS_STDIN = \"yes\"
COMMAND = \"\/var\/lib\/one\/remotes\/hooks\/ft\/host_error.rb\"
NAME = \"host_error\"
STATE = \"ERROR\"
REMOTE = \"no\"
RESOURCE = HOST
TYPE = state<\/code><\/p>\n

\u0442\u0443\u0442 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c p=5 — \u043d\u043e \u044f \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b 2. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0425\u043e\u0441\u0442 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043d \u0434\u0432\u0430 \u0440\u0430\u0437\u0430 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0438 120 \u0441\u0435\u043a — \u043d\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0436\u0438\u0432\u043e\u0439 \u043d\u0435 \u0436\u0438\u0432\u043e\u0439.<\/p>\n

\u0420\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u043c \u043d\u0430\u0448 HOOK:
onehook create \/usr\/share\/one\/examples\/host_hooks\/error_hook<\/code><\/p>\n

\u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 onehook list<\/code><\/p>\n

open-mgr:$ onehook list
ID NAME TYPE
7 host_error state<\/code><\/p>\n

\u0412\u0441\u0435 \u0432\u0440\u043e\u0434\u0435 \u0431\u044b \u0441\u0434\u0435\u043b\u0430\u043d\u043e. \u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0438 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u044f VM. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0447\u0442\u043e \u0412\u041c \u0443 \u0412\u0430\u0441 \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u0430 \u043d\u0430 kvm-node1. \u0417\u0430\u0445\u043e\u0434\u0438\u043c \u043d\u0430 kvm-node1 \u0438 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u043c \u0432\u0435\u0441\u044c \u0442\u0440\u0430\u0444\u0444\u0438\u043a (\u044f \u0434\u0435\u043b\u0430\u043b DROP \u0434\u043b\u044f \u043f\u043e\u0434\u0441\u0435\u0442\u0438, \u0433\u0434\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b open-mgr).\u00a0<\/p>\n

\u041a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0441\u0442 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u0442 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435: ERROR<\/p>\n

\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c HOOK:
[HOST 1][I] Hook launched — \u0437\u0430\u043f\u0443\u0441\u043a \u0445\u0443\u043a\u0430
[HOST 1][I] hostname: kvm-node1- \u0445\u043e\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0448\u0435\u043b \u0432 ERROR
[HOST 1][I] Wait 2 cycles. — \u0436\u0434\u0435\u043c \u0434\u0432\u0430 \u0446\u0438\u043a\u043b\u0430\u00a0 — p=2
[HOST 1][I] Sleeping 120 seconds. — \u0441\u043f\u0438\u043c 120 \u0441\u0435\u043a
[HOST 1][I] Fencing enabled — \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c Fence
[HOST 1][I] Success: Powered OFF\u00a0 \u0433\u043e\u0432\u043e\u0440\u0438\u043c — \u0447\u0442\u043e \u043c\u0430\u0448\u0438\u043d\u0430 OFF
[HOST 1][I] Fencing success
[HOST 1][I] states: 3, 5, 8
[HOST 1][I] vms: [«VMID»] — \u043d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u044f VM \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u0445\u043e\u0441\u0442
[HOST 1][I] resched VMID — \u0437\u0430\u043f\u0443\u0441\u043a VM
[HOST 1][I] Hook finished\u00a0<\/p>\n

\u0415\u0441\u043b\u0438 \u0437\u0430\u0439\u0442\u0438 \u0432 Instances -> VM — \u0442\u043e \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e VM \u043f\u0435\u0440\u0435\u0448\u043b\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u0445\u043e\u0441\u0442.<\/p>\n<\/div>\n<\/div>\n<\/div>\n

<\/div>\n<\/div>\n


\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 https:\/\/habr.com\/ru\/post\/649741\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

<\/div>\n
\n
\n
\n
\n

\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c Ceph \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u043e\u0434 \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c Opennebula, \u0430 \u0442\u0430\u043a \u0436\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e Opennebula \u0441 Ceph RDB, CephFS<\/p>\n

\u00a0\u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415\u00a0!!!<\/strong><\/p>\n

\u0412 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0438\u043d\u0435 \u043d\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c OSD \u043d\u043e\u0434\u044b \u0438 \u043d\u043e\u0434\u044b, \u0433\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f KVM \u043c\u0430\u0448\u0438\u043d\u044b<\/p>\n

\u041d\u0443… \u043f\u043e\u0435\u0445\u0430\u043b\u0438….<\/p>\n

\u0412\u0432\u043e\u0434\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f<\/strong><\/p>\n

\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f OpenNebula+Ceph \u0431\u044b\u043b\u043e \u0432\u0437\u044f\u0442\u043e 6 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u0438\u0437 \u043d\u0438\u0445 3 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0430, \u0434\u0432\u0435 KVM \u043d\u043e\u0434\u044b (\u0442\u0443\u0442 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c KVM \u043c\u0430\u0448\u0438\u043d\u044b, \u0430 \u0442\u0430\u043a \u0436\u0435 OSD) \u0438 \u043e\u0434\u0438\u043d \u0441\u0435\u0440\u0432\u0435\u0440 \u043f\u043e\u0434 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0443\u044e \u043d\u043e\u0434\u0443 OpenNebula.<\/p>\n

\u041d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445, \u0433\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043a\u0440\u0443\u0442\u0438\u0442\u044c\u0441\u044f OSD \u0431\u044b\u043b \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u0434\u0435\u043b \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \/dev\/sdb: 320 GiB — \u0434\u043b\u044f Ceph<\/p>\n

\u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f \u043c\u044b \u043d\u0430\u0437\u043e\u0432\u0435\u043c \u0445\u043e\u0441\u0442\u044b \u0432\u043e\u0442 \u0442\u0430\u043a<\/p>\n

192.168.10.2 mon1
192.168.10.3 mon2
192.168.10.4 mon3
192.168.10.5 open-mgr (\u043e\u043d\u0430 \u0436\u0435 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 ceph-admin)
192.168.10.6 kvm-node1
192.168.10.7 kvm-node2<\/p>\n

\u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u043e apt-get update<\/strong>(\u0438 \u0437\u0430\u0442\u0435\u043c reboot)\u00a0 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0447\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u0443 \u043d\u0430\u0441 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f(\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 ntpd.conf \u0438\u043b\u0438 chronyd.conf) \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445.<\/p>\n

\u0420\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u0435 Ceph:
<\/strong>
\u0417\u0430\u0445\u043e\u0434\u0438\u043c \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u00a0open-mgr<\/strong>\u00a0\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043b\u044e\u0447 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f (\u043f\u043e\u0434 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c root \u0438\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0447\u0435\u0440\u0435\u0437 sudo)
wget -q -O- 'https:\/\/download.ceph.com\/keys\/release.asc' | apt-key add -<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0433\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043b\u044e\u0447\u0430 — \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u0439 \u0434\u043b\u044f ceph:
echo deb\u00a0https:\/\/download.ceph.com\/debian-nautilus\/\u00a0$(lsb_release -sc) main | tee \/etc\/apt\/sources.list.d\/ceph.list<\/p>\n

<\/code>\u0412\u0441\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0431\u0443\u0434\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0open-mgr<\/strong><\/p>\n

\u0423\u0441\u0442\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c\u00a0ceph-deploy
apt updateapt -y install ceph-deploy<\/p>\n

<\/strong>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445, \u0433\u0434\u0435 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043a\u0440\u0443\u0442\u0438\u0442\u044c\u0441\u044f ceph — \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u044e\u0437\u0435\u0440\u0430 ceph-admin.<\/strong><\/p>\n

\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u043e\u0442 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0438 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0434 \u044e\u0437\u0435\u0440\u043e\u043c ceph-admin<\/strong> — \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b sudo \u0431\u0435\u0437 \u0432\u0432\u043e\u0434\u0430 \u043f\u0430\u0440\u043e\u043b\u044f:<\/p>\n

export USERPASS=\"\u043d\u0443\u0436\u0435\u043d_\u0441\u043b\u043e\u0436\u043d\u044b\u0439_\u043f\u0430\u0440\u043e\u043b\u044c\" - \u043e\u0431\u044b\u0447\u043d\u043e \u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e \u0438 \u0434\u043b\u0438\u043d\u0443 \u043f\u0430\u0440\u043e\u043b\u044f \u0441\u0442\u0430\u0432\u043b\u044e 32 \u0441\u0438\u043c\u0432\u043e\u043b\u0430
export USERNAME=\"ceph-admin\"
sudo useradd --create-home -s \/bin\/bash ${USERNAME}
echo \"${USERNAME}:${USERPASS}\" | sudo chpasswd
echo \"${USERNAME} ALL = (root) NOPASSWD:ALL\" | sudo tee \/etc\/sudoers.d\/${USERNAME}
sudo chmod 0440 \/etc\/sudoers.d\/${USERNAME}<\/code><\/p>\n

\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u0441\u044f \u043d\u0430 open-mgr \u0438 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 ssh-\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0432 ceph-admin<\/strong><\/p>\n

su — ceph-admin
<\/strong>\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:
ssh-keygen<\/strong><\/p>\n

\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0444\u0430\u0439\u043b\u0438\u043a \/home\/ceph-admin\/.ssh\/config \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0440\u0430\u0446\u0438\u0435\u0439<\/p>\n

Host kvm-node1
\u00a0\u00a0 \u00a0 \u00a0Hostname kvm-node1
\u00a0\u00a0 \u00a0 User ceph-admin
\u00a0Host kvm-node2
\u00a0\u00a0 \u00a0 \u00a0Hostname kvm-node2
\u00a0\u00a0 \u00a0 \u00a0User ceph-admin
\u00a0Host mon1
\u00a0\u00a0 \u00a0 \u00a0Hostname mon1
\u00a0\u00a0 \u00a0 \u00a0User ceph-admin
\u00a0Host mon2
\u00a0\u00a0 \u00a0 \u00a0Hostname mon2
\u00a0\u00a0 \u00a0 \u00a0User ceph-admin
\u00a0Host mon3
\u00a0\u00a0 \u00a0 \u00a0Hostname mon3
\u00a0\u00a0 \u00a0 \u00a0User ceph-admin<\/code> <\/p>\n

\u041a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u043a\u043b\u044e\u0447 \u043d\u0430 \u0432\u0441\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430:
\u00a0for i in mon1 mon2 mon3 kvm-node1 kvm-node2; do
\u00a0\u00a0 \u00a0 \u00a0ssh-copy-id $i
\u00a0done<\/code><\/p>\n

\u041f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0434\u0435\u043f\u043b\u043e\u044e ceph<\/strong>.<\/p>\n

\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e
\u00a0mkdir ceph-deploy<\/strong>\u00a0\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u043d\u0435\u0435
\u00a0cd ceph-deploy<\/strong><\/p>\n

\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0434\u043b\u044f ceph.<\/p>\n

\u0414\u043b\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u043e\u0432 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:
\u00a0ceph-deploy new mon1 mon2 mon3<\/strong><\/p>\n

\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443:
[ceph_deploy][ERROR ] RuntimeError: AttributeError: module 'platform' has no attribute 'linux_distribution'<\/code><\/p>\n

<\/strong>\u0420\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 ceph-deploy:
\u00a0pip3\u00a0install\u00a0git+https:\/\/github.com\/ceph\/ceph-deploy.git<\/code><\/p>\n

\u0415\u0441\u043b\u0438 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0448\u0430\u0433\u0443.<\/p>\n

\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e \u0441\u043e\u0444\u0442\u0430 \u0434\u043b\u044f Ceph
ceph-deploy install mon1 mon2 mon3 kvm-node1 kvm-node2<\/code><\/p>\n

\u041f\u0440\u043e\u0439\u0434\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0441\u043e\u0444\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043d\u0430<\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0438\u043d\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u043e\u0432
ceph-deploy mon create-initial<\/code><\/p>\n

\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0434\u0435\u043f\u043b\u043e\u0439 \u0434\u0435\u043c\u043e\u043d\u043e\u0432
ceph-deploy mgr create mon1 mon2 mon3<\/code>\u00a0
<\/strong>\u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c Metadata \u0441\u0435\u0440\u0432\u0435\u0440\u0430
ceph-deploy mds create mon1 mon2 mon3<\/code><\/p>\n

\u041a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u043a\u043e\u043d\u0444\u0438\u0433 \u0444\u0430\u0439\u043b\u044b \u0438 \u0430\u0434\u043c\u0438\u043d \u043a\u043b\u044e\u0447 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430
ceph-deploy admin mon1 mon2 mon3 kvm-node1 kvm-node2<\/code>
<\/strong><\/p>\n

\u041a\u0430\u043a \u044f \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b \u0440\u0430\u043d\u0435\u0435, \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u00a0kvm-node1 kvm-node2\u00a0<\/strong>\u043f\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0443\u00a0\/dev\/sdb —\u00a0<\/strong>320GB<\/p>\n

\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 OSD:<\/p>\n

for j in kvm-node1 kvm-node2; do
\u00a0\u00a0 \u00a0 \u00a0 \u00a0ceph-deploy osd create --data \/dev\/sdb $j
\u00a0done<\/code><\/p>\n

B \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u0435 \u043d\u0430\u0448\u0435\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u00a0
ceph health<\/strong><\/p>\n

\u0423 \u0412\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043f\u0430\u0440\u043e\u0447\u043a\u0430 Warnings:
HEALTH_WARN mons are allowing insecure global_id reclaim; \u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 OSD < 3 (\u0442.\u043a. \u0443 \u043d\u0430\u0441 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0435\u0449\u0435 \u043e\u0434\u0438\u043d OSD, \u0438 \u0434\u0438\u0441\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u043c\u0435\u043d\u044c\u0448\u0435 \u0441 \u0441\u0435\u0440\u0432\u0435\u0440 mon1)
ceph-deploy osd create --data \/dev\/sdb mon1<\/code><\/p>\n

\u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u043c\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c Ceph \u0414\u044d\u0448\u0431\u043e\u0440\u0434<\/strong><\/p>\n

\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0430\u0445 \u043d\u0443\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0430\u043a\u0435\u0442:\u00a0ceph-mgr-dashboard\u00a0 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 mon1, mon2, mon3<\/p>\n

for j in\u00a0mon1 mon2 mon3 do
\u00a0\u00a0 \u00a0 \u00a0 \u00a0ssh -t $j sudo apt install\u00a0ceph-mgr-dashboard
\u00a0done<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043d\u0430 open-mgr<\/strong> \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c
sudo ceph mgr module enable dashboard
sudo ceph dashboard create-self-signed-cert\u00a0
sudo ceph dashboard ac-user-create admin administrator -i \/home\/ceph\/pass.txt<\/code><\/p>\n

\u0424\u0430\u0439\u043b pass.txt — \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043f\u0430\u0440\u043e\u043b\u044c. \u0424\u0430\u0439\u043b \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0437\u0443 \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e, \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u043a\u0440\u044b\u0442\u044c Dashboard
https:\/\/192.168.10.2:8443<\/code><\/p>\n

\u041d\u0430 \u044d\u0442\u043e\u043c \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 Ceph \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0430.
\u0415\u0441\u043b\u0438, \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0448\u043b\u043e \u043d\u0435 \u0442\u0430\u043a \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438, \u0442\u043e \u0432\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442\u0435 \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0432\u0441\u0435 \u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e:
ceph-deploy purge\u00a0mon1 mon2 mon3 kvm-node1 kvm-node2
ceph-deploy purgedata\u00a0mon1 mon2 mon3 kvm-node1 kvm-node2
ceph-deploy forgetkeysrm ceph.*<\/code><\/p>\n

\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 OpenNebula FrontEnd<\/p>\n

<\/strong>\u0417\u0430\u0445\u043e\u0434\u0438\u043c \u043f\u043e ssh \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 open-mgr \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043b\u044e\u0447 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f opennebula:
wget -q -O-\u00a0https:\/\/downloads.opennebula.org\/repo\/repo.key\u00a0| sudo apt-key add -<\/code>
\u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u0439 OpenNebula
echo \"deb\u00a0https:\/\/downloads.opennebula.org\/repo\/6.2\/Ubuntu\/20.04\u00a0stable opennebula\" | sudo tee \/etc\/apt\/sources.list.d\/opennebula.list<\/code><\/p>\n

\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u043f\u0430\u043a\u0435\u0442\u044b \u0438 \u0443\u0441\u0442\u0430\u0432\u0438\u043c mySQL-\u0441\u0435\u0440\u0432\u0435\u0440<\/strong>
sudo apt update
sudo apt -y install mariadb-server
\u0438
sudo mysql_secure_installation<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 mySQL \u0441\u0435\u0440\u0432\u0435\u0440\u0430, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u044e\u0437\u0435\u0440\u0430 \u0434\u043b\u044f \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a mySQL:
CREATE DATABASE opennebula;
GRANT ALL PRIVILEGES ON opennebula.* TO 'oneadmin' IDENTIFIED BY '\u043e\u0447\u0435\u043d\u044c_\u0441\u043b\u043e\u0436\u043d\u044b\u0439_\u043f\u0430\u0440\u043e\u043b\u044c';
FLUSH PRIVILEGES;EXIT;<\/code><\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043f\u0430\u043a\u0435\u0442\u044b \u0434\u043b\u044f FrontEnd:<\/strong>
sudo apt install opennebula opennebula-sunstone opennebula-gate opennebula-flow<\/code>
\u0418 \u043f\u043e\u0441\u043b\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0441\u0442\u0430\u0432\u0438\u043c \u0420\u0443\u0431\u0438-\u043c\u043e\u0434\u0443\u043b\u0438:
sudo \/usr\/share\/one\/install_gems<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u0442\u0430\u0432\u043d\u043e\u043a\u0438 \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u043e\u0438\u0442\u044c OpenNebula \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 mySQL, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u0438\u043a:\u00a0\/etc\/one\/oned.conf<\/strong> \u0437\u0430\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0432\u0430 \u0441\u0442\u0440\u043e\u043a\u0443 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u0443\u044e \u0441 sqllite \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0432<\/p>\n

DB = [ backend = \"mysql\",
\u00a0server = \"localhost\",
\u00a0port = 0,
\u00a0user = \"oneadmin\",
\u00a0passwd = \"\u043e\u0447\u0435\u043d\u044c_\u0441\u043b\u043e\u0436\u043d\u044b\u0439_\u043f\u0430\u0440\u043e\u043b\u044c\",
\u00a0db_name = \"opennebula\" ]<\/code><\/p>\n

\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043f\u0430\u0440\u043e\u043b\u044c \u0434\u043b\u044f oneadmin (\u0432\u0445\u043e\u0434 \u0432 WebUI).
sudo su - oneadmin\u00a0echo \"oneadmin:\u0432\u0430\u0448_\u043f\u0430\u0440\u043e\u043b\u044c\" > ~\/.one\/one_auth<\/code><\/p>\n

\u0435\u0441\u043b\u0438 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0441\u0442\u043e\u0438\u0442 \u0444\u0430\u0435\u0440\u0432\u043e\u043b, \u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e:
sudo ufw allow proto tcp from any to any port 9869<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0441\u0435\u0440\u0432\u0438\u0441\u044b:<\/p>\n

sudo systemctl start opennebula opennebula-sunstone\u00a0sudo systemctl enable opennebula opennebula-sunstone<\/code><\/p>\n

\u0415\u0441\u043b\u0438 \u0412\u0441\u0435 \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0439\u0442\u0438 \u043d\u0430 WebUI:
https:\/\/192.168.10.5:9869<\/a> <\/p>\n

\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 OpenNebula KVM-Node
<\/strong>\u0417\u0430\u0445\u043e\u0434\u0438\u043c \u043f\u043e ssh \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 kvm-node1, kvm-node2 \u0438\u00a0 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043b\u044e\u0447 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u044f opennebula\u00a0<\/p>\n

wget -q -O-\u00a0https:\/\/downloads.opennebula.org\/repo\/repo.key\u00a0| sudo apt-key add -<\/code><\/p>\n

\u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u0430\u0440\u0438\u0439 OpenNebula
<\/strong>echo \"deb\u00a0https:\/\/downloads.opennebula.org\/repo\/6.2\/Ubuntu\/20.04\u00a0stable opennebula\" | sudo tee \/etc\/apt\/sources.list.d\/opennebula.list<\/code><\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430 kvm-node1 \u0438 kvm-node2 \u043d\u0443\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0430\u043a\u0435\u0442\u044b
apt-get install opennebula-node-kvm openvswitch-switch<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u0438\u043a :\u00a0\u00a0\/etc\/libvirt\/libvirtd.conf
<\/strong>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:
unix_sock_group = \"oneadmin\"
unix_sock_rw_perms = \"0777\"<\/code><\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u0435\u0440\u0432\u0438\u0441\u044b:
systemctl restart libvirtd.service libvirtd.socket<\/code>\u00a0<\/p>\n

\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043d\u0430 open-mgr
<\/strong>\u00a0\u0438 \u0441\u0442\u0430\u043d\u0435\u043c \u044e\u0437\u0435\u0440\u043e\u043c oneadmin:
\u00a0sudo su - oneadmin<\/code><\/p>\n

\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b:
ssh-keyscan open-mgr kvm-node1 kvm-node2 >> \/var\/lib\/one\/.ssh\/known_hosts<\/code><\/p>\n

\u00a0for j in open-mgr kvm-node1 kvm-node2 do
\u00a0\u00a0 \u00a0 \u00a0 scp -rp \/var\/lib\/one\/.ssh $j:\/var\/lib\/one\/
done<\/code><\/p>\n

\u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0447\u0442\u043e \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0437\u0430\u0439\u0442\u0438 \u043d\u0430 \u0432\u0441\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0431\u0435\u0437 \u043f\u0430\u0440\u043e\u043b\u044f(\u043f\u043e \u043a\u043b\u044e\u0447\u0443).<\/p>\n

\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 KVM-\u0445\u043e\u0441\u0442\u0430<\/strong>
\u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u0439\u0442\u0438\u00a0http:\/\/ip_\u0432\u0430\u0448\u0435\u0433\u043e_\u0441\u0435\u0440\u0432\u0435\u0440\u0430:9869<\/u><\/a>\u00a0\u043f\u043e\u0434 \u0443\u0447\u0435\u0442\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u044c\u044e: oneadmin \u0438 \u043f\u0435\u0440\u0435\u0439\u0442\u0438\u00a0\u00a0Infrastructure -> Hosts \u0438 \u043d\u0430\u0436\u0430\u0442\u044c \u0438\u043a\u043e\u043d\u043a\u0443 \u0441 «+»<\/p>\n

\u0423\u043a\u0430\u0436\u0438\u0442\u0435 \u0422\u0438\u043f : KVM<\/strong> \u0438 IP \u0441\u0435\u0440\u0432\u0435\u0440\u0430<\/strong>. \u041d\u0430\u0436\u043c\u0438\u0442\u0435 \u043d\u0430 Create<\/strong> — \u0435\u0441\u043b\u0438 \u0432\u0441\u0435 \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0432\u0435\u0440\u043d\u043e — \u0441\u0442\u0430\u0442\u0443\u0441 \u0425\u043e\u0441\u0442\u0430 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f \u043d\u0430 ON. \u041f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u0435 \u044d\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0434\u043b\u044f \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430.<\/p>\n

\u0418 \u0442\u0430\u043a \u043c\u044b \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 Ceph \u0438 OpenNebula \u0438 \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0441\u0430\u043c\u043e\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435 — \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432. \u0414\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a \u0441\u043b\u043e\u0436\u043d\u043e(\u043a\u043e\u0433\u0434\u0430 \u043f\u0443\u0442\u044c \u043f\u0440\u043e\u0439\u0434\u0435\u043d):<\/p>\n

\u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e, \u0442\u0430\u043a \u044d\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043f\u0443\u043b — \u0438 \u043d\u0430\u0437\u043e\u0432\u0435\u043c \u043c\u044b \u0435\u0433\u043e «one» \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043b\u0438\u0431\u043e \u0438\u0437 \u043a\u043e\u043d\u0441\u043e\u043b\u0438 \u043b\u0438\u0431\u043e \u0447\u0435\u0440\u0435\u0437 \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 Ceph. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u043e \u0447\u0435\u0440\u0435\u0437 Web-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441. \u0417\u0430\u0439\u0434\u0438\u0442\u0435 \u043f\u043e\u0434 \u0430\u0434\u0440\u0435\u0441\u0443:
https:\/\/mon1:8443\/<\/u><\/strong><\/a>\u00a0<\/strong>\u0438 \u0437\u0430\u0439\u0434\u0438\u0442\u0435 \u044e\u0437\u0435\u0440\u043e\u043c admin.
\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0439\u0434\u0438\u0442\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b Pool \u0438 \u043d\u0430\u0436\u043c\u0438\u0442\u0435 Create:<\/p>\n

<\/figcaption><\/figure>\n

\u0417\u0430\u0434\u0430\u0439\u0442\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043f\u043e\u043b\u0435\u0439:
NAME: one,\u00a0
Applications: rdb,\u00a0
Pool type: replicated \u0438 \u0443\u043a\u0430\u0436\u0438\u0442\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0443\u043b\u0430 \u0438 \u043d\u0430\u0436\u043c\u0438\u0442\u0435: Create Pool.<\/strong>
\u041d\u0443\u0436\u043d\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u043e\u0436\u0434\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043f\u0443\u043b \u0441\u043e\u0437\u0434\u0430\u043b\u0441\u044f \u0438 \u0441\u0442\u0430\u043b \u0437\u0435\u043b\u0435\u043d\u0435\u043d\u044c\u043a\u0438\u043c. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u0437\u0440\u0430\u0449\u0430\u0435\u043c \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440 open-mg<\/strong>r \u0438 \u0437\u0430\u0445\u043e\u0434\u0438\u043c \u0432 \u044e\u0437\u0435\u0440\u0430 ceph-admin<\/strong>:
\u041f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438 ceph-deploy<\/strong> \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:
\u00a0ceph auth get-or-create client.oneadmin mon 'profile rbd' osd 'profile rbd pool=one'\u00a0> \/etc\/ceph\/ceph.client.oneadmin.keyring<\/code><\/p>\n

\u00a0\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0444\u0430\u0439\u043b\u0438\u043a \u043a\u043b\u044e\u0447:
cat \/etc\/ceph\/ceph.client.oneadmin.keyring | grep key | awk '{print $3}' >>\u00a0 \/etc\/ceph\/oneadmin.key
<\/code>
\u041a\u043e\u043f\u0438\u0440\u0443\u0435\u043c \u043e\u0431\u0430 \u0444\u0430\u0439\u043b\u0438\u043a\u0430 (\/etc\/ceph\/ceph.client.oneadmin.keyring\u00a0 \u0438 \/etc\/ceph\/oneadmin.key )\u00a0\u043d\u0430 Kvm-node1, Kvm-node2<\/p>\n

\u041d\u0430 KVM-node1 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e uuidgen \u0438 \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0444\u0430\u0439\u043b sec.xml:
<secret ephemeral='no' private='no'>
\u00a0 <uuid>\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435_uuid (\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 uuidgen)<\/uuid>
\u00a0 \u00a0<usage type='ceph'>
\u00a0 \u00a0 \u00a0<name>client.oneadmin \u0441\u0442\u0440\u043e\u043a\u0430 \u0438\u0437 \u0444\u0430\u0439\u043b\u0430\u00a0\u00a0\/etc\/ceph\/oneadmin.key<\/name>
\u00a0 \u00a0<\/usage>
<\/secret><\/code><\/p>\n

\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0434\u0432\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b:<\/p>\n

virsh secret-define --file\u00a0sec.xml\u00a0
virsh secret-set-value --secret UUID --base64 $(cat \/etc\/ceph\/oneadmin.key)<\/code><\/p>\n

UUID - \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 uuidgen<\/code><\/p>\n

C\u043a\u043e\u043f\u0438\u0440\u0443\u0439\u0442\u0435 \u044d\u0442\u043e\u0442 \u0444\u0430\u0439\u043b\u0438\u043a (sec.xml) \u0438 \u043d\u0430 \u0432\u0442\u043e\u0440\u0443\u044e \u043d\u043e\u0434\u0443 \u0438 \u0441\u0434\u0435\u043b\u0430\u0439\u0442\u0435 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f:
virsh secret-define --file\u00a0sec.xml\u00a0
virsh secret-set-value --secret UUID --base64 $(cat \/etc\/ceph\/oneadmin.key)<\/code><\/p>\n

UUID - \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 uuidgen<\/code><\/p>\n

\u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0447\u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u043d\u0435\u0441\u0435\u043d\u044b:
\u00a0virsh secret-list<\/code><\/p>\n

\u041f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0441\u0435\u0440\u0432\u0438\u0441 \u043d\u0430 \u043e\u0431\u0435\u0438\u0445 \u043d\u043e\u0434\u0430\u0445:
systemctl restart libvirtd.service<\/code><\/p>\n

\u0412\u044b\u043f\u043e\u043b\u043d\u0438\u043c<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-329076","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/329076","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=329076"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/329076\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=329076"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=329076"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=329076"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}