{"id":378917,"date":"2024-06-14T15:01:36","date_gmt":"2024-06-14T15:01:36","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=378917"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=378917","title":{"rendered":"<span>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 iScsi \u0432 L3-\u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u043a\u0430\u043d\u0430\u043b\u0430 \u0438 \u0421\u0425\u0414<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f NVME over TCP, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u0442\u0443\u0442 <a href=\"https:\/\/habr.com\/ru\/companies\/beeline_tech\/articles\/770174\/\">https:\/\/habr.com\/ru\/companies\/beeline_tech\/articles\/770174\/<\/a>, \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e iScsi \u0432 L3-\u0441\u0435\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430 FC.<\/p>\n<p>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 iScsi<\/p>\n<h3>TL\/DR<\/h3>\n<ul>\n<li>\n<p>\u041c\u0430\u0448\u0438\u043d\u0430 \u0432 Bios \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043d\u0430 \u043d\u0430 \u043f\u0440\u043e\u0444\u0438\u043b\u044c HPC (\u0431\u044b\u043b \u043f\u0443\u0441\u0442\u043e\u0439).<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 OS \u0438 iscsid \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<\/ul>\n<pre><code>- name: Setup iScsi   ini_file:     dest:  \/etc\/iscsi\/iscsid.conf     no_extra_spaces: false     option: \"{{item.name}}\"     value: \"{{item.value}}\"     backup: no   loop:      - { name: \"node.session.iscsi.InitialR2T\" , value: \"Yes\"  }      - { name: \"node.session.cmds_max\" , value: \"256\"  }      - { name: \"node.session.queue_depth\" , value: \"256\"  }      - { name: \"node.session.nr_sessions\" , value: \"8\"  }  - name: Setup  \/etc\/sysctl.conf   ansible.posix.sysctl:     name: \"{{item.key}}\"     value: \"{{item.val}}\"   loop:     - { key:  net.ipv4.fib_multipath_hash_policy, val: \"1 #iscsi\"}     - { key:  net.ipv4.fib_multipath_use_neigh, val: \"1  #iscsi\"}     - { key:  net.ipv4.tcp_slow_start_after_idle, val: \"0  #iscsi\"}  <\/code><\/pre>\n<ul>\n<li>\n<p>\u041d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u0421\u0425\u0414 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u043d\u0430 8 \u043f\u043e\u0440\u0442\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044b\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432 12,3\u0413\u0411\/c \u043d\u0430 100\u0413\u0431 \u0441\u0435\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u044b \u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438.<\/p>\n<h3>\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442<\/h3>\n<p>\u0412\u0437\u044f\u043b\u0438 \u0434\u0430\u043c\u043f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u043e\u0439 \u0431\u0430\u0437\u044b \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0434\u0435\u043d\u044c, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u043e\u0432 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043d\u0430 \u043d\u0435\u0439.<\/p>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 \u0441 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c\u044b\u043c\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 multipathd \u043e\u0442 \u0432\u0435\u043d\u0434\u043e\u0440\u0430 \u0421\u0425\u0414 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 LUN.<br \/> \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 iScsid \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c &#8216;\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438&#8217;<\/p>\n<p>\u041f\u0435\u0440\u0435\u043d\u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0431\u0443\u0434\u0443\u0449\u0443\u044e \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443.<\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430.<\/p>\n<p>\u041d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445 \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0435\u0442\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e 50%.<\/p>\n<p>\u041d\u0430\u0447\u0430\u043b\u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a. \u0418 \u0447\u0442\u043e \u0441\u0442\u043e\u0438\u0442  \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043d\u044f\u0442\u044c \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043a\u0430\u043d\u0430\u043b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<h3>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432<\/h3>\n<p>\u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432 Oracle Linux \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u043e\u043c\u0430\u043d\u0434 \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0432 \u043e\u0434\u043d\u0443.<br \/> \u042d\u0442\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u043b\u043e \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043d\u0438\u0445 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e.<\/p>\n<pre><code>ls -l \/dev\/mapper\/*my_mask* | awk -F \"-> ..\/\" '{print $2}' | while read dev; do echo \"$dev\" ;echo 2 > \/sys\/devices\/virtual\/block\/$dev\/queue\/nomerges; cat \/sys\/devices\/virtual\/block\/$dev\/queue\/nomerges ;done <\/code><\/pre>\n<h3>\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437.<\/h3>\n<p>\u0421\u0440\u0435\u0434\u0441\u0442\u0432\u0430\u043c\u0438 \u0421\u0423\u0411\u0414 \u0431\u044b\u043b\u0430 \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0443\u043f\u0438\u0440\u0430\u043b\u0430\u0441\u044c \u0432 50\u0413\u0431\/c \u0438 \u0434\u0430\u0432\u0430\u043b\u0430 \u0440\u0435\u043a\u043e\u0440\u0434\u044b \u043f\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044e \u044d\u043b\u0435\u043a\u0442\u0440\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435.<\/p>\n<p>htop \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0432 \u044f\u0434\u0440\u0435.<\/p>\n<p>\u0420\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 iscsid.<\/p>\n<p>\u041d\u0430\u0448\u043b\u0438 \u0432 \u043d\u0435\u043c<\/p>\n<pre><code>################################ # session and device queue depth ################################  # To control how many commands the session will queue, set # node.session.cmds_max to an integer between 2 and 2048 that is also # a power of 2. The default is 128. node.session.cmds_max = 128  # To control the device's queue depth, set node.session.queue_depth # to a value between 1 and 1024. The default is 32. node.session.queue_depth = 32 <\/code><\/pre>\n<p>\u041f\u043e\u043c\u0435\u043d\u044f\u043b\u0438 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 node.session.queue_depth \u043d\u0430 256.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u043b\u0438 iscsid \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b\u0438 \u0442\u0435\u0441\u0442 \u0441 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446.<\/p>\n<p>\u041f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430 (\u0438 \u044d\u043b\u0435\u043a\u0442\u0440\u0438\u0447\u0435\u0441\u0442\u0432\u0430) \u0441\u0442\u0430\u043b\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e\u0434\u043d\u044f\u043b\u0430\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 75\u0413\u0431\/\u0441.<\/p>\n<p>\u0414\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f node.session.queue_depth \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043d\u0435 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u043e, \u0440\u0435\u0448\u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u043a\u0440\u0443\u0442\u0438\u0442\u044c. \u041a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0446\u0435\u043b\u044c\u044e \u0431\u044b\u043b\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u0435\u0442\u044c \u0434\u0438\u0441\u043a\u043e\u0432\u044b\u043c\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u043c\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<h3>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b<\/h3>\n<p>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b \u0440\u0435\u0448\u0435\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e FIO \u043d\u0430 \u043c\u0430\u0448\u0438\u043d\u0435 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0443. \u043f\u0430\u043c\u044f\u0442\u0438, \u0441\u0435\u0442\u0438 \u0432 \u0442\u043e\u043c \u0436\u0435 \u043a\u043e\u043c\u043c\u0443\u0442\u0430\u0442\u043e\u0440\u0435.<\/p>\n<p>\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432 \u0442\u0430\u043c \u0443\u0436\u0435 \u0431\u044b\u043b\u043e 48 \u0434\u0438\u0441\u043a\u043e\u0432 \u0441 \u0421\u0425\u0414, \u0447\u0442\u043e \u0447\u0443\u0442\u044c \u0445\u0443\u0436\u0435 \u0447\u0435\u043c \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u0442\u044d\u043d\u0434\u0435 \u0441 \u0431\u0430\u0437\u043e\u0439, \u043d\u043e \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e.<\/p>\n<p>\u0414\u0438\u0441\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 multipath.conf \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 \u0438\u043c\u0435\u043d\u0430, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0431\u044b\u043b\u0438 \u0432\u0438\u0434\u043d\u044b \u0432 \/dev\/mapper<\/p>\n<p>\u041f\u0440\u043e\u0441\u0442\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u0432 \u0448\u0435\u043b\u043b, \u043d\u0430\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0442\u0430\u043a\u043e\u0439<\/p>\n<pre><code>cat 1.txt | grep \" ->\" | awk -F\">\" '{print $2}' | tr \".\" \"_\" |  awk '{print \"\\tmultipath {\\n\\t\\twwid\\t3\"$3\"\\n\\t\\talias\\t\"$1\"\\n\\t}\"}' <\/code><\/pre>\n<p>\u041f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0434\u043b\u044f \/etc\/multipath.conf  \u043a\u043e\u043d\u0444\u0438\u0433\u0430.<\/p>\n<p>&#8216;3&#8217; \u043f\u0435\u0440\u0435\u0434 &#8216;$3&#8217;, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c wwid, \u044d\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430<\/p>\n<pre><code>This issue has been explained in the man page of scsi_id:  \u2013 scsi_id queries a SCSI device via the SCSI INQUIRY vital product data (VPD) page 0x80 or 0x83 and uses the resulting data to generate a value that is unique across all SCSI devices that properly support page 0x80 or page 0x83. \u2013 If a result is generated it is sent to standard output, and the program exits with a zero value. If no identifier is output, the program exits with a non-zero value. \u2013 scsi_id is primarily for use by other utilities such as udev that require a unique SCSI identifier. \u2013 By default all devices are assumed blacklisted, the \u2013whitelisted option must be specified on the command line or in the config file for any useful behavior. \u2013 SCSI commands are sent directly to the device via the SG_IO ioctl interface. \u2013 In order to generate unique values for either page 0x80 or page 0x83, the serial numbers or worldwide names are prefixed as follows.  Identifiers based on page 0x80 are prefixed by the character \u2018S\u2019, the SCSI vendor, the SCSI product (model) and then the the serial number returned by page 0x80. For example:  # \/lib\/udev\/scsi_id --page=0x80 --whitelisted --device=\/dev\/sda SIBM 3542 1T05078453   Identifiers based on page 0x83 are prefixed by the identifier type followed by the page 0x83 identifier. For example, a device with a NAA (Name Address Authority) type of 3 (also in this case the page 0x83 identifier starts with the NAA value of 6):  <\/code><\/pre>\n<p>\u0421\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u043e\u043c\u0438\u043a \u0438\u0437 48 \u043a\u0443\u0441\u043e\u0447\u043a\u043e\u0432 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a<\/p>\n<pre><code>ls -1 \/dev\/mapper\/*testdata* | grep exp | xargs vgcreate vg_testdata lvcreate -i 4 -I 64 -n testdata -l 100%FREE vg_testdata  <\/code><\/pre>\n<p>\u0414\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u043b\u043e\u0441\u043a\u0438 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 \u0432 256k, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e -I 256<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0436\u0435 \u0432\u0430\u043c \u043d\u0435 \u043d\u0430\u0434\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c LVM, \u0430 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u0435 100% \u0434\u0438\u0441\u043a\u0430, \u043f\u043e\u0434 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0421\u0423\u0411\u0414, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043b\u044f \u043d\u0438\u0445 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0435 udev \u043f\u0440\u0430\u0432\u0438\u043b\u043e.<\/p>\n<pre><code>ENV{ID_PART_ENTRY_SCHEME}==\"gpt\", ENV{ID_PART_ENTRY_NAME}==\"prefix*\", ENV{DM_NAME}==\"*p1\", ENV{DM_NAME}==\"*pattern*p1\", OWNER=\"rdbmuser\", GROUP=\"rdbmgroup\", MODE=\"0660\", SYMLINK+=\"prefix_disk\/pattern_$env{DM_NAME}\"  <\/code><\/pre>\n<h3>\u0421\u0430\u043c\u0438 \u0442\u0435\u0441\u0442\u044b<\/h3>\n<p>\u0421\u043e\u0431\u0440\u0430\u0432 \u0441\u0442\u044d\u043d\u0434 \u043d\u0430\u0447\u0430\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c FIO, \u043f\u043e\u043b\u0443\u0447\u0430\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b, \u0432 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u043c \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044f <code>sar -n DEV 3<\/code>, \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043f\u043e \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0430\u043c, \u0440\u0435\u0430\u043a\u0446\u0438\u044e \u043d\u0430 \u043e\u043f\u0443\u0441\u043a\u0430\u043d\u0438\u0435  \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 4\u0445, 2\u0445 \u0438\u0437 4\u0445, \u0432\u043e\u0437\u0432\u0440\u0430\u0442 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u043e\u0432.<\/p>\n<p>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c.<br \/> \u0423 \u043d\u0430\u0441 2 \u0434\u0432\u0443\u0445\u043f\u043e\u0440\u0442\u043e\u0432\u044b\u0445 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0440\u0442 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0431\u044b\u043b \u043d\u0435\u0434\u043e\u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d.<\/p>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u0438\u0434\u0435\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u0432 BIOS. \u0422\u0430\u043c \u043d\u0435 \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c. \u041f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 HPC.<\/p>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043f\u043e\u0434\u043d\u044f\u043b\u0430\u0441\u044c.<\/p>\n<p>\u0414\u0435\u0439\u0441\u0442\u0432\u0443\u044f \u0432 \u0442\u043e\u043c \u0436\u0435 \u0434\u0443\u0445\u0435 \u0440\u0435\u0448\u0438\u043b\u0438 \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0438 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u043a\u0430\u0440\u0442 \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0435 FW. \u041d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u043b\u043e.<\/p>\n<p>\u0420\u0435\u0448\u0438\u043b\u0438 \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c \u043a\u0430\u043a MTU 9000 \u0432\u043c\u0435\u0441\u0442\u043e 1500 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c.<br \/> \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0430\u043c \u0441\u0442\u0430\u043b\u043e \u0431\u043e\u043b\u0435\u0435 \u0440\u043e\u0432\u043d\u044b\u043c. \u0422\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c MTU \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 2% \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0430\u043d\u0430\u043b\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0438\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c.<\/p>\n<p>\u041f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 NUMA \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u043e\u0441\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c.<\/p>\n<pre><code> pwd;cat  en*np{0..1}\/device\/num* \/sys\/class\/net -1 -1 -1 -1  <\/code><\/pre>\n<p>\u042d\u0442\u043e\u0442 \u0448\u0430\u0433 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043e\u043f\u0443\u0441\u0442\u0438\u043b\u0438.<\/p>\n<p>\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u043d\u0430 \u0421\u0425\u0414 \u0431\u044b\u043b\u043e \u0441\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e 4 \u043f\u043e\u0440\u0442\u0430. \u0423\u043c\u043e\u043b\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 iscsid \u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0443\u0442\u0438.<\/p>\n<p>\u0421\u0442\u0430\u043b\u0438 \u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u0447\u0438\u0441\u043b\u043e\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439 \u0434\u043e \u043f\u043e\u0440\u0442\u0430.<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0434\u043e \u0441\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0432 <code>\/var\/lib\/iscsi\/nodes<\/code>, \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c iscsid, \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u044e \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0441\u044b\u043b\u043a\u0443 sendtargets. \u0418 \u0437\u0430\u043b\u043e\u0433\u0438\u043d\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0421\u0425\u0414.<\/p>\n<p>\u041e\u0441\u043e\u0431\u043e \u0431\u0430\u043b\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0447\u0438\u0441\u043b\u0430 \u043f\u0443\u0442\u0435\u0439 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442. \u041a\u0430\u0436\u0434\u044b\u0439 \u043f\u0443\u0442\u044c \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0431\u043b\u043e\u0447\u043d\u043e\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e. \u0418\u0445 \u0447\u0438\u0441\u043b\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0442\u0430\u043a 10 \u0442\u044b\u0441\u044f\u0447\u0430\u043c\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e. \u0418 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041c\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0430 8.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 4&#215;8 \u043f\u0443\u0442\u0438 \u0434\u043e \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430. \u0422\u0440\u0430\u0444\u0438\u043a \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0442\u0430\u043b \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u043e\u0432\u043d\u043e \u0440\u0430\u0437\u043c\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e 4 \u0441\u0435\u0442\u0435\u0432\u044b\u043c \u043a\u0430\u0440\u0442\u0430\u043c \u0438 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u044c\u0441\u044f \u043a 100\u0413\u0431\/c.<\/p>\n<p>\u0414\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b\u0438 \u043d\u0430\u0448\u0438 \u0434\u0438\u0441\u043a\u0438 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0433\u0440\u0443\u043f\u043f.<\/p>\n<ol>\n<li>\n<p>\u0414\u0438\u0441\u043a\u0438 \u0434\u043b\u044f \u0444\u0430\u0439\u043b\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c<\/p>\n<\/li>\n<li>\n<p>\u0414\u0438\u0441\u043a\u0438 \u0434\u043b\u044f \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u0432 \u0411\u0414<\/p>\n<\/li>\n<li>\n<p>\u0414\u0438\u0441\u043a\u0438 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0411\u0414.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0434\u0438\u0441\u043a\u043e\u0432 \u043f\u043e\u0434\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u0441\u043e \u0441\u0432\u043e\u0438\u0445 4 \u043f\u043e\u0440\u0442\u043e\u0432 \u043d\u0430 \u0421\u0425\u0414.<\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446 \u043c\u044b \u0434\u043e\u0431\u0438\u043b\u0438\u0441\u044c \u043f\u043e\u0447\u0442\u0438 100% \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0441\u0435\u0442\u0438.<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u044f \u0432 \u0438\u0437\u044b\u0441\u043a\u0430\u043d\u0438\u044f\u0445 2 \u043f\u043e\u043b\u043d\u044b\u0445 \u043f\u0435\u0440\u0432\u044b\u0445 \u043c\u0430\u0439\u0441\u043a\u0438\u0445 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043d\u0435\u0434\u0435\u043b\u0438 (\u044d\u0442\u043e 5 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u0434\u043d\u0435\u0439, \u043d\u043e \u0432 \u043d\u0435\u0434\u0435\u043b\u044f\u0445 \u0441\u0442\u0440\u0430\u0448\u043d\u0435\u0435) \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0441\u0435\u0431\u044f \u0432 5 \u0440\u0430\u0437 \u043b\u0443\u0447\u0448\u0435 \u0438\u043c\u0435\u044e\u0449\u0435\u0439\u0441\u044f \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430 FC.<\/p>\n<ol>\n<li>\n<p>\u041a\u043b\u0430\u0434\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432 \u043f\u043e IOPS \u043c\u0435\u043b\u043a\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0438 \u0447\u0442\u0435\u043d\u0438\u0435 (1 \u043c\u043b\u043d \u0437\u0430\u043f\u0438\u0441\u044c \u0438 1.5\u043c\u043b\u043d \u0447\u0442\u0435\u043d\u0438\u0435)<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0442\u0438 \u043a\u043b\u0430\u0434\u0435\u043c \u0441\u0435\u0442\u044c \u043f\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c (12.3Gb\/s)<\/p>\n<\/li>\n<\/ol>\n<p>\u0417\u0430\u043f\u0438\u0441\u044c<\/p>\n<pre><code># fio  --rw=write --bs=4k --numjobs=136 --iodepth=256 --size=10T --ioengine=libaio --direct=1  -group_reporting --name=jour nal-test --filename=\/dev\/mapper\/vg_exp_data-exp_data journal-test: (g=0): rw=write, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=256 ... fio-3.19 Starting 136 processes ^Cbs: 136 (f=136): [W(136)][0.0%][w=4575MiB\/s][w=1171k IOPS][eta 04d:00h:33m:27s] fio: terminating on signal 2 <\/code><\/pre>\n<p>\u0427\u0442\u0435\u043d\u0438\u0435<\/p>\n<pre><code># fio  --rw=read --bs=4k --numjobs=136 --iodepth=256 --size=10T --ioengine=libaio --direct=1  -group_reporting --name=journ al-test --filename=\/dev\/mapper\/vg_exp_data-exp_data journal-test: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=256 ... fio-3.19 Starting 136 processes ^Cbs: 136 (f=136): [R(136)][0.0%][r=5731MiB\/s][r=1467k IOPS][eta 02d:21h:33m:50s]  <\/code><\/pre>\n<h3>\u0411\u043e\u043d\u0443\u0441: \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 NVME over TCP<\/h3>\n<p>\u0412\u0434\u0440\u0443\u0433 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441 NVME.<\/p>\n<p>\u041d\u0430\u0441\u0442\u0440\u043e\u0438\u043b \u043f\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438\u0437 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e\u0439 \u0432\u0432\u0435\u0440\u0445\u0443 \u0441\u0442\u0430\u0442\u044c\u0438.<br \/> \u0422\u0435\u0441\u0442\u044b \u0441\u0430\u043c\u043e \u0441\u043e\u0431\u043e\u0439 \u0434\u0435\u043b\u0430\u043b \u043d\u0430 1 \u0434\u0438\u0441\u043a\u0435.<br \/> \u041f\u0435\u0440\u0432\u044b\u0439 \u0436\u0435 \u0442\u0435\u0441\u0442 \u0443\u043f\u0435\u0440\u0441\u044f \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0433\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0430.<\/p>\n<p>\u041f\u043e\u043d\u044f\u0432, \u0447\u0442\u043e \u0442\u0435\u0441\u0442 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0441\u043e\u0431\u0440\u0430\u043b LVM \u0442\u043e\u043c \u0438\u0437 4 NVME over TCP \u0434\u0438\u0441\u043a\u043e\u0432 \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435. \u041f\u043e \u0438\u0434\u0435\u0435 128 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439 \u0434\u043e \u043a\u0430\u0436\u0434\u043e\u0433\u043e.<\/p>\n<p>\u041d\u043e \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0434\u0430\u0432\u0430\u043b 12,3\u0413\u0411\/c \u043f\u043e iScsi \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0442\u043e\u043b\u044c\u043a\u043e 9\u0413\u0411\/c<\/p>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0432\u0441\u0435 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u0442\u0430\u043a, \u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u0440\u043e\u0441\u044c\u0431\u0430 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c\u0438 \u0440\u0435\u0446\u0435\u043f\u0442\u0430\u043c\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u0435\u0442\u0438 iScsi \u0442\u0440\u0430\u0444\u0438\u043a\u043e\u043c.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/821855\/\"> https:\/\/habr.com\/ru\/articles\/821855\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u043e\u0441\u043b\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f NVME over TCP, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u0442\u0443\u0442 <a href=\"https:\/\/habr.com\/ru\/companies\/beeline_tech\/articles\/770174\/\">https:\/\/habr.com\/ru\/companies\/beeline_tech\/articles\/770174\/<\/a>, \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e iScsi \u0432 L3-\u0441\u0435\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430 FC.<\/p>\n<p>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 iScsi<\/p>\n<h3>TL\/DR<\/h3>\n<ul>\n<li>\n<p>\u041c\u0430\u0448\u0438\u043d\u0430 \u0432 Bios \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043d\u0430 \u043d\u0430 \u043f\u0440\u043e\u0444\u0438\u043b\u044c HPC (\u0431\u044b\u043b \u043f\u0443\u0441\u0442\u043e\u0439).<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 OS \u0438 iscsid \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<\/ul>\n<pre><code>- name: Setup iScsi   ini_file:     dest:  \/etc\/iscsi\/iscsid.conf     no_extra_spaces: false     option: \"{{item.name}}\"     value: \"{{item.value}}\"     backup: no   loop:      - { name: \"node.session.iscsi.InitialR2T\" , value: \"Yes\"  }      - { name: \"node.session.cmds_max\" , value: \"256\"  }      - { name: \"node.session.queue_depth\" , value: \"256\"  }      - { name: \"node.session.nr_sessions\" , value: \"8\"  }  - name: Setup  \/etc\/sysctl.conf   ansible.posix.sysctl:     name: \"{{item.key}}\"     value: \"{{item.val}}\"   loop:     - { key:  net.ipv4.fib_multipath_hash_policy, val: \"1 #iscsi\"}     - { key:  net.ipv4.fib_multipath_use_neigh, val: \"1  #iscsi\"}     - { key:  net.ipv4.tcp_slow_start_after_idle, val: \"0  #iscsi\"}  <\/code><\/pre>\n<ul>\n<li>\n<p>\u041d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u0421\u0425\u0414 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u043d\u0430 8 \u043f\u043e\u0440\u0442\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044b\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432 12,3\u0413\u0411\/c \u043d\u0430 100\u0413\u0431 \u0441\u0435\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u044b \u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438.<\/p>\n<h3>\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442<\/h3>\n<p>\u0412\u0437\u044f\u043b\u0438 \u0434\u0430\u043c\u043f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u043e\u0439 \u0431\u0430\u0437\u044b \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0434\u0435\u043d\u044c, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u043e\u0432 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043d\u0430 \u043d\u0435\u0439.<\/p>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 \u0441 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c\u044b\u043c\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 multipathd \u043e\u0442 \u0432\u0435\u043d\u0434\u043e\u0440\u0430 \u0421\u0425\u0414 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 LUN.<br \/> \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 iScsid \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c &#8216;\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438&#8217;<\/p>\n<p>\u041f\u0435\u0440\u0435\u043d\u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0431\u0443\u0434\u0443\u0449\u0443\u044e \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443.<\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430.<\/p>\n<p>\u041d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445 \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0435\u0442\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e 50%.<\/p>\n<p>\u041d\u0430\u0447\u0430\u043b\u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a. \u0418 \u0447\u0442\u043e \u0441\u0442\u043e\u0438\u0442  \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043d\u044f\u0442\u044c \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043a\u0430\u043d\u0430\u043b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<h3>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432<\/h3>\n<p>\u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432 Oracle Linux \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u043e\u043c\u0430\u043d\u0434 \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0437\u0430\u043f\u0438\u0441\u044c \u0432 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0432 \u043e\u0434\u043d\u0443.<br \/> \u042d\u0442\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u043b\u043e \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043d\u0438\u0445 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e.<\/p>\n<pre><code>ls -l \/dev\/mapper\/*my_mask* | awk -F \"-> ..\/\" '{print $2}' | while read dev; do echo \"$dev\" ;echo 2 > \/sys\/devices\/virtual\/block\/$dev\/queue\/nomerges; cat \/sys\/devices\/virtual\/block\/$dev\/queue\/nomerges ;done <\/code><\/pre>\n<h3>\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437.<\/h3>\n<p>\u0421\u0440\u0435\u0434\u0441\u0442\u0432\u0430\u043c\u0438 \u0421\u0423\u0411\u0414 \u0431\u044b\u043b\u0430 \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0443\u043f\u0438\u0440\u0430\u043b\u0430\u0441\u044c \u0432 50\u0413\u0431\/c \u0438 \u0434\u0430\u0432\u0430\u043b\u0430 \u0440\u0435\u043a\u043e\u0440\u0434\u044b \u043f\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044e \u044d\u043b\u0435\u043a\u0442\u0440\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435.<\/p>\n<p>htop \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0432 \u044f\u0434\u0440\u0435.<\/p>\n<p>\u0420\u0435\u0448\u0438\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 iscsid.<\/p>\n<p>\u041d\u0430\u0448\u043b\u0438 \u0432 \u043d\u0435\u043c<\/p>\n<pre><code>################################ # session and device queue depth ################################  # To control how many commands the session will queue, set # node.session.cmds_max to an integer between 2 and 2048 that is also # a power of 2. The default is 128. node.session.cmds_max = 128  # To control the device's queue depth, set node.session.queue_depth # to a value between 1 and 1024. The default is 32. node.session.queue_depth = 32 <\/code><\/pre>\n<p>\u041f\u043e\u043c\u0435\u043d\u044f\u043b\u0438 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 node.session.queue_depth \u043d\u0430 256.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u043b\u0438 iscsid \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b\u0438 \u0442\u0435\u0441\u0442 \u0441 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446.<\/p>\n<p>\u041f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430 (\u0438 \u044d\u043b\u0435\u043a\u0442\u0440\u0438\u0447\u0435\u0441\u0442\u0432\u0430) \u0441\u0442\u0430\u043b\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e\u0434\u043d\u044f\u043b\u0430\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 75\u0413\u0431\/\u0441.<\/p>\n<p>\u0414\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f node.session.queue_depth \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043d\u0435 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u043e, \u0440\u0435\u0448\u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u043a\u0440\u0443\u0442\u0438\u0442\u044c. \u041a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0446\u0435\u043b\u044c\u044e \u0431\u044b\u043b\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u0435\u0442\u044c \u0434\u0438\u0441\u043a\u043e\u0432\u044b\u043c\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u043c\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<h3>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b<\/h3>\n<p>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b \u0440\u0435\u0448\u0435\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e FIO \u043d\u0430 \u043c\u0430\u0448\u0438\u043d\u0435 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0443. \u043f\u0430\u043c\u044f\u0442\u0438, \u0441\u0435\u0442\u0438 \u0432 \u0442\u043e\u043c \u0436\u0435 \u043a\u043e\u043c\u043c\u0443\u0442\u0430\u0442\u043e\u0440\u0435.<\/p>\n<p>\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432 \u0442\u0430\u043c \u0443\u0436\u0435 \u0431\u044b\u043b\u043e 48 \u0434\u0438\u0441\u043a\u043e\u0432 \u0441 \u0421\u0425\u0414, \u0447\u0442\u043e \u0447\u0443\u0442\u044c \u0445\u0443\u0436\u0435 \u0447\u0435\u043c \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u0442\u044d\u043d\u0434\u0435 \u0441 \u0431\u0430\u0437\u043e\u0439, \u043d\u043e \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e.<\/p>\n<p>\u0414\u0438\u0441\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 multipath.conf \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 \u0438\u043c\u0435\u043d\u0430, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0431\u044b\u043b\u0438 \u0432\u0438\u0434\u043d\u044b \u0432 \/dev\/mapper<\/p>\n<p>\u041f\u0440\u043e\u0441\u0442\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u0432 \u0448\u0435\u043b\u043b, \u043d\u0430\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0442\u0430\u043a\u043e\u0439<\/p>\n<pre><code>cat 1.txt | grep \" ->\" | awk -F\">\" '{print $2}' | tr \".\" \"_\" |  awk '{print \"\\tmultipath {\\n\\t\\twwid\\t3\"$3\"\\n\\t\\talias\\t\"$1\"\\n\\t}\"}' <\/code><\/pre>\n<p>\u041f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0434\u043b\u044f \/etc\/multipath.conf  \u043a\u043e\u043d\u0444\u0438\u0433\u0430.<\/p>\n<p>&#8216;3&#8217; \u043f\u0435\u0440\u0435\u0434 &#8216;$3&#8217;, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c wwid, \u044d\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430<\/p>\n<pre><code>This issue has been explained in the man page of scsi_id:  \u2013 scsi_id queries a SCSI device via the SCSI INQUIRY vital product data (VPD) page 0x80 or 0x83 and uses the resulting data to generate a value that is unique across all SCSI devices that properly support page 0x80 or page 0x83. \u2013 If a result is generated it is sent to standard output, and the program exits with a zero value. If no identifier is output, the program exits with a non-zero value. \u2013 scsi_id is primarily for use by other utilities such as udev that require a unique SCSI identifier. \u2013 By default all devices are assumed blacklisted, the \u2013whitelisted option must be specified on the command line or in the config file for any useful behavior. \u2013 SCSI commands are sent directly to the device via the SG_IO ioctl interface. \u2013 In order to generate unique values for either page 0x80 or page 0x83, the serial numbers or worldwide names are prefixed as follows.  Identifiers based on page 0x80 are prefixed by the character \u2018S\u2019, the SCSI vendor, the SCSI product (model) and then the the serial number returned by page 0x80. For example:  # \/lib\/udev\/scsi_id --page=0x80 --whitelisted --device=\/dev\/sda SIBM 3542 1T05078453   Identifiers based on page 0x83 are prefixed by the identifier type followed by the page 0x83 identifier. For example, a device with a NAA (Name Address Authority) type of 3 (also in this case the page 0x83 identifier starts with the NAA value of 6):  <\/code><\/pre>\n<p>\u0421\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u043e\u043c\u0438\u043a \u0438\u0437 48 \u043a\u0443\u0441\u043e\u0447\u043a\u043e\u0432 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a<\/p>\n<pre><code>ls -1 \/dev\/mapper\/*testdata* | grep exp | xargs vgcreate vg_testdata lvcreate -i 4 -I 64 -n testdata -l 100%FREE vg_testdata  <\/code><\/pre>\n<p>\u0414\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u043b\u043e\u0441\u043a\u0438 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 \u0432 256k, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e -I 256<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0436\u0435 \u0432\u0430\u043c \u043d\u0435 \u043d\u0430\u0434\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c LVM, \u0430 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u0435 100% \u0434\u0438\u0441\u043a\u0430, \u043f\u043e\u0434 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0421\u0423\u0411\u0414, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043b\u044f \u043d\u0438\u0445 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0435 udev \u043f\u0440\u0430\u0432\u0438\u043b\u043e.<\/p>\n<pre><code>ENV{ID_PART_ENTRY_SCHEME}==\"gpt\", ENV{ID_PART_ENTRY_NAME}==\"prefix*\", ENV{DM_NAME}==\"*p1\", ENV{DM_NAME}==\"*pattern*p1\", OWNER=\"rdbmuser\", GROUP=\"rdbmgroup\", MODE=\"0660\", SYMLINK+=\"prefix_disk\/pattern_$env{DM_NAME}\"  <\/code><\/pre>\n<h3>\u0421\u0430\u043c\u0438 \u0442\u0435\u0441\u0442\u044b<\/h3>\n<p>\u0421\u043e\u0431\u0440\u0430\u0432 \u0441\u0442\u044d\u043d\u0434 \u043d\u0430\u0447\u0430\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c FIO, \u043f\u043e\u043b\u0443\u0447\u0430\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b, \u0432 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u043c \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044f <code>sar -n DEV 3<\/code>, \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043f\u043e \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0430\u043c, \u0440\u0435\u0430\u043a\u0446\u0438\u044e \u043d\u0430 \u043e\u043f\u0443\u0441\u043a\u0430\u043d\u0438\u0435  \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 4\u0445, 2\u0445 \u0438\u0437 4\u0445, \u0432\u043e\u0437\u0432\u0440\u0430\u0442 \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u043e\u0432.<\/p>\n<p>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c.<br \/> \u0423 \u043d\u0430\u0441 2 \u0434\u0432\u0443\u0445\u043f\u043e\u0440\u0442\u043e\u0432\u044b\u0445 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0440\u0442 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0431\u044b\u043b \u043d\u0435\u0434\u043e\u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d.<\/p>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u0438\u0434\u0435\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u0432 BIOS. \u0422\u0430\u043c \u043d\u0435 \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c. \u041f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 HPC.<\/p>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043f\u043e\u0434\u043d\u044f\u043b\u0430\u0441\u044c.<\/p>\n<p>\u0414\u0435\u0439\u0441\u0442\u0432\u0443\u044f \u0432 \u0442\u043e\u043c \u0436\u0435 \u0434\u0443\u0445\u0435 \u0440\u0435\u0448\u0438\u043b\u0438 \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0440\u043e\u0448\u0438\u0432\u043a\u0438 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u043a\u0430\u0440\u0442 \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0435 FW. \u041d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u043b\u043e.<\/p>\n<p>\u0420\u0435\u0448\u0438\u043b\u0438 \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c \u043a\u0430\u043a MTU 9000 \u0432\u043c\u0435\u0441\u0442\u043e 1500 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c.<br \/> \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u0430\u0434\u0430\u043f\u0442\u0435\u0440\u0430\u043c \u0441\u0442\u0430\u043b\u043e \u0431\u043e\u043b\u0435\u0435 \u0440\u043e\u0432\u043d\u044b\u043c. \u0422\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c MTU \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 2% \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0430\u043d\u0430\u043b\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0438\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c.<\/p>\n<p>\u041f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 NUMA \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u043e\u0441\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c.<\/p>\n<pre><code> pwd;cat  en*np{0..1}\/device\/num* \/sys\/class\/net -1 -1 -1 -1  <\/code><\/pre>\n<p>\u042d\u0442\u043e\u0442 \u0448\u0430\u0433 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043e\u043f\u0443\u0441\u0442\u0438\u043b\u0438.<\/p>\n<p>\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u043d\u0430 \u0421\u0425\u0414 \u0431\u044b\u043b\u043e \u0441\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e 4 \u043f\u043e\u0440\u0442\u0430. \u0423\u043c\u043e\u043b\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 iscsid \u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0443\u0442\u0438.<\/p>\n<p>\u0421\u0442\u0430\u043b\u0438 \u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u0447\u0438\u0441\u043b\u043e\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439 \u0434\u043e \u043f\u043e\u0440\u0442\u0430.<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0434\u043e \u0441\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0432 <code>\/var\/lib\/iscsi\/nodes<\/code>, \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c iscsid, \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u044e \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0441\u044b\u043b\u043a\u0443 sendtargets. \u0418 \u0437\u0430\u043b\u043e\u0433\u0438\u043d\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0421\u0425\u0414.<\/p>\n<p>\u041e\u0441\u043e\u0431\u043e \u0431\u0430\u043b\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0447\u0438\u0441\u043b\u0430 \u043f\u0443\u0442\u0435\u0439 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442. \u041a\u0430\u0436\u0434\u044b\u0439 \u043f\u0443\u0442\u044c \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0431\u043b\u043e\u0447\u043d\u043e\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e. \u0418\u0445 \u0447\u0438\u0441\u043b\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0442\u0430\u043a 10 \u0442\u044b\u0441\u044f\u0447\u0430\u043c\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e. \u0418 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041c\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0430 8.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 4&#215;8 \u043f\u0443\u0442\u0438 \u0434\u043e \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430. \u0422\u0440\u0430\u0444\u0438\u043a \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0442\u0430\u043b \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u043e\u0432\u043d\u043e \u0440\u0430\u0437\u043c\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e 4 \u0441\u0435\u0442\u0435\u0432\u044b\u043c \u043a\u0430\u0440\u0442\u0430\u043c \u0438 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u044c\u0441\u044f \u043a 100\u0413\u0431\/c.<\/p>\n<p>\u0414\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b\u0438 \u043d\u0430\u0448\u0438 \u0434\u0438\u0441\u043a\u0438 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0433\u0440\u0443\u043f\u043f.<\/p>\n<ol>\n<li>\n<p>\u0414\u0438\u0441\u043a\u0438 \u0434\u043b\u044f \u0444\u0430\u0439\u043b\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c<\/p>\n<\/li>\n<li>\n<p>\u0414\u0438\u0441\u043a\u0438 \u0434\u043b\u044f \u0436\u0443\u0440\u043d\u0430\u043b\u043e\u0432 \u0411\u0414<\/p>\n<\/li>\n<li>\n<p>\u0414\u0438\u0441\u043a\u0438 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0411\u0414.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0434\u0438\u0441\u043a\u043e\u0432 \u043f\u043e\u0434\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u0441\u043e \u0441\u0432\u043e\u0438\u0445 4 \u043f\u043e\u0440\u0442\u043e\u0432 \u043d\u0430 \u0421\u0425\u0414.<\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446 \u043c\u044b \u0434\u043e\u0431\u0438\u043b\u0438\u0441\u044c \u043f\u043e\u0447\u0442\u0438 100% \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0441\u0435\u0442\u0438.<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u044f \u0432 \u0438\u0437\u044b\u0441\u043a\u0430\u043d\u0438\u044f\u0445 2 \u043f\u043e\u043b\u043d\u044b\u0445 \u043f\u0435\u0440\u0432\u044b\u0445 \u043c\u0430\u0439\u0441\u043a\u0438\u0445 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043d\u0435\u0434\u0435\u043b\u0438 (\u044d\u0442\u043e 5 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u0434\u043d\u0435\u0439, \u043d\u043e \u0432 \u043d\u0435\u0434\u0435\u043b\u044f\u0445 \u0441\u0442\u0440\u0430\u0448\u043d\u0435\u0435) \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0441\u0435\u0431\u044f \u0432 5 \u0440\u0430\u0437 \u043b\u0443\u0447\u0448\u0435 \u0438\u043c\u0435\u044e\u0449\u0435\u0439\u0441\u044f \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043d\u0430 FC.<\/p>\n<ol>\n<li>\n<p>\u041a\u043b\u0430\u0434\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432 \u043f\u043e IOPS \u043c\u0435\u043b\u043a\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c \u0438 \u0447\u0442\u0435\u043d\u0438\u0435 (1 \u043c\u043b\u043d \u0437\u0430\u043f\u0438\u0441\u044c \u0438 1.5\u043c\u043b\u043d \u0447\u0442\u0435\u043d\u0438\u0435)<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0442\u0438 \u043a\u043b\u0430\u0434\u0435\u043c \u0441\u0435\u0442\u044c \u043f\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0431\u043b\u043e\u043a\u043e\u043c (12.3Gb\/s)<\/p>\n<\/li>\n<\/ol>\n<p>\u0417\u0430\u043f\u0438\u0441\u044c<\/p>\n<pre><code># fio  --rw=write --bs=4k --numjobs=136 --iodepth=256 --size=10T --ioengine=libaio --direct=1  -group_reporting --name=jour nal-test --filename=\/dev\/mapper\/vg_exp_data-exp_data journal-test: (g=0): rw=write, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=256 ... fio-3.19 Starting 136 processes ^Cbs: 136 (f=136): [W(136)][0.0%][w=4575MiB\/s][w=1171k IOPS][eta 04d:00h:33m:27s] fio: terminating on signal 2 <\/code><\/pre>\n<p>\u0427\u0442\u0435\u043d\u0438\u0435<\/p>\n<pre><code># fio  --rw=read --bs=4k --numjobs=136 --iodepth=256 --size=10T --ioengine=libaio --direct=1  -group_reporting --name=journ al-test --filename=\/dev\/mapper\/vg_exp_data-exp_data journal-test: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=256 ... fio-3.19 Starting 136 processes ^Cbs: 136 (f=136): [R(136)][0.0%][r=5731MiB\/s][r=1467k IOPS][eta 02d:21h:33m:50s]  <\/code><\/pre>\n<h3>\u0411\u043e\u043d\u0443\u0441: \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 NVME over TCP<\/h3>\n<p>\u0412\u0434\u0440\u0443\u0433 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441 NVME.<\/p>\n<p>\u041d\u0430\u0441\u0442\u0440\u043e\u0438\u043b \u043f\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438\u0437 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e\u0439 \u0432\u0432\u0435\u0440\u0445\u0443 \u0441\u0442\u0430\u0442\u044c\u0438.<br \/> \u0422\u0435\u0441\u0442\u044b \u0441\u0430\u043c\u043e \u0441\u043e\u0431\u043e\u0439 \u0434\u0435\u043b\u0430\u043b \u043d\u0430 1 \u0434\u0438\u0441\u043a\u0435.<br \/> \u041f\u0435\u0440\u0432\u044b\u0439 \u0436\u0435 \u0442\u0435\u0441\u0442 \u0443\u043f\u0435\u0440\u0441\u044f \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0433\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u0430.<\/p>\n<p>\u041f\u043e\u043d\u044f\u0432, \u0447\u0442\u043e \u0442\u0435\u0441\u0442 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0441\u043e\u0431\u0440\u0430\u043b LVM \u0442\u043e\u043c \u0438\u0437 4 NVME over TCP \u0434\u0438\u0441\u043a\u043e\u0432 \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435. \u041f\u043e \u0438\u0434\u0435\u0435 128 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439 \u0434\u043e \u043a\u0430\u0436\u0434\u043e\u0433\u043e.<\/p>\n<p>\u041d\u043e \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0434\u0430\u0432\u0430\u043b 12,3\u0413\u0411\/c \u043f\u043e iScsi \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0442\u043e\u043b\u044c\u043a\u043e 9\u0413\u0411\/c<\/p>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0432\u0441\u0435 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u0442\u0430\u043a, \u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u0440\u043e\u0441\u044c\u0431\u0430 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c\u0438 \u0440\u0435\u0446\u0435\u043f\u0442\u0430\u043c\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u0435\u0442\u0438 iScsi \u0442\u0440\u0430\u0444\u0438\u043a\u043e\u043c.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/821855\/\"> https:\/\/habr.com\/ru\/articles\/821855\/<\/a><br \/><\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-378917","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/378917","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=378917"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/378917\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=378917"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=378917"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=378917"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}