{"id":314180,"date":"2020-12-02T15:01:11","date_gmt":"2020-12-02T15:01:11","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=314180"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=314180","title":{"rendered":"\u0418\u0433\u0440\u0430\u0435\u043c\u0441\u044f \u0441 3090 \u0438 \u043f\u0440\u043e\u0431\u0443\u0435\u043c MIG \u043d\u0430 A100"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/cc7\/955\/221\/cc79552219b842dfaa1129a4b9303888.jpg\"><\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0442\u0430\u0435\u0442 \u0437\u0430\u0432\u0435\u0442\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441, \u0430\u043f\u0433\u0440\u0435\u0439\u0434\u0438\u0442\u044c \u043b\u0438 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u0438\u043b\u0438 \u043d\u0435\u0442, \u044f \u043f\u0440\u043e\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e <a href=\"https:\/\/timdettmers.com\/2020\/09\/07\/which-gpu-for-deep-learning\/\" rel=\"nofollow\">\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435<\/a> \u0441\u0442\u0430\u0442\u044c\u0438 \u0438 \u0441\u043c\u043e\u0442\u0440\u044e \u0442\u0430\u043a\u0438\u0435 <a href=\"https:\/\/www.youtube.com\/watch?v=deqljDr618c&amp;t=1100s\" rel=\"nofollow\">\u0432\u0438\u0434\u043e\u0441\u044b<\/a> (\u043d\u0435\u0442, \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430\u043c \u043e\u0442 Nvidia \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0435\u043b\u044c\u0437\u044f, \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043d\u0435\u0434\u0430\u0432\u043d\u0438\u0439 \u043a\u0435\u0439\u0441 \u0441 \u0447\u0438\u0441\u043b\u043e\u043c CUDA-\u044f\u0434\u0435\u0440).<\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043d\u0430\u043b &quot;\u042d\u0442\u043e\u0442 \u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440&quot; \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u0435\u043d, \u043d\u043e \u0430\u0432\u0442\u043e\u0440 \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f ML. \u0410 \u0432 \u0446\u0435\u043b\u043e\u043c \u043f\u0440\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u0430\u043a\u0441\u0435\u043b\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f ML \u0432 \u0433\u043b\u0430\u0437\u0430 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0431\u0440\u043e\u0441\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0449\u0435\u0439:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0410\u0432\u0442\u043e\u0440\u044b \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0442\u043e\u043b\u044c\u043a\u043e &quot;\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c&quot; \u0434\u043b\u044f \u0440\u044b\u043d\u043a\u0430 \u043d\u043e\u0432\u044b\u0445 \u043a\u0430\u0440\u0442 \u0432 \u0421\u0428\u0410;<\/li>\n<li>\u0420\u0435\u0439\u0442\u0438\u043d\u0433\u0438 \u0434\u0430\u043b\u0435\u043a\u0438 \u043e\u0442 \u043d\u0430\u0440\u043e\u0434\u0430 \u0438 \u0434\u0435\u043b\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0432\u0435\u0441\u044c\u043c\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u043a\u0430\u0445 (\u0447\u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435 \u0432 \u0446\u0435\u043b\u043e\u043c \u0445\u043e\u0440\u043e\u0448\u043e) \u0431\u0435\u0437 \u0434\u0435\u0442\u0430\u043b\u0435\u0439;<\/li>\n<li>\u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u043c\u0430\u043d\u0442\u0440\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0435 \u0441\u0435\u0442\u043a\u0438 \u0432\u043d\u043e\u0441\u0438\u0442 \u0441\u0432\u043e\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0432\u044b \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f;<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u041d\u0435 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0441\u0435\u043c\u0438 \u043f\u044f\u0434\u0435\u0439 \u0432\u043e \u043b\u0431\u0443, \u0447\u0442\u043e\u0431\u044b \u0437\u043d\u0430\u0442\u044c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &quot;\u0430 \u043a\u0430\u043a\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043b\u0443\u0447\u0448\u0435?&quot;: \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0441\u0435\u0440\u0438\u0438 20* \u0432 \u043c\u0430\u0441\u0441\u044b \u043d\u0435 \u043f\u043e\u0448\u043b\u0438, 1080 Ti \u0441 \u0410\u0432\u0438\u0442\u043e \u0434\u043e \u0441\u0438\u0445 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b (\u0438 \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u0434\u0435\u0448\u0435\u0432\u0435\u044e\u0442 \u043a\u0430\u043a \u043d\u0438 \u0441\u0442\u0440\u0430\u043d\u043d\u043e, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e \u043f\u043e \u044d\u0442\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435).<\/p>\n<p>  <\/p>\n<p>\u0412\u0441\u0435 \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0438 \u0432\u0440\u044f\u0434 \u043b\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u0440\u0443\u0442, \u043d\u043e \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u044f \u0443\u0437\u043d\u0430\u043b \u043f\u0440\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 Multi-Intance-GPU \u0434\u043b\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u0410100 \u0438 \u043d\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 <a href=\"https:\/\/pytorch.org\/docs\/stable\/notes\/cuda.html#tensorfloat-32-tf32-on-ampere-devices\" rel=\"nofollow\">TF32<\/a> \u0438 \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u0430 \u0438\u0434\u0435\u044f \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u0435\u043a \u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 Ampere (3090 \u0438 \u0410100). \u0412 \u044d\u0442\u043e\u0439 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043a\u0435 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0421\u0442\u043e\u0438\u0442 \u043b\u0438 \u0441\u0432\u0435\u0447 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 Ampere? (\u0441\u043f\u043e\u0439\u043b\u0435\u0440 \u0434\u043b\u044f \u043d\u0435\u0442\u0435\u0440\u043f\u0435\u043b\u0438\u0432\u044b\u0445 \u2014 \u0434\u0430);<\/li>\n<li>\u0421\u0442\u043e\u044f\u0442 \u043b\u0438 \u0441\u0432\u043e\u0438\u0445 \u0434\u0435\u043d\u0435\u0433 A100 (\u0441\u043f\u043e\u0439\u043b\u0435\u0440 \u2014 \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u2014 \u043d\u0435\u0442);<\/li>\n<li>\u0415\u0441\u0442\u044c \u043b\u0438 \u043a\u0435\u0439\u0441\u044b, \u043a\u043e\u0433\u0434\u0430 A100 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b (\u0441\u043f\u043e\u0439\u043b\u0435\u0440 \u2014 \u0434\u0430);<\/li>\n<li>\u041f\u043e\u043b\u0435\u0437\u043d\u0430 \u043b\u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f MIG (\u0441\u043f\u043e\u0439\u043b\u0435\u0440 \u2014 \u0434\u0430, \u043d\u043e \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438 \u0434\u043b\u044f \u043e\u0447\u0435\u043d\u044c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f);<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0417\u0430 \u0434\u0435\u0442\u0430\u043b\u044f\u043c\u0438 \u043f\u0440\u043e\u0448\u0443 \u043f\u043e\u0434 \u043a\u0430\u0442.<\/p>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<h1 id=\"prostye-veschi\">\u041f\u0440\u043e\u0441\u0442\u044b\u0435 \u0412\u0435\u0449\u0438<\/h1>\n<p>  <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0440\u0430\u0437\u0443 \u043e\u0431\u0440\u0430\u0442\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0441\u043b\u043e\u043d\u0430 \u0432 \u043a\u043e\u043c\u043d\u0430\u0442\u0435. \u041d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043a\u0438:<\/p>\n<p>  <\/p>\n<ul>\n<li>3090 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u043a\u0443\u043f\u0438\u0442\u044c \u0438 \u043f\u0440\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043e\u043d\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441 30-40% \u043f\u0440\u0435\u043c\u0438\u0435\u0439. \u041f\u0440\u0438\u0447\u0435\u043c \u043d\u0435\u0445\u0432\u0430\u0442\u043a\u0438 \u043d\u043e\u0432\u044b\u0445 \u043a\u0430\u0440\u0442 \u0435\u0441\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0421\u041d\u0413;<\/li>\n<li>A100 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043a\u0443\u043f\u0438\u0442\u044c. \u041f\u0430\u0440\u0442\u043d\u0435\u0440\u044b Nvidia \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u0447\u0442\u043e \u0432 \u0420\u0424 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0435\u0441\u0442\u044c 1 \u0448\u0442\u0443\u043a\u0430, \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u0438\u0435\u0434\u0435\u0442 \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0442\u0443\u043a;<\/li>\n<li>\u042f \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u0438\u0441\u043a\u0430\u043b, \u043d\u043e \u0441 \u043d\u0430\u0441\u043a\u043e\u043a\u0443 \u044f \u043d\u0435 \u043d\u0430\u0448\u0435\u043b \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e PCIE \u0432\u0435\u0440\u0441\u0438\u044f A100 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430 \u0441 \u043e\u0431\u044b\u0447\u043d\u044b\u043c\u0438 ATX \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430\u043c\u0438 (\u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0430\u0440\u0442\u043d\u0435\u0440\u044b Nvidia \u043d\u0435 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0438, \u043d\u043e \u044f \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044e, \u0447\u0442\u043e \u0432 \u043a\u0430\u0440\u0442\u0430\u0445 \u043d\u0435\u0442 \u0441\u0432\u043e\u0435\u0433\u043e \u043a\u0443\u043b\u0435\u0440\u0430 \u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0435 \u0448\u0430\u0441\u0441\u0438 \u0441 &quot;\u0433\u0440\u043e\u043c\u043a\u0438\u043c&quot; \u0444\u0435\u043d\u043e\u043c);<\/li>\n<li>3080 \u0438 \u0431\u043e\u043b\u0435\u0435 \u043c\u043b\u0430\u0434\u0448\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0445\u043e\u0442\u044f \u043e\u043d\u0438 \u043e\u0447\u0435\u043d\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b \u043f\u043e \u0446\u0435\u043d\u0435, \u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u0438\u0433\u0440) \u043d\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438, \u0442.\u043a. \u0443 \u043d\u0430\u0441 \u0438\u0445 \u043d\u0435\u0442, \u0430 \u043d\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u0438 \u0438\u0445 \u0438\u0437-\u0437\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043f\u0430\u043c\u044f\u0442\u0438 (\u044f \u043d\u0430\u0438\u0432\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u043b, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043a\u0440\u0443\u0442\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u0442\u043e\u043a \u043d\u0430 1 \u043a\u0430\u0440\u0442\u0435, \u043d\u043e \u0442\u0430\u043c \u0432\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0430\u0447\u0435);<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u041f\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c \u0445\u043e\u043b\u0438\u0432\u043e\u0440 \u2014 \u043a\u043e\u0440\u043c\u0438\u0442\u044c \u0438\u043b\u0438 \u043d\u0435 \u043a\u043e\u0440\u043c\u0438\u0442\u044c \u0410\u043c\u0430\u0437\u043e\u043d \u2014 \u0432\u044b\u043d\u043e\u0441\u0438\u043c \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0438. \u0423\u0432\u0435\u0440\u0435\u043d, \u0447\u0442\u043e \u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0442\u043e\u0440\u043e\u0432 \u043d\u0430\u0439\u0434\u0443\u0442\u0441\u044f \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u0438 \u0446\u0435\u0440\u043a\u0432\u0438 \u0410\u043c\u0430\u0437\u043e\u043d\u0430, \u043d\u043e \u0441\u0432\u043e\u0439 \u0440\u0438\u0433 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e &quot;\u043e\u043a\u0443\u043f\u0430\u0435\u0442\u0441\u044f&quot; \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u0446\u0435\u043d (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u043b\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0438\u0437 \u0434\u0435\u0448\u0435\u0432\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432) \u0433\u0434\u0435-\u0442\u043e \u0437\u0430 \u043f\u043e\u043b\u0433\u043e\u0434\u0430-\u0433\u043e\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>  <\/p>\n<h1 id=\"ohlazhdenie\">\u041e\u0445\u043b\u0430\u0436\u0434\u0435\u043d\u0438\u0435<\/h1>\n<p>  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0435\u0440\u0438\u0442\u044c \u0443\u0442\u0438\u043b\u0438\u0442\u0430\u043c \u043e\u0442 Nvidia, \u0442\u043e 3090 \u0438 \u0410100 \u043d\u0430 15-20 \u0433\u0440\u0430\u0434\u0443\u0441\u043e\u0432 \u0445\u043e\u043b\u043e\u0434\u043d\u0435\u0435, \u0447\u0435\u043c Maxwell \u0438 Pascal. \u042f \u043d\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u0442\u043e\u0447\u043d\u044b\u0435 \u0437\u0430\u043c\u0435\u0440\u044b, \u043d\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0442\u0430\u043a\u0430\u044f:<\/p>\n<p>  <\/p>\n<ul>\n<li>4 * 1080 Ti (Pascal) \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0445\u0430\u043a\u0430\u043c\u0438 \u043f\u043e \u043e\u0445\u043b\u0430\u0434\u0436\u0435\u043d\u0438\u044e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 <strong>\u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 75-80\u0421<\/strong> \u043f\u043e\u0434 100% \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439;<\/li>\n<li>3 * Titan X (Maxwell) \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 <strong>\u0432 \u0440\u0430\u0439\u043e\u043d\u0435 85\u0421<\/strong> \u043f\u043e\u0434 100% \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439;<\/li>\n<li>3 * 3090 (Ampere) \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 <strong>\u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 60-70\u0421<\/strong> \u043f\u043e\u0434 100% \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439;<\/li>\n<li>\u041d\u0438\u0433\u0434\u0435 \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0441\u044f \u043d\u0438 \u0440\u0430\u0437\u0433\u043e\u043d, \u043d\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u043f\u0438\u0442\u0430\u043d\u0438\u044e \u043a\u0430\u0440\u0442 \u0438\u043b\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043a\u0443\u043b\u0435\u0440\u043e\u0432, \u0432\u0441\u0435 &quot;\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438&quot;;<\/li>\n<li>\u0412\u0441\u0435 \u043a\u0430\u0440\u0442\u044b \u0438\u043c\u0435\u044e\u0442 &quot;\u0442\u0443\u0440\u0431\u0438\u043d\u0443&quot;, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u044b\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u044e\u0442 \u0442\u0435\u043f\u043b\u043e \u0438\u0437 \u043a\u043e\u0440\u043f\u0443\u0441\u0430;<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u041d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &quot;\u043f\u043e\u0447\u0435\u043c\u0443&quot; \u2014 \u0435\u0441\u0442\u044c 3 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u041d\u043e\u0432\u044b\u0439 \u0442\u0435\u0445\u043f\u0440\u043e\u0446\u0435\u0441\u0441;<\/li>\n<li>\u0423 3090 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u0440\u0443\u0433\u0430\u044f \u0444\u043e\u0440\u043c\u0430 \u0441\u0430\u043c\u043e\u0439 \u043a\u0430\u0440\u0442\u044b, \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u0435\u043d\u0442\u0438\u043b\u044f\u0442\u043e\u0440\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0442\u0432\u0435\u0440\u0441\u0442\u0438\u044f \u043d\u0430 \u0437\u0430\u0434\u043d\u0435\u0439 \u043f\u0430\u043d\u0435\u043b\u044c\u043a\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435;<\/li>\n<li>3090 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0442\u044f\u0436\u0435\u043b\u0435\u0435 (\u043c\u043e\u0436\u0435\u0442 \u043a\u0442\u043e-\u0442\u043e \u0437\u043d\u0430\u0435\u0442 \u0433\u0434\u0435 \u043d\u0430\u0439\u0442\u0438 \u0442\u043e\u0447\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b, \u043a\u0430\u0440\u0442 \u043d\u0435\u0442 \u043f\u043e\u0434 \u0440\u0443\u043a\u043e\u0439 \u0441\u0435\u0439\u0447\u0430\u0441);<\/li>\n<\/ul>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/655\/736\/869\/655736869f6bff21f08a9c0993b0f29d.png\"><\/p>\n<p>  <\/p>\n<blockquote><p>\u041d\u0430\u0433\u043b\u044f\u0434\u043d\u0430\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u043b\u0438\u0447\u0438\u0439 \u043a\u0430\u0440\u0442\u043e\u0447\u0435\u043a, \u043c\u043e\u0436\u0435\u0442 \u043a\u0442\u043e-\u0442\u043e \u0438\u0437 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432 \u043f\u043e\u0434\u0441\u043a\u0430\u0436\u0435\u0442 \u0434\u0438\u0430\u043c\u0435\u0442\u0440 \u0432\u0435\u043d\u0442\u0438\u043b\u044f\u0442\u043e\u0440\u0430?<\/p><\/blockquote>\n<p>  <\/p>\n<h1 id=\"naivnye-metriki\">\u041d\u0430\u0438\u0432\u043d\u044b\u0435 \u041c\u0435\u0442\u0440\u0438\u043a\u0438<\/h1>\n<p>  <\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430, \u0447\u0442\u043e\u0431\u044b \u0443\u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432\u0435\u0440\u043d\u043e (\u0430 \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043d\u0435\u0432\u0435\u0440\u043d\u043e, \u0446\u0438\u0444\u0440\u044b \u0431\u044b\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043e\u0432\u0441\u0435\u043c), \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u0432\u0441\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <code>gpu-burn<\/code>. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0440\u0438\u0441\u0443\u044e\u0442 \u0432 \u043e\u0431\u0437\u043e\u0440\u0430\u0445. <\/p>\n<p>  <\/p>\n<div class=\"scrollable-table\">\n<table>\n<thead>\n<tr>\n<th>Test<\/th>\n<th>GPU<\/th>\n<th>Gflop\/s<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><code>.\/gpu_burn 120<\/code><\/td>\n<td>Titan X (Maxwell)<\/td>\n<td>4,300<\/td>\n<\/tr>\n<tr>\n<td><code>.\/gpu_burn 120<\/code><\/td>\n<td>1080 Ti (Pascal)<\/td>\n<td>8,500<\/td>\n<\/tr>\n<tr>\n<td><code>.\/gpu_burn 120<\/code><\/td>\n<td>3090 (Ampere)<\/td>\n<td>16,500<\/td>\n<\/tr>\n<tr>\n<td><code>.\/gpu_burn 120<\/code><\/td>\n<td>A100 (wo MIG)<\/td>\n<td>16,700<\/td>\n<\/tr>\n<tr>\n<td><code>.\/gpu-burn -tc 120<\/code><\/td>\n<td>3090 (Ampere)<\/td>\n<td>38,500<\/td>\n<\/tr>\n<tr>\n<td><code>.\/gpu-burn -tc 120<\/code><\/td>\n<td>A100 (wo MIG)<\/td>\n<td>81,500<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p>  <\/p>\n<p>MIG \u043d\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0442\u0443\u0442, \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0443\u0432\u0438\u0434\u0438\u0442\u0435 \u043f\u043e\u0447\u0435\u043c\u0443.<\/p>\n<p>  <\/p>\n<h1 id=\"cena-voprosa\">\u0426\u0435\u043d\u0430 \u0412\u043e\u043f\u0440\u043e\u0441\u0430<\/h1>\n<p>  <\/p>\n<p>\u0422\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e 1080 Ti \u0438 Titan X \u043c\u044b \u043f\u043e\u043a\u0443\u043f\u0430\u043b\u0438 \u0441 \u0440\u0443\u043a \u0443\u0441\u043b\u043e\u0432\u043d\u043e &quot;\u043d\u043e\u0432\u044b\u0435&quot; (\u043c\u0435\u043d\u0435\u0435 \u0433\u043e\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f). \u041d\u0435 \u0431\u0443\u0434\u0435\u043c \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u0438\u0448\u043d\u0438\u0439 \u0440\u0430\u0437 \u043d\u0430 \u0445\u043e\u043b\u0438\u0432\u043e\u0440\u0430\u0445 \u043f\u0440\u043e \u043c\u0430\u0439\u043d\u0435\u0440\u043e\u0432 \u0438 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f Nvidia, \u043d\u043e \u0435\u0441\u043b\u0438 \u0431\u0435\u0440\u0435\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u0436\u0435 \u0431\/\u0443 \u0438\u0433\u0440\u043e\u0432\u044b\u0435 \u043a\u0430\u0440\u0442\u044b \u2014 \u0438\u0445 \u0441\u0440\u043e\u043a \u0441\u043b\u0443\u0436\u0431\u044b \u0433\u0434\u0435-\u0442\u043e 3-4 \u0433\u043e\u0434\u0430. \u0426\u0435\u043d\u044b \u0438 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u044b\u0435. A100 \u043f\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0442 \u043f\u0430\u0440\u0442\u043d\u0435\u0440\u043e\u0432 Nvidia \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0432 \u043f\u0440\u043e\u0434\u0430\u0436\u0435 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0434\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0433\u043e\u0434\u0430 \u043e\u0434\u043d\u0430. \u041a\u043e\u0433\u0434\u0430 1080Ti \u0431\u044b\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043d\u043e\u0432\u044b\u043c\u0438, \u0446\u0435\u043d\u044b \u043a\u043e\u043b\u0435\u0431\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0442 50\u043a \u0434\u043e 100\u043a \u0440\u0443\u0431\u043b\u0435\u0439.<\/p>\n<p>  <\/p>\n<div class=\"scrollable-table\">\n<table>\n<thead>\n<tr>\n<th>GPU<\/th>\n<th>Mem<\/th>\n<th>\u0426\u0435\u043d\u0430<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Titan X (Maxwell)<\/td>\n<td>12G<\/td>\n<td>10,000 \u0440\u0443\u0431\u043b\u0435\u0439 (\u0410\u0432\u0438\u0442\u043e)<\/td>\n<\/tr>\n<tr>\n<td>1080 Ti<\/td>\n<td>11G<\/td>\n<td>25,000 \u0440\u0443\u0431\u043b\u0435\u0439 (\u0410\u0432\u0438\u0442\u043e)<\/td>\n<\/tr>\n<tr>\n<td>3090 (Ampere)<\/td>\n<td>24G<\/td>\n<td>160,000+ \u0440\u0443\u0431\u043b\u0435\u0439 (\u043d\u043e\u0432\u0430\u044f)<\/td>\n<\/tr>\n<tr>\n<td>A100 (wo MIG)<\/td>\n<td>40G<\/td>\n<td>US$12,500 (\u043d\u043e\u0432\u0430\u044f)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p>  <\/p>\n<blockquote><p>\u0414\u0443\u043c\u0430\u044e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b \u0434\u0430\u043b\u044c\u0448\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u044e\u0442 \u0441\u0430\u043c\u0438.<\/p><\/blockquote>\n<p>  <\/p>\n<h1 id=\"probuem-3090-i-a100-c-mig\">\u041f\u0440\u043e\u0431\u0443\u0435\u043c 3090 \u0438 A100 c MIG<\/h1>\n<p>  <\/p>\n<h2 id=\"probuem-3090\">\u041f\u0440\u043e\u0431\u0443\u0435\u043c 3090<\/h2>\n<p>  <\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0441\u0430\u043c\u043e\u043c\u0443 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c\u0443 \u2014 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0442\u0435\u0441\u0442\u0430\u043c \u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0433\u0440\u0430\u0431\u043b\u0438 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. <strong>\u0412 \u0442\u0435\u043e\u0440\u0438\u0438 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044f\u043c 3090 \u0438\u043b\u0438 \u0410100 \u0432 2-3 \u0440\u0430\u0437\u0430 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f\u0442 1080 Ti, \u0442\u043e 1 \u0442\u0430\u043a\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c 2-3 1080 Ti \u0438 \u043d\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0441 4 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u043c\u0438 PCIE \u043f\u043e\u0440\u0442\u0430\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u043d\u0430\u043b\u043e\u0433 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0441 12 \u043a\u0430\u0440\u0442\u0430\u043c\u0438?<\/strong> \u041d\u0443 \u0438\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432\u0437\u044f\u0442\u044c \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c 3-4 PCIE \u0432\u0435\u0440\u0441\u0438\u0438 A100 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043e\u0449\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0435\u0440, \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0432 \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0437 \u043d\u0438\u0445 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e compute instance \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c MIG?<\/p>\n<p>  <\/p>\n<p>\u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u2014 \u043d\u0435\u0442, \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u2014 \u0442\u043e\u0436\u0435 \u043d\u0435\u0442, \u043d\u043e \u0441 \u043c\u043d\u043e\u0433\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430\u043c\u0438.<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u0447\u0435\u043c \u0441\u043f\u0440\u043e\u0441\u0438\u0442\u0435? \u0414\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 8 \u2014 16 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u0434\u0430\u0436\u0435 \u0432 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0437\u0443\u043c\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u043e \u0446\u0435\u043d\u0435 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0432 4-5 \u0440\u0430\u0437 \u0434\u043e\u0440\u043e\u0436\u0435, \u0447\u0435\u043c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 ATX \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u0410 DGX Workstation \u0438\u043b\u0438 DGX \u043f\u0440\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u0435\u0449\u0435 \u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 50% \u043f\u0440\u0435\u043c\u0438\u0435\u0439 \u043a \u0441\u0432\u043e\u0435\u0439 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435, \u0435\u0441\u043b\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0430 \u0431\u0430\u0437\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c \u043e\u0442 Mikrotik \u0438\u043b\u0438 Gigabyte. <\/p>\n<p>  <\/p>\n<p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0438 \u043a\u0430\u0440\u0442 \u043d\u0435 \u0442\u043e\u0440\u043e\u043f\u044f\u0442\u0441\u044f \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0435 \u043e\u0434\u043d\u043e\u0441\u043b\u043e\u0442\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f (\u043a\u0440\u043e\u043c\u0435 PNY c \u0441\u0435\u0440\u0438\u0435\u0439 Quadro, \u043d\u043e \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0434\u043b\u044f \u0434\u0438\u0437\u0430\u0439\u043d\u0430 \u0438\u043b\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430). \u041a\u043e\u043d\u0435\u0447\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0439 \u0432\u043e\u0434\u044f\u043d\u043e\u0439 \u043a\u043e\u043d\u0442\u0443\u0440 \u043d\u0430 7 \u043a\u0430\u0440\u0442\u043e\u0447\u0435\u043a (\u0431\u044b\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0442\u0435\u0440\u0438\u043d\u0441\u043a\u0438\u0445 \u043f\u043b\u0430\u0442 \u0441 7 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u043c\u0438 PCIE \u043f\u043e\u0440\u0442\u0430\u043c\u0438), \u043d\u043e \u044d\u0442\u043e &quot;\u0441\u043b\u043e\u0436\u043d\u043e&quot; \u0438 \u043d\u0435\u044f\u0441\u043d\u043e \u0433\u0434\u0435 \u0442\u0430\u043a\u043e\u0435 \u0440\u0430\u0437\u043c\u0435\u0449\u0430\u0442\u044c (\u0434\u0430 \u0438 \u0438\u0433\u0440\u0430 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0441\u0432\u0435\u0447). \u0421 \u043f\u0440\u0438\u0445\u043e\u0434\u043e\u043c PCIE 4.0 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043f\u043e \u0438\u0434\u0435\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u044b\u0440\u0430\u0441\u0442\u0438, \u043d\u043e \u044f \u043f\u043e\u043a\u0430 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b \u043d\u0438\u0447\u0435\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043d\u0430 \u0440\u044b\u043d\u043a\u0435.<\/p>\n<p>  <\/p>\n<p>\u041f\u0430\u0440\u0430 \u043e\u0433\u043e\u0440\u043e\u0432\u043e\u043a \u043f\u0440\u043e \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0417\u0430\u0434\u0430\u0447\u0430 \u2014 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 Spech-to-Text \u0441\u0435\u0442\u043a\u0438 \u043d\u0430 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u043e\u043c <a href=\"https:\/\/github.com\/egorsmkv\/speech-recognition-uk\" rel=\"nofollow\">\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435<\/a>;<\/li>\n<li>\u0418\u0437-\u0437\u0430 \u0441\u0430\u043c\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u043d\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u2014 50 \u2014 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438;<\/li>\n<li>\u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 AMP \u0443 \u043d\u0430\u0441 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u0445\u043e\u0442\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u0440\u0430\u0432\u043d\u044b\u0445, \u043c\u044b \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u043e\u043d\u044f\u043b\u0438 \u043f\u043e\u0447\u0435\u043c\u0443), \u043d\u043e \u044d\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u0435\u043b\u043e \u043d\u0435 \u0432 \u0436\u0435\u043b\u0435\u0437\u0435, \u0430 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435. \u041d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u2014 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u043d\u0435\u0441\u0435\u043c \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0438;<\/li>\n<li>\u0412\u0430\u0436\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u2014 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u043e \u0441\u0443\u0442\u0438 \u044d\u0442\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u044d\u0442\u043e sequence-to-sequence, \u0442\u043e \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0431\u0430\u0442\u0447\u0435\u0439 \u0442\u0443\u0442 \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e. \u0424\u0430\u0439\u043b\u044b \u0440\u0430\u0437\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u0431\u0430\u0442\u0447 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u0444\u0430\u0439\u043b\u0430\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0434\u043b\u0438\u043d\u044b (\u0447\u0442\u043e\u0431\u044b \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u0432\u043f\u0443\u0441\u0442\u0443\u044e \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043f\u0430\u0434\u0438\u043d\u0433\u0430), \u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0434\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u0438 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438; <\/li>\n<li>\u0414\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0435\u0433\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438, \u043d\u043e \u044d\u0442\u043e \u043e\u0441\u043e\u0431\u043e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 (\u0438\u043b\u0438 \u0443\u0445\u0443\u0434\u0448\u0430\u0435\u0442);<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0412\u043e\u043f\u0440\u0435\u043a\u0438 \u0442\u0440\u0435\u043d\u0434\u0443 \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0435 \u0441\u0435\u0442\u0438, \u043c\u044b \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u0441\u044f \u043c\u0438\u043d\u0438\u0430\u0442\u044e\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043d\u0430\u0448\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0438 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u0441\u0435\u0442\u0438 \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0435\u0442\u0435\u0439 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430 \u0441\u0447\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u043b\u0430 \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432, \u0430 \u043d\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u0435\u0442\u0435\u0439 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u0435\u043b\u0435\u0439.<\/p>\n<p>  <\/p>\n<p>\u0418 \u0442\u0443\u0442 \u043c\u044b \u043d\u0430\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0439 <a href=\"https:\/\/t.me\/snakers4\/2590\" rel=\"nofollow\">\u043a\u0430\u043c\u0435\u043d\u044c<\/a> \u2014 Distributed Data Parallel \u0438\u0437 PyTorch (DDP, \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0435\u0442\u0435\u0439 \u043d\u0430 &quot;\u043c\u043d\u043e\u0433\u043e&quot; \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442) \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438 \u043f\u043e \u0441\u0443\u0442\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 1 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0430 1 \u043a\u0430\u0440\u0442\u0435. \u0422\u043e \u0435\u0441\u0442\u044c 1 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c 1+ \u043a\u0430\u0440\u0442\u0443. 2 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c 1 \u043a\u0430\u0440\u0442\u0443, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0437\u0430\u043f\u0430\u0441 \u043f\u043e IO \/ compute \/ RAM. \u0412 \u0441\u0442\u0430\u0440\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u043e\u0432 \u044f\u0432\u043d\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0442 \u0438 \u043d\u0430 1080 Ti 2 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043d\u0430 1 \u043a\u0430\u0440\u0442\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f (\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 5-10% \u0432\u043c\u0435\u0441\u0442\u043e 40-50%). \u041d\u0430 \u043d\u043e\u0432\u044b\u0445 \u043a\u0430\u0440\u0442\u0430\u0445 \u2014 \u0442\u0443\u0434\u0430 \u0443\u0436\u0435 \u0432\u043f\u0438\u043b\u0438\u043b\u0438 exception.<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">RuntimeError: NCCL error in: \/opt\/conda\/conda-bld\/pytorch_1603729096996\/work\/torch\/lib\/c10d\/ProcessGroupNCCL.cpp:784, invalid usage, NCCL version 2.7.8<\/code><\/pre>\n<p>  <\/p>\n<p>\u041d\u043e \u043d\u0435 \u0432\u0441\u0435 \u0442\u0430\u043a \u043f\u0435\u0447\u0430\u043b\u044c\u043d\u043e \u0438 \u043f\u043b\u043e\u0445\u043e. \u041c\u043e\u0436\u0435\u0442 \u0438\u0437-\u0437\u0430 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0439 \u043c\u0430\u0433\u0438\u0438 \u0432 \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430\u0445, \u043c\u043e\u0436\u0435\u0442 \u0438\u0437-\u0437\u0430 TF32 (\u043d\u0430\u0434\u0435\u044e\u0441\u044c \u0442\u0443\u0442 \u0437\u043d\u0430\u0442\u043e\u043a\u0438 \u043f\u043e\u0434\u0441\u043a\u0430\u0436\u0443\u0442), \u043c\u043e\u0436\u0435\u0442 \u0438\u0437-\u0437\u0430 \u043d\u0430\u0440\u0430\u0431\u043e\u0442\u043e\u043a \u0432 <a href=\"https:\/\/docs.nvidia.com\/deploy\/pdf\/CUDA_Multi_Process_Service_Overview.pdf\" rel=\"nofollow\">MPS<\/a> 3090 \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0438\u043d\u0430\u0447\u0435 \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u041f\u0440\u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u0440\u0430\u0432\u043d\u044b\u0445 \u0438 \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0447\u0435\u043c Titan X \u0438 1080 Ti (~16 GB \u0432\u043c\u0435\u0441\u0442\u043e 7-8 GB);<\/li>\n<li>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 3 \u0440\u0430\u0437\u0430 \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0441 Titan X (Maxwell);<\/li>\n<li>[\u041d\u0443\u0436\u043d\u043e \u0435\u0449\u0435 \u0442\u043e\u0447\u043d\u043e \u0437\u0430\u043c\u0435\u0440\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0430 1080 Ti];<\/li>\n<li>\u0423\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u0430\u0440\u0442 \u043d\u0430 \u0432\u044b\u0441\u043e\u043a\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u2014 \u0431\u043e\u043b\u0435\u0435 90%;<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c 2 DDP \u0432\u043e\u0440\u043a\u0435\u0440\u0430 \u043d\u0430 1 \u043a\u0430\u0440\u0442\u0435 \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043e\u0448\u0438\u0431\u043a\u0443, \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c 2 \u0441\u0435\u0442\u043a\u0438 &quot;\u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e&quot; \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043a\u0440\u0430\u0442\u043d\u043e\u0435 \u0437\u0430\u043c\u0435\u0434\u043b\u0435\u043d\u0438\u0435, \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u0431\u0430\u0442\u0447\u0430 \u2014 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439. \u0422\u0430\u0439\u043c\u0438\u043d\u0433\u0438 \u043d\u0430 2 * 3090 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u0438\u0435:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">| Epoch   time, m | Type | Workers | Batch   | Params               | |-----------------|------|---------|---------|----------------------| | exception       | DDP  | 4       | 50 * 4  |                      | | 3.8             | DDP  | 2       | 50 * 2  |                      | | 3.9             | DDP  | 2       | 50 * 2  | cudnn_benchmark=True | | 3.6             | DDP  | 2       | 100 * 2 |                      |<\/code><\/pre>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430, \u0432\u0430\u0436\u043d\u043e \u0435\u0449\u0435 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u0447\u0442\u043e \u0443 Nvidia \u0435\u0441\u0442\u044c MPS \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f\u043a\u043e\u0431\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043a\u0440\u0443\u0442\u0438\u0442\u044c 2 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043d\u0430 \u043a\u0430\u0440\u0442\u0430\u0445 \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0430 \u0432 PyTorch \u0435\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 RPC-\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a. \u041d\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0441\u043c\u043e\u0433 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0435\u0437 \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0445 \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u0434\u0430 \u0438 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u044c\u043d\u043e \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442 \u043a\u043e\u0434 \u0434\u043b\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0445\u043e\u0442\u044f \u043e\u0447\u0435\u043d\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u043e).<\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a, \u0441 3090 \u0432\u0441\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e. \u0414\u0432\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u043e\u043d\u0430 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u0438\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u043e \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435, \u0434\u0430\u0436\u0435 \u0438\u043c\u0435\u044f &quot;\u043b\u0438\u0448\u043d\u044e\u044e&quot; \u043f\u0430\u043c\u044f\u0442\u044c (\u043f\u043e\u0432\u0442\u043e\u0440\u044e\u0441\u044c, \u043c\u044b \u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u0441\u0435\u0442\u0438), \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 2-3 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u042d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u043b\u0438 \u044d\u0442\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u044e 2-3 \u043a\u0430\u0440\u0442, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438. <\/p>\n<p>  <\/p>\n<p>TLDR:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0440\u0442\u044b \u0441 \u0442\u0443\u0440\u0431\u0438\u043d\u043e\u0439 \u0432 \u0441\u0432\u043e\u0435\u043c \u0440\u0438\u0433\u0435 \u043d\u0430 3090 (\u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u2014 \u0432 3090 2 8-\u043f\u0438\u043d\u043e\u0432\u044b\u0445 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u0430 \u0434\u043b\u044f \u043f\u0438\u0442\u0430\u043d\u0438\u044f, \u043d\u043e \u043d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0435\u0441\u0442\u044c \u0431\u043b\u043e\u043a\u0438 \u043f\u0438\u0442\u0430\u043d\u0438\u044f \u043f\u043e 2000-\u0412\u0430\u0442\u0442 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u0447\u043d\u043e \u043c\u043e\u0433\u0443\u0442 \u0437\u0430\u043f\u0438\u0442\u0430\u0442\u044c 4-5 \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u0440\u0442, \u043e\u043f\u044f\u0442\u044c \u0436\u0435 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u043b \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u044e 2 \u0431\u043b\u043e\u043a\u043e\u0432 \u043f\u0438\u0442\u0430\u043d\u0438\u044f);<\/li>\n<li>\u041f\u0440\u0438 \u044d\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u043a\u0430\u0440\u0442 \u0441\u043d\u0438\u0437\u0438\u0442\u0441\u044f \u043d\u0430 10-20 \u0433\u0440\u0430\u0434\u0443\u0441\u043e\u0432 \u0426\u0435\u043b\u044c\u0441\u0438\u044f;<\/li>\n<li>\u042d\u0442\u0438 \u043a\u0430\u0440\u0442\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u0441\u0442\u043e\u044f\u0442 \u0434\u043e\u0440\u043e\u0433\u043e \u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0434\u0435\u0444\u0438\u0446\u0438\u0442\u0435 (\u0438, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435 \u0432\u0440\u044f\u0434 \u043b\u0438 \u043f\u043e\u0439\u0434\u0443\u0442 \u0432 \u043c\u0430\u0441\u0441\u044b), \u043d\u043e \u0435\u0441\u043b\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u0441\u0430\u043c\u044b\u0439 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0440\u0435\u0441\u0443\u0440\u0441 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u2014 \u0442\u043e \u044d\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442;<\/li>\n<li>\u0415\u0441\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u043b\u044f \u0432\u0430\u0441 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u043d \u2014 \u0443 \u0432\u0430\u0441 \u043f\u043e \u0441\u0443\u0442\u0438 \u043d\u0435\u0442 \u0432\u044b\u0431\u043e\u0440\u0430;<\/li>\n<\/ul>\n<p>  <\/p>\n<h2 id=\"probuem-a100-s-mig\">\u041f\u0440\u043e\u0431\u0443\u0435\u043c A100 \u0441 MIG<\/h2>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0432 \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0438 \u0446\u0435\u043d\u0443 \u043a\u0430\u0440\u0442, \u0410100 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c, \u0440\u0430\u0437\u0432\u0435 \u0447\u0442\u043e \u0432 \u043e\u0431\u043b\u0430\u043a\u0435 \u043d\u0430 3 \u0434\u043d\u044f \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c 1 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0441\u0435\u0442\u043a\u0443 \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u0422\u0430\u043a\u0436\u0435 \u0435\u0441\u043b\u0438 \u0432\u0430\u0448\u0438\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 AMP \/ FP16, \u0442\u043e \u0410100 \u043c\u043e\u0436\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.<\/p>\n<p>  <\/p>\n<p>\u041d\u043e \u0432 A100 \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f <a href=\"https:\/\/docs.nvidia.com\/datacenter\/tesla\/mig-user-guide\/index.html#lgi\" rel=\"nofollow\">\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f MIG<\/a> (Multi Instance GPU). \u041f\u043e \u0441\u0443\u0442\u0438 \u043e\u043d\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043e\u0434\u043d\u0443 &quot;\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0438 \u043c\u043e\u0449\u043d\u0443\u044e&quot; \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0443 \u043d\u0430 \u043d\u0430\u0431\u043e\u0440 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 &quot;\u043f\u043e\u0434\u043a\u0430\u0440\u0442\u043e\u0447\u0435\u043a&quot; \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 Compute Instances, \u043a \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u043a\u0430\u0440\u0442\u0430\u043c.<\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0434\u0435\u0442\u0430\u043b\u0435\u0439, \u0437\u0430 \u043d\u0438\u043c\u0438 \u043e\u0442\u043a\u0440\u043e\u0439\u0442\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e, \u043d\u043e \u0442\u0430\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u043f\u0440\u0435\u0441\u0435\u0442\u044b:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">+--------------------------------------------------------------------------+ | GPU instance profiles:                                                   | | GPU   Name          ID    Instances   Memory     P2P    SM    DEC   ENC  | |                           Free\/Total   GiB              CE    JPEG  OFA  | |==========================================================================| |   0  MIG 1g.5gb     19     0\/7        4.75       No     14     0     0   | |                                                          1     0     0   | +--------------------------------------------------------------------------+ |   0  MIG 2g.10gb    14     0\/3        9.75       No     28     1     0   | |                                                          2     0     0   | +--------------------------------------------------------------------------+ |   0  MIG 3g.20gb     9     0\/2        19.62      No     42     2     0   | |                                                          3     0     0   | +--------------------------------------------------------------------------+ |   0  MIG 4g.20gb     5     0\/1        19.62      No     56     2     0   | |                                                          4     0     0   | +--------------------------------------------------------------------------+ |   0  MIG 7g.40gb     0     0\/1        39.50      No     98     5     0   | |                                                          7     1     1   | +--------------------------------------------------------------------------+<\/code><\/pre>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/e3d\/8f1\/785\/e3d8f17852d62d1f8c1b66a4a533061a.png\"><\/p>\n<p>  <\/p>\n<blockquote><p>\u0414\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438<\/p><\/blockquote>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441, \u0430 \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043d\u0430\u0448\u0430 \u0441\u0435\u0442\u043a\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f, \u0438 A100 \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 (\u0445\u043e\u0442\u044f \u0431\u044b \u043d\u0430 FP16) \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0432 2 \u0440\u0430\u0437\u0430 \u043c\u043e\u0449\u043d\u0435\u0435 \u0447\u0435\u043c 3090? \u041c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432\u0437\u044f\u0442\u044c 4 A100 \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c 12 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0445 \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 1080 Ti? \u041c\u043e\u0436\u043d\u043e \u043b\u0438 \u043d\u0430 \u044d\u0442\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 &quot;\u043c\u0438\u043a\u0440\u043e-\u043a\u0430\u0440\u0442\u0430\u0445&quot; \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0442\u0430\u043a \u0436\u0435 \u043a\u0430\u043a \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043e\u0431\u044b\u0447\u043d\u044b\u0445?<\/p>\n<p>  <\/p>\n<p>\u041e\u0442\u0432\u0435\u0442\u0438\u043c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443. \u0422\u0443\u0442 \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043a\u0430\u043a \u0441\u0430\u043c\u0430 <a href=\"https:\/\/docs.nvidia.com\/datacenter\/tesla\/mig-user-guide\/index.html#concepts\" rel=\"nofollow\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f<\/a>, \u0442\u0430\u043a \u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u0441\u0432\u0435\u0436\u0438\u0439 \u0431\u043b\u043e\u0433 <a href=\"https:\/\/developer.nvidia.com\/blog\/getting-the-most-out-of-the-a100-gpu-with-multi-instance-gpu\/\" rel=\"nofollow\">\u043f\u043e\u0441\u0442<\/a> \u043e\u0442 \u0441\u0430\u043c\u043e\u0439 Nvidia.<\/p>\n<p>  <\/p>\n<p>\u0412 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0430\u0431\u0437\u0430\u0446:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">MIG supports running CUDA applications by specifying the CUDA device on which the application should be run. With CUDA 11, only enumeration of a single MIG instance is supported. CUDA applications treat a CI and its parent GI as a single CUDA device. CUDA is limited to use a single CI and will pick the first one available if several of them are visible. To summarize, there are two constraints: - CUDA can only enumerate a single compute instance - CUDA will not enumerate non-MIG GPU if any compute instance is enumerated on any other GPU Note that these constraints may be relaxed in future NVIDIA driver releases for MIG.<\/code><\/pre>\n<p>  <\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430, \u043a\u043e\u0433\u0434\u0430 \u044f \u0435\u0433\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b, \u043c\u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043e\u043d \u043e\u0437\u043d\u0430\u0447\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0442\u043e \u043d\u0435\u043b\u044c\u0437\u044f \u0440\u0430\u0441\u043f\u0438\u043b\u0438\u0442\u044c 2 \u043a\u0430\u0440\u0442\u044b, \u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0443. \u041f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u044f \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u043e\u0439, \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 \u0432\u0438\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e 1 &quot;\u043a\u0430\u0440\u0442\u0443&quot; (\u043f\u0440\u0438\u0447\u0435\u043c \u0432\u0438\u0434\u0438\u043c\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043e\u043d \u0442\u043e\u043b\u044c\u043a\u043e &quot;\u043f\u0435\u0440\u0432\u0443\u044e&quot;). \u041f\u0440\u0438\u0447\u0435\u043c \u0435\u0441\u043b\u0438 \u043c\u044b \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0435\u043c \u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 Nvidia \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u0432 \u0441\u0432\u043e\u0435\u043c \u0431\u043b\u043e\u0433\u0435, \u043e\u043d\u0438 \u043f\u043e \u0441\u0443\u0442\u0438 \u0432\u0441\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044e &quot;1 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u2014 1 \u043a\u0443\u0441\u043e\u0447\u0435\u043a \u043a\u0430\u0440\u0442\u044b&quot; \u0438\u043b\u0438 &quot;\u0442\u044e\u043d\u0438\u043d\u0433 7 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e&quot;.<\/p>\n<p>  <\/p>\n<p>\u0415\u0449\u0435 \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u043f\u0430\u0441\u0441\u0430\u0436:<\/p>\n<p>  <\/p>\n<pre><code class=\"plaintext\">There is no GPU-to-GPU P2P (both PCIe and NVLINK) support in MIG mode, so MIG mode does not support multi-GPU or multi-node training. For large models or models trained with a large batch size, the models may fully utilize a single GPU or even be scaled to multi-GPUs or multi-nodes. In these cases, we still recommend using a full GPU or multi-GPUs, even multi-nodes, to minimize total training time.<\/code><\/pre>\n<p>  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c MIG \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u043c\u0443 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0435\u043b\u0438\u0442\u044c \u043a\u0430\u0440\u0442\u0443 \u043d\u0430 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u0443\u0441\u043e\u0447\u043a\u0438 (slices), \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u0438\u043c Compute Instances \u0438 \u043f\u0440\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u0442\u044c \u0438\u0445 \u0432 \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b \u2014 \u0442\u043e \u0432\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u043d\u0430\u0434\u043e. It just works.<\/p>\n<p>  <\/p>\n<h1 id=\"itogovye-zamery\">\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0435 \u0417\u0430\u043c\u0435\u0440\u044b<\/h1>\n<p>  <\/p>\n<p>\u0422\u0443\u0442 \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f (\u043d\u0430 \u0422\u0438\u0442\u0430\u043d\u0435 \u0443 \u043c\u0435\u043d\u044f \u0431\u044b\u043b DP \u0430 \u043d\u0435 DDP), \u0434\u0430 \u0438 \u043d\u0430 A100 \u0432 \u0438\u0442\u043e\u0433\u0435 \u044f \u043d\u0435 \u0441\u0442\u0430\u043b \u0433\u043e\u043d\u044f\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043d\u0430 10, 20, 30 \u0447\u0430\u0441\u043e\u0432 \u0438 \u0432\u043f\u0443\u0441\u0442\u0443\u044e (\u0437\u0430\u0447\u0435\u043c \u0433\u0440\u0435\u0442\u044c \u0430\u0442\u043c\u043e\u0441\u0444\u0435\u0440\u0443), \u043d\u043e \u044f \u0437\u0430\u043c\u0435\u0440\u0438\u043b \u0432\u0440\u0435\u043c\u044f \u043d\u0430 1 \u044d\u043f\u043e\u0445\u0435.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/676\/d16\/e2d\/676d16e2dee3dd67afeb78bd4f7c8068.png\"><\/p>\n<p>  <\/p>\n<blockquote><p>\u041a\u043e\u0433\u0434\u0430 \u043a\u0440\u0443\u0442\u0438\u0448\u044c 1 \u0441\u0435\u0442\u043a\u0443 \u043d\u0430 A100 \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0434\u0430\u0436\u0435 \u0438 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u2014 \u043d\u0443 \u0442\u043e \u0435\u0441\u0442\u044c \u0435\u0441\u043b\u0438 \u0431\u044b \u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0440\u0430\u0441\u043f\u0438\u043b\u0438\u0442\u044c \u043d\u0430 2-3 \u043a\u0430\u0440\u0442\u044b, \u0432\u0441\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e<\/p><\/blockquote>\n<p>  <\/p>\n<div class=\"scrollable-table\">\n<table>\n<thead>\n<tr>\n<th>Avg epoch time, m<\/th>\n<th>Workers<\/th>\n<th>Batch<\/th>\n<th>GPUs<\/th>\n<th>CER @10 hours<\/th>\n<th>CER @20 h<\/th>\n<th>CER @30 h<\/th>\n<th>Comment<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>4.7<\/td>\n<td>2, DDP<\/td>\n<td>50 * 2<\/td>\n<td>2 * 3090<\/td>\n<td>14.4<\/td>\n<td>12.3<\/td>\n<td>11.44<\/td>\n<td>Close to 100% utilization<\/td>\n<\/tr>\n<tr>\n<td>15.3<\/td>\n<td>1, DP<\/td>\n<td>50<\/td>\n<td>2 * Titan X<\/td>\n<td>21.6<\/td>\n<td>17.4<\/td>\n<td>15.7<\/td>\n<td>Close to 100% utilization<\/td>\n<\/tr>\n<tr>\n<td>11.4<\/td>\n<td>1, DDP<\/td>\n<td>50 * 1<\/td>\n<td>1 * A100<\/td>\n<td>NA<\/td>\n<td>NA<\/td>\n<td>NA<\/td>\n<td>About 35-40% utilization<\/td>\n<\/tr>\n<tr>\n<td>TBD<\/td>\n<td>2, DDP<\/td>\n<td>50 * 2<\/td>\n<td>2 * 1080 Ti<\/td>\n<td>TBD<\/td>\n<td>TBD<\/td>\n<td>TBD<\/td>\n<td><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p>  <\/p>\n<p>\u041d\u0430 1080 Ti \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0431\u044b\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0433\u043d\u0430\u0442\u044c 1 \u044d\u043f\u043e\u0445\u0443.<\/p>\n<p>  <\/p>\n<h2 id=\"vyvody\">\u0412\u044b\u0432\u043e\u0434\u044b<\/h2>\n<p>  <\/p>\n<p>\u0412\u044b\u0432\u043e\u0434\u044b \u043f\u0440\u043e 3090:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0415\u0441\u043b\u0438 \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0438 \u0432\u043e\u043f\u0440\u043e\u0441 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438, \u0442\u043e \u0430\u043f\u0433\u0440\u0435\u0439\u0434 \u0441\u0442\u043e\u0438\u0442 \u0434\u0435\u043b\u0430\u0442\u044c. \u0412\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c x2 \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 AMP \u2014 \u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0436\u0435 \u0438 \u0432\u0441\u0435 x3-x4;<\/li>\n<li>\u0421 \u0443\u0447\u0435\u0442\u043e\u043c \u0440\u043e\u0441\u0442\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0446\u0435\u043d\u0430 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u043d\u043e\u0439, \u043d\u043e \u043d\u0435 \u0437\u0430\u043e\u0431\u043b\u0430\u0447\u043d\u043e\u0439. \u041f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0446\u0435\u043d\u044b \u0433\u0434\u0435-\u0442\u043e \u043d\u0430 30-40% \u043a\u0430\u043a \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0431\u044b\u043b\u043e \u0431\u044b \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u043c;<\/li>\n<li>\u041a\u043e\u0433\u0434\u0430 \u0432\u044b\u0445\u043e\u0434\u0438\u043b\u043e \u043d\u043e\u0432\u043e\u0435 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u0435 \u043a\u0430\u0440\u0442 \u0432\u0441\u0435 \u0431\u0435\u0441\u043f\u043e\u043a\u043e\u0438\u043b\u0438\u0441\u044c \u043d\u0430\u0441\u0447\u0435\u0442 \u043e\u0445\u043b\u0430\u0436\u0434\u0435\u043d\u0438\u044f. \u041e\u043d\u0430 \u043d\u0430 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435 \u0445\u043e\u043b\u043e\u0434\u043d\u0430\u044f;<\/li>\n<li>\u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0431\u0435\u0434\u0430 \u2014 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u043f\u0440\u043e\u0441\u0438\u0442 2 8-\u043f\u0438\u043d\u043e\u0432\u044b\u0445 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u0430 \u0434\u043b\u044f \u043f\u0438\u0442\u0430\u043d\u0438\u044f;<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0412\u044b\u0432\u043e\u0434\u044b \u043f\u0440\u043e A100:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0415\u0441\u043b\u0438 \u0441\u0443\u0434\u0438\u0442\u044c \u043f\u043e \u0446\u0435\u043d\u0435 \u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043a\u0430\u0440\u0442\u0430 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f (\u043d\u0430\u0446\u0435\u043d\u043a\u0430 \u0432 2-3 \u0440\u0430\u0437\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 3090);<\/li>\n<li>\u0422\u043e, \u0447\u0442\u043e Nvidia \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044e \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u2014 \u044d\u0442\u043e \u043a\u0440\u0443\u0442\u043e, \u0430 \u0442\u043e \u043a\u0430\u0440\u0442\u044b \u0441\u0442\u0430\u043b\u0438 \u0443\u0436 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0438 \u043a\u0440\u0443\u0442\u044b\u043c\u0438;<\/li>\n<li>\u0415\u0441\u043b\u0438 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u0438\u0433\u0440\u043e\u0432\u044b\u0435 \u043a\u0430\u0440\u0442\u044b (\u0442\u0435 \u0436\u0435 1080 Ti \u0438\u043b\u0438 PNY Quadro) \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u0442\u043e \u043e\u043d\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0439 value for money;<\/li>\n<li>\u0415\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043d\u0435\u0440\u0430\u0441\u043a\u0440\u044b\u0442\u044b\u0439 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b \u0432 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 MIG;<\/li>\n<li>\u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e 40 GB \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043c\u043d\u043e\u0433\u043e compute, \u0442\u043e \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432 \u043e\u0441\u043e\u0431\u043e \u043d\u0435\u0442;<\/li>\n<li>\u041d\u0435\u044f\u0441\u0435\u043d \u0432\u043e\u043f\u0440\u043e\u0441 \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 PCIE \u0432\u0435\u0440\u0441\u0438\u0438 \u0432 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 ATX \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0431\u0435\u0437 \u043a\u0430\u0441\u0442\u043e\u043c\u0430, &quot;\u043a\u043e\u043b\u0445\u043e\u0437\u0430&quot; \u0438\u043b\u0438 \u0432\u043e\u0434\u044b ;<\/li>\n<\/ul>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/530986\/\"> https:\/\/habr.com\/ru\/post\/530986\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/cc7\/955\/221\/cc79552219b842dfaa1129a4b9303888.jpg\"><\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0442\u0430\u0435\u0442 \u0437\u0430\u0432\u0435\u0442\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441, \u0430\u043f\u0433\u0440\u0435\u0439\u0434\u0438\u0442\u044c \u043b\u0438 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0432 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u0438\u043b\u0438 \u043d\u0435\u0442, \u044f \u043f\u0440\u043e\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e <a href=\"https:\/\/timdettmers.com\/2020\/09\/07\/which-gpu-for-deep-learning\/\" rel=\"nofollow\">\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435<\/a> \u0441\u0442\u0430\u0442\u044c\u0438 \u0438 \u0441\u043c\u043e\u0442\u0440\u044e \u0442\u0430\u043a\u0438\u0435 <a href=\"https:\/\/www.youtube.com\/watch?v=deqljDr618c&amp;t=1100s\" rel=\"nofollow\">\u0432\u0438\u0434\u043e\u0441\u044b<\/a> (\u043d\u0435\u0442, \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430\u043c \u043e\u0442 Nvidia \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0435\u043b\u044c\u0437\u044f, \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043d\u0435\u0434\u0430\u0432\u043d\u0438\u0439 \u043a\u0435\u0439\u0441 \u0441 \u0447\u0438\u0441\u043b\u043e\u043c CUDA-\u044f\u0434\u0435\u0440).<\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043d\u0430\u043b &quot;\u042d\u0442\u043e\u0442 \u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440&quot; \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u0435\u043d, \u043d\u043e \u0430\u0432\u0442\u043e\u0440 \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f ML. \u0410 \u0432 \u0446\u0435\u043b\u043e\u043c \u043f\u0440\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u0430\u043a\u0441\u0435\u043b\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f ML \u0432 \u0433\u043b\u0430\u0437\u0430 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0431\u0440\u043e\u0441\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0449\u0435\u0439:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0410\u0432\u0442\u043e\u0440\u044b \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0442\u043e\u043b\u044c\u043a\u043e &quot;\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c&quot; \u0434\u043b\u044f \u0440\u044b\u043d\u043a\u0430 \u043d\u043e\u0432\u044b\u0445 \u043a\u0430\u0440\u0442 \u0432 \u0421\u0428\u0410;<\/li>\n<li>\u0420\u0435\u0439\u0442\u0438\u043d\u0433\u0438 \u0434\u0430\u043b\u0435\u043a\u0438 \u043e\u0442 \u043d\u0430\u0440\u043e\u0434\u0430 \u0438 \u0434\u0435\u043b\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0432\u0435\u0441\u044c\u043c\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u043a\u0430\u0445 (\u0447\u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435 \u0432 \u0446\u0435\u043b\u043e\u043c \u0445\u043e\u0440\u043e\u0448\u043e) \u0431\u0435\u0437 \u0434\u0435\u0442\u0430\u043b\u0435\u0439;<\/li>\n<li>\u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u043c\u0430\u043d\u0442\u0440\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0435 \u0441\u0435\u0442\u043a\u0438 \u0432\u043d\u043e\u0441\u0438\u0442 \u0441\u0432\u043e\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0432\u044b \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f;<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u041d\u0435 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0441\u0435\u043c\u0438 \u043f\u044f\u0434\u0435\u0439 \u0432\u043e \u043b\u0431\u0443, \u0447\u0442\u043e\u0431\u044b \u0437\u043d\u0430\u0442\u044c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &quot;\u0430 \u043a\u0430\u043a\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u043b\u0443\u0447\u0448\u0435?&quot;: \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0441\u0435\u0440\u0438\u0438 20* \u0432 \u043c\u0430\u0441\u0441\u044b \u043d\u0435 \u043f\u043e\u0448\u043b\u0438, 1080 Ti \u0441 \u0410\u0432\u0438\u0442\u043e \u0434\u043e \u0441\u0438\u0445 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b (\u0438 \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u0434\u0435\u0448\u0435\u0432\u0435\u044e\u0442 \u043a\u0430\u043a \u043d\u0438 \u0441\u0442\u0440\u0430\u043d\u043d\u043e, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e \u043f\u043e \u044d\u0442\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435).<\/p>\n<p>  <\/p>\n<p>\u0412\u0441\u0435 \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0438 \u0432\u0440\u044f\u0434 \u043b\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u0440\u0443\u0442, \u043d\u043e \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u044f \u0443\u0437\u043d\u0430\u043b \u043f\u0440\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 Multi-Intance-GPU \u0434\u043b\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u0410100 \u0438 \u043d\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 <a href=\"https:\/\/pytorch.org\/docs\/stable\/notes\/cuda.html#tensorfloat-32-tf32-on-ampere-devices\" rel=\"nofollow\">TF32<\/a> \u0438 \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u0430 \u0438\u0434\u0435\u044f \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u0435\u043a \u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 Ampere (3090 \u0438 \u0410100). \u0412 \u044d\u0442\u043e\u0439 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043a\u0435 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0421\u0442\u043e\u0438\u0442 \u043b\u0438 \u0441\u0432\u0435\u0447 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 Ampere? (\u0441\u043f\u043e\u0439\u043b\u0435\u0440 \u0434\u043b\u044f \u043d\u0435\u0442\u0435\u0440\u043f\u0435\u043b\u0438\u0432\u044b\u0445 \u2014 \u0434\u0430);<\/li>\n<li>\u0421\u0442\u043e\u044f\u0442 \u043b\u0438 \u0441\u0432\u043e\u0438\u0445 \u0434\u0435\u043d\u0435\u0433 A100 (\u0441\u043f\u043e\u0439\u043b\u0435\u0440 \u2014 \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u2014 \u043d\u0435\u0442);<\/li>\n<li>\u0415\u0441\u0442\u044c \u043b\u0438 \u043a\u0435\u0439\u0441\u044b, \u043a\u043e\u0433\u0434\u0430 A100 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b (\u0441\u043f\u043e\u0439\u043b\u0435\u0440 \u2014 \u0434\u0430);<\/li>\n<li>\u041f\u043e\u043b\u0435\u0437\u043d\u0430 \u043b\u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f MIG (\u0441\u043f\u043e\u0439\u043b\u0435\u0440 \u2014 \u0434\u0430, \u043d\u043e \u0434\u043b\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438 \u0434\u043b\u044f \u043e\u0447\u0435\u043d\u044c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f);<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0417\u0430 \u0434\u0435\u0442\u0430\u043b\u044f\u043c\u0438 \u043f\u0440\u043e\u0448\u0443 \u043f\u043e\u0434 \u043a\u0430\u0442.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-314180","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/314180","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=314180"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/314180\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=314180"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=314180"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=314180"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}