{"id":379347,"date":"2024-06-21T09:00:30","date_gmt":"2024-06-21T09:00:30","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=379347"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=379347","title":{"rendered":"<span>\u041a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438: \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041c\u044b \u0443\u0436\u0435 \u043f\u0438\u0441\u0430\u043b\u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u043d\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0443\u044e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0438\u0445 \u043d\u0430 40% \u043d\u0430 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u0445, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043e\u043d\u0430 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0432\u043e\u0442 <a href=\"https:\/\/habr.com\/ru\/companies\/smartengines\/articles\/822407\/\">\u0442\u0443\u0442<\/a>.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043c\u044b \u0432 <a href=\"https:\/\/smartengines.ru\/\">Smart Engines<\/a> \u043e\u0431\u0443\u0447\u0430\u043b\u0438 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u044e\u0442 \u0432\u0435\u0441\u0430 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0430 \u0443 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u043e\u043d\u0438 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0435.\u00a0<\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439, \u043a\u043e\u0433\u0434\u0430 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u0430 \u0437\u0430\u0442\u0435\u043c \u0435\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443. \u0427\u0430\u0441\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0436\u0435 \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0438\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043d\u0435 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u043e\u0431\u044a\u0435\u043c\u0435.<\/p>\n<p><strong>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u0435\u0442\u043e\u0434\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 2 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0433\u0440\u0443\u043f\u043f\u044b<\/strong>:<\/p>\n<ul>\n<li>\n<p>Post Training Quantization (PTQ): \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u043c \u0443\u0436\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c. \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043e\u043d\u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u043c\u0435\u0436\u0434\u0443 \u0432\u044b\u0445\u043e\u0434\u0430\u043c\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0435\u0439. \u0422\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0435\u0441\u0430, \u0430 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0434\u043b\u044f \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432 \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0431\u0435\u0437 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>Quantization Aware Training (QAT): \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0443\u0436\u0435 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u044b, \u043f\u043e\u0432\u044b\u0448\u0430\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 Smart Engines \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0436\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0435, \u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0438\u043a\u0443\u0434\u0430 \u043d\u0435 \u0434\u0435\u0432\u0430\u044e\u0442\u0441\u044f, \u0442\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043c \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b QAT \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u043b\u0438 \u0438\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0441 PTQ \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043e \u043d\u0438\u0445 \u043f\u043e\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435.<\/p>\n<p><strong>\u041c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/strong><\/p>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u2013 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430 \u043f\u043e \u0441\u0435\u0442\u0438, \u0430 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u043e\u043a\u0440\u0443\u0433\u043b\u0438\u0442\u044c. \u0422\u043e\u0433\u0434\u0430 \u043f\u0440\u044f\u043c\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u0431\u0443\u0434\u0435\u0442 \u0443\u0436\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u201c\u0440\u0430\u0431\u043e\u0447\u0435\u043c\u0443\u201d \u0440\u0435\u0436\u0438\u043c\u0443 \u0441\u0435\u0442\u0438. \u0422\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Straight Through Estimator (STE), \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0442\u0430\u0440\u0435\u0439\u0448\u0438\u0445 \u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u041d\u0430 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435, \u043e\u043d \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0435\u0441\u043b\u0438 \u0432\u0437\u044f\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e 8-\u0431\u0438\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0435\u0435 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c, \u0442\u043e \u0435\u0441\u0442\u044c 256 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0441\u0435\u0442\u0438 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0442\u0430\u043a \u0443\u0436 \u0438 \u043c\u0430\u043b\u043e. \u041e\u0434\u043d\u0430\u043a\u043e \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u201c\u0448\u0443\u043c\u043d\u044b\u043c\u201d \u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0435\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435, \u0447\u0442\u043e \u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u0440\u0430\u0437\u0440\u044f\u0434\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0436\u0435 \u0434\u043b\u044f 8-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u043e\u043b\u0443\u0447\u0448\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0418\u0434\u0435\u044f \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043f\u043e\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0438\u0434. \u0423\u0436\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0435\u0442\u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e STE) \u0438 \u201c\u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f\u201d (\u0432\u0435\u0441\u0430 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f). \u0412\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0435\u0442\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438. \u042d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u0440\u043e\u0441\u0442, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u0435\u043d \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 4- \u0438 8-\u0431\u0438\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439, \u043d\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2006.10518\"><u>AdaQuant<\/u><\/a> \u2013 PTQ \u043c\u0435\u0442\u043e\u0434, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0441\u043b\u043e\u0439\u043d\u043e. \u0415\u0433\u043e \u0438\u0434\u0435\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u044b \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0442\u043e\u0447\u043a\u0443 \u043d\u0443\u043b\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043c\u0435\u0436\u0434\u0443 \u0432\u044b\u0445\u043e\u0434\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0438 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0435\u0432.<\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u044d\u0442\u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Adaquant, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0448\u043b\u0438 \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u0430 \u043a \u043a\u043e\u043d\u0446\u0443 \u0438 \u0435\u0449\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 (\u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u201c\u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u043b\u0438\u0441\u044c\u201d) \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0441 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u043c 0.9 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (learning rate) <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"10^{-5}\" alt=\"10^{-5}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8db\/04d\/4fc\/8db04d4fc7ac35ecafd01ac4a70737ae.svg\" width=\"39\" height=\"21\"\/>.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0442\u0440\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f, \u0440\u0435\u0448\u0430\u0435\u043c\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440, \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u0432 \u043d\u0438\u0445 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438. \u041a\u0441\u0442\u0430\u0442\u0438, \u043d\u0430\u0448 \u043a\u043e\u0434 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u043d\u0430 GitHub: <a href=\"https:\/\/github.com\/SmartEngines\/QNN_training_4.6bit\">https:\/\/github.com\/SmartEngines\/QNN_training_4.6bit<\/a><\/p>\n<p><strong>CIFAR-10<\/strong><\/p>\n<p>\u042d\u0442\u043e \u0434\u0430\u0432\u043d\u043e \u043d\u0430\u0431\u0438\u0432\u0448\u0430\u044f \u043e\u0441\u043a\u043e\u043c\u0438\u043d\u0443 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441 \u0446\u0432\u0435\u0442\u043d\u044b\u043c\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 10 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 32 \u043d\u0430 32 (\u0441\u043c. \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0430 \u0440\u0438\u0441. 1). \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432\u0434\u043e\u043b\u044c \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0441\u0438, \u0432\u044b\u0440\u0435\u0437\u0430\u043d\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 \u0441\u043e \u0441\u0434\u0432\u0438\u0433\u0430\u043c\u0438 \u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u043f\u043e\u0432\u043e\u0440\u043e\u0442\u044b \u043d\u0430 +-9 \u0433\u0440\u0430\u0434\u0443\u0441\u043e\u0432 \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043d\u0430 4 \u043f\u0438\u043a\u0441\u0435\u043b\u044f \u0441 \u043a\u0440\u0430\u0435\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e8a\/008\/0c0\/e8a0080c0164ff0b562e9895f62e5a14.png\" alt=\"\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u0437 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 CIFAR-10.\" title=\"\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u0437 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 CIFAR-10.\" width=\"579\" height=\"447\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e8a\/008\/0c0\/e8a0080c0164ff0b562e9895f62e5a14.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u0437 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 CIFAR-10.<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u043d\u0435\u0439 \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0418\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 1.\u00a0<\/p>\n<p>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>conv(c, f, k, [p]) \u2013 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0441 <em>c<\/em>-\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u0445\u043e\u0434\u043e\u043c, <em>f<\/em> \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <em>k<\/em> \u0445 <em>k<\/em> \u0438 \u043f\u0430\u0434\u0434\u0438\u043d\u0433\u043e\u043c <em>p<\/em> (\u0432 \u043e\u0431\u043e\u0438\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0),<\/p>\n<\/li>\n<li>\n<p>pool(n) \u2013 2D max-pooling \u0441 \u043e\u043a\u043d\u043e\u043c <em>n<\/em> \u043d\u0430 <em>n<\/em>,<\/p>\n<\/li>\n<li>\n<p>bn \u2013 batch normalization,<\/p>\n<\/li>\n<li>\n<p>HardTanh \u2013 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f HardTanh(<em>x<\/em>) = min(1, max(-1, <em>x<\/em>)),<\/p>\n<\/li>\n<li>\n<p>relu6 \u2013 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f ReLU6(<em>x<\/em>) = min(max(0,<em> x<\/em>),6),<\/p>\n<\/li>\n<li>\n<p>tanh \u2013 \u0433\u0438\u043f\u0435\u0440\u0431\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0430\u043d\u0433\u0435\u043d\u0441,<\/p>\n<\/li>\n<li>\n<p>fc(<em>n<\/em>) \u2013 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0441 <em>n<\/em> \u0432\u044b\u0445\u043e\u0434\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 1. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0434\u043b\u044f CIFAR-10.\u00a0<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\"> CNN6<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">CNN7<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">CNN8<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">CNN9<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN10<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(3, 4, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">conv(3, 8, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(3, 8, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(3, 8, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<td>\n<p align=\"left\">conv(3, 8, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(4, 8, 5)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">\n<p align=\"left\">\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">conv(8, 8, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(8, 12, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(8, 8, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(8, 12, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(8, 8, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(8, 12, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td>\n<p align=\"left\">conv(8, 16, 3, 1)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(16, 32, 3, 1)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(8, 16, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">\n<p align=\"left\">\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">conv(12, 16, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">\n<p align=\"left\">\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(12, 24, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">\n<p align=\"left\">\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(12, 12, 3, 1)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(12, 24, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<td>\n<p align=\"left\">conv(32, 32, 3, 1)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(32, 64, 3, 1)<\/p>\n<p align=\"left\">bn+relu6\u00a0<\/p>\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(16, 32, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">conv(16, 32, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(24, 24, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(24, 40, 3) bn+relu6<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(24, 24, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(24, 48, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<\/td>\n<td>\n<p align=\"left\">conv(64, 64, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(64, 64, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(64, 128, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(64)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">fc(64)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(64)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(96)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<td>\n<p align=\"left\">fc(256)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<td>\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"5\" data-colwidth=\"140,141,140,140,0\" width=\"140\">\n<p align=\"left\">Trainable parameters<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">15.6k<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">16.9k<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">29.1k<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">40.7k<\/p>\n<\/td>\n<td>\n<p align=\"left\">315.6k<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u044d\u0442\u0438\u0445 \u0441\u0435\u0442\u0435\u0439 250 \u044d\u043f\u043e\u0445 \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u043c AdamW \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043a\u0440\u043e\u043c\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430 \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 (weight decay), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"10^{-5}\" alt=\"10^{-5}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9a\/b9afc70a4d618f9e2db0198231d72534.svg\" width=\"auto\" height=\"auto\"\/>, \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (learning rate), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u044b\u043b\u0430 \u0437\u0430\u0434\u0430\u043d\u0430 \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"2 \\cdot 10^{-5}\" alt=\"2 \\cdot 10^{-5}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3eb\/dd4\/3fc\/3ebdd43fcbeba223d0f3137aa9106702.svg\" width=\"63\" height=\"21\"\/> \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u0430\u0441\u044c \u0432\u0434\u0432\u043e\u0435 \u043a\u0430\u0436\u0434\u044b\u0435 50 \u044d\u043f\u043e\u0445. \u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0431\u044b\u043b 100.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0441\u043b\u043e\u0438 \u0431\u0430\u0442\u0447 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u044b\u043b\u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u0432\u0435\u0440\u0442\u043a\u0438 \u0438 \u043c\u044b \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u043a \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044e. \u041f\u0435\u0440\u0432\u044b\u0439 \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u043b\u043e\u0439 \u043c\u044b \u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 2. \u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0448\u0435\u0439 \u0441\u0445\u0435\u043c\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N_x\" alt=\"N_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb0\/bb0d1495b7bc35c69a63a0936775a25d.svg\" width=\"auto\" height=\"auto\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"N_w\" alt=\"N_w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e1\/8e1051771a00db4e26742cde057266dd.svg\" width=\"auto\" height=\"auto\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043e\u0432 \u0434\u043b\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0438 \u0432\u0435\u0441\u043e\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043c\u044b \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u043b\u0438 \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0438\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438. \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b\u0438 5 \u0440\u0430\u0437 \u0441 \u0440\u0430\u0437\u043d\u043e\u0439 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0441\u0435\u0442\u0438 \u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 2. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 CIFAR-10<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">Quantization<\/p>\n<\/td>\n<td colspan=\"5\">\n<p align=\"left\">Accuracy, %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"N_x\" alt=\"N_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb0\/bb0d1495b7bc35c69a63a0936775a25d.svg\" width=\"auto\" height=\"auto\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"N_w\" alt=\"N_w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e1\/8e1051771a00db4e26742cde057266dd.svg\" width=\"auto\" height=\"auto\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN6<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN7<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN8<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN9<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN10<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">127<\/p>\n<\/td>\n<td>\n<p align=\"left\">63.5 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.6 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.6 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.7 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">81.3 \u00b1 0.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7<\/p>\n<\/td>\n<td>\n<p align=\"left\">85<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.4 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.7 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.2 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">85.4 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">9<\/p>\n<\/td>\n<td>\n<p align=\"left\">63<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.9 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.0 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.4 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.0 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.9 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">11<\/p>\n<\/td>\n<td>\n<p align=\"left\">51<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.8 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.7 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.0 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.6 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13<\/p>\n<\/td>\n<td>\n<p align=\"left\">43<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.7 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.2 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.8 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.5 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.0 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">15<\/p>\n<\/td>\n<td>\n<p align=\"left\">37<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.1 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.1 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.8 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.2 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">17<\/p>\n<\/td>\n<td>\n<p align=\"left\">31<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.0 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.6 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.1 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.8 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.2 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">19<\/p>\n<\/td>\n<td>\n<p align=\"left\">29<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.1 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.4 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>78.5 \u00b1 0.1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>80.0 \u00b1 0.3<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>88.5 \u00b1 0.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">21<\/p>\n<\/td>\n<td>\n<p align=\"left\">25<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>73.4 \u00b1 0.2<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>76.7 \u00b1 0.3<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">78.3 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.9 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.4 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.3 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.5 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.2 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.9 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.4 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">25<\/p>\n<\/td>\n<td>\n<p align=\"left\">21<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.1 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.6 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.2 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.9 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>88.5 \u00b1 0.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">29<\/p>\n<\/td>\n<td>\n<p align=\"left\">19<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.0 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.3 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.3 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.9 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.3 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">31<\/p>\n<\/td>\n<td>\n<p align=\"left\">17<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.1 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.1 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.0 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.7 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.2 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">37<\/p>\n<\/td>\n<td>\n<p align=\"left\">15<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.8 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.5 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.7 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.4 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.9 \u00b1 0.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">43<\/p>\n<\/td>\n<td>\n<p align=\"left\">13<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.0 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.8 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.5 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.0 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.9 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">51<\/p>\n<\/td>\n<td>\n<p align=\"left\">11<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.9 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.0 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.0 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.1 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.5 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">63<\/p>\n<\/td>\n<td>\n<p align=\"left\">9<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.0 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.7 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.3 \u00b1 0.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.7 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.3 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">85<\/p>\n<\/td>\n<td>\n<p align=\"left\">7<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.9 \u00b1 0.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">67.7 \u00b1 1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.6 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.4 \u00b1 0.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">84.5 \u00b1 0.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">127<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">47.5 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.2 \u00b1 0.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.2 \u00b1 1.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">67.5 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.9 \u00b1 2.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">4 \u0431\u0438\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.0 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.4 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.3 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.3 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.7 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">8 \u0431\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.7 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.6 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">80.8 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">89.2 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">float32<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.95<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.83<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.66<\/p>\n<\/td>\n<td>\n<p align=\"left\">81.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">89.07<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0447\u0442\u043e 8-\u0431\u0438\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u0447\u0442\u0438 \u0442\u0443 \u0436\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u0438 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435, \u0430 \u0432\u043e\u0442 4-\u0431\u0438\u0442\u043d\u044b\u0435 \u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0441\u0442\u0443\u043f\u0430\u044e\u0442. \u0414\u043b\u044f 4.6-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u044b \u043c\u0435\u0436\u0434\u0443 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438 \u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e:\u00a0 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0441\u0445\u0435\u043c\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 (15, 37) \u0434\u043e (31, 17). \u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0432 \u044d\u0442\u043e\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443 4-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u0432\u0441\u0435 \u0436\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u0441\u0442\u0443\u043f\u0438\u043b\u0438 8-\u0431\u0438\u0442\u043d\u044b\u043c \u0438 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c, \u0447\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0438 \u043f\u043e\u043b\u0443\u0447\u0448\u0435.<\/p>\n<p><strong>ImageNet<\/strong><\/p>\n<p>\u042d\u0442\u043e \u0443\u0436\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0441\u043c. \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0430 \u0440\u0438\u0441. 2).\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/631\/30e\/55e\/63130e55e4b58e37487e92962c63ba76.jpeg\" alt=\"\u0420\u0438\u0441. 2. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u0437 ImageNet.\" title=\"\u0420\u0438\u0441. 2. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u0437 ImageNet.\" width=\"1000\" height=\"1000\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/631\/30e\/55e\/63130e55e4b58e37487e92962c63ba76.jpeg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 2. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u0437 ImageNet.<\/figcaption><\/div>\n<\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 ResNet\u2019\u044b: ResNet-18 (11.7\u041c \u0432\u0435\u0441\u043e\u0432) \u0438 ResNet-34 (21.8\u041c \u0432\u0435\u0441\u043e\u0432), \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 PyTorch&#8217;s Torchvision. \u0412\u0441\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 ReLU \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0438 \u043d\u0430 ReLU6, \u0431\u0430\u0442\u0447 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u0441\u0432\u0435\u0440\u0442\u043a\u0438 \u0438 \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u0438, \u043d\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u043b\u043e\u0438 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435 \u0442\u0440\u043e\u0433\u0430\u043b\u0438.\u00a0<\/p>\n<p>\u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0431\u044b\u043b\u0430 \u043c\u0435\u043d\u044c\u0448\u0435: 25 \u0431\u0430\u0442\u0447\u0435\u0439 \u043f\u043e 64 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f ResNet-18 \u0438 5 \u0431\u0430\u0442\u0447\u0435\u0439 \u043f\u043e 64 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f ResNet-34.<\/p>\n<p>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 top-1 \u0438 top-5 \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438 ImageNet \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 3. \u041b\u0443\u0447\u0448\u0430\u044f \u043f\u0430\u0440\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0434\u043b\u044f 4.6-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c (<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N_x\" alt=\"N_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/029\/116\/ef3\/029116ef3ad70841909c44933fe4eec5.svg\" width=\"26\" height=\"20\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"N_w\" alt=\"N_w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e1\/8e1051771a00db4e26742cde057266dd.svg\" width=\"auto\" height=\"auto\"\/>) = (23, 23). \u0422\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0438 \u043d\u0430 CIFAR-10 8-\u0431\u0438\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u043c\u0435\u044e\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438, \u0430 4-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0445\u0443\u0436\u0435. 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u0440\u043e\u0432\u043d\u043e \u043f\u043e\u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435. \u042d\u0442\u043e \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u0438\u0435 \u043d\u0435 \u0442\u0430\u043a\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0438 \u0441 \u043d\u0438\u043c \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c!<\/p>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 3. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 ImageNet.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">Quantization<\/p>\n<\/td>\n<td colspan=\"2\">\n<p align=\"left\">ResNet-18<\/p>\n<\/td>\n<td colspan=\"2\">\n<p align=\"left\">ResNet-34<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"N_x\" alt=\"N_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb0\/bb0d1495b7bc35c69a63a0936775a25d.svg\" width=\"auto\" height=\"auto\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"N_w\" alt=\"N_w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e1\/8e1051771a00db4e26742cde057266dd.svg\" width=\"auto\" height=\"auto\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">top-1, %<\/p>\n<\/td>\n<td>\n<p align=\"left\">top-5, %<\/p>\n<\/td>\n<td>\n<p align=\"left\">top-1, %<\/p>\n<\/td>\n<td>\n<p align=\"left\">top-5, %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">29<\/p>\n<\/td>\n<td>\n<p align=\"left\">19<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.6 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.7 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.6 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.5 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">25<\/p>\n<\/td>\n<td>\n<p align=\"left\">21<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.9 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.9 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.8 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.7 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>66.1 <\/strong>\u00b1<strong> 0.1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>87.0 <\/strong>\u00b1 <strong>0.1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>69.1 <\/strong>\u00b1<strong> 0.2<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>88.9 <\/strong>\u00b1<strong> 0.1<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">4 \u0431\u0438\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.2 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">85.7 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.1 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.0 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">8 \u0431\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.3 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.3 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.1 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">float32<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.8<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>TCIA<\/strong><\/p>\n<p>\u042d\u0442\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u041c\u0420\u0422 \u0433\u043e\u043b\u043e\u0432\u043d\u043e\u0433\u043e \u043c\u043e\u0437\u0433\u0430, \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f RGB, \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u0430\u0436\u0434\u043e\u0433\u043e 256 \u043d\u0430 256. \u041d\u0430 \u044d\u0442\u0438\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438: \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0438 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438. \u042d\u0442\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u00a0 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 U-Net \u0441 7.76\u041c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u041c\u044b \u0432\u0437\u044f\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c <a href=\"https:\/\/github.com\/mateuszbuda\/brain-segmentation-pytorch\">\u0442\u0443\u0442<\/a>. \u041e\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438 \u0432\u044b\u0434\u0430\u0435\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438.\u00a0<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0438 \u0432 ResNet\u2019\u0430\u0445 \u043c\u044b \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 ReLU \u043d\u0430 ReLU6 \u0438 \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u0438 \u0441\u0435\u0442\u044c. \u0420\u0430\u0437\u043c\u0435\u0440 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0431\u044b\u043b 5 \u0431\u0430\u0442\u0447\u0435\u0439 \u043f\u043e 10 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0414\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f Dice \u0438 Intersection over Union (IoU) \u0434\u043b\u044f \u0442\u0435\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0433\u0434\u0435 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438 \u0431\u044b\u043b\u0438. \u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 (\u0435\u0441\u0442\u044c \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u044f \u0438\u043b\u0438 \u043d\u0435\u0442): accuracy, precision, recall, \u043e\u0448\u0438\u0431\u043a\u0443 1-\u0433\u043e \u0440\u043e\u0434\u0430 (false positive rate) \u0438 \u043e\u0448\u0438\u0431\u043a\u0443 2-\u0433\u043e \u0440\u043e\u0434\u0430 (false negative rate). \u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 4, \u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430 \u0440\u0438\u0441. 3.<\/p>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 4. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 U-Net \u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 TCIA.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"left\">float32<\/p>\n<\/td>\n<td>\n<p align=\"left\">8 \u0431\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.6 \u0431\u0438\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">4 \u0431\u0438\u0442\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Dice \u2191<\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"left\">0.7643<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.7843 \u00b1 0.0008<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.769 \u00b1 0.006<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.746 \u00b1 0.009<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">IoU \u2191<\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"left\">0.6875<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.7046 \u00b1 0.0008<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.688 \u00b1 0.005<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.662 \u00b1 0.009<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Accuracy \u2191<\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"left\">0.8119<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.8124 \u00b1 0.0013<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.781 \u00b1 0.013<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.57 \u00b1 0.06<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Precision \u2191<\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"left\"><strong>0.6654<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6624 \u00b1 0.0016<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.623 \u00b1 0.015<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.45 \u00b1 0.04<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Recall \u2191<\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"left\">0.9286<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.9447 \u00b1 0.0009<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.948 \u00b1 0.004<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.969 \u00b1 0.013<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Type I \u2193<\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"left\"><strong>0.1631<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.1682 \u00b1 0.0011<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.201 \u00b1 0.013<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.42 \u00b1 0.07<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Type II \u2193<\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"left\">0.0249<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0193 \u00b1 0.0003<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0182 \u00b1 0.0013<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.011 \u00b1 0.005<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/754\/e29\/bf0\/754e29bf0a1d12be3178bd6614d55b5d.png\" alt=\"\u0420\u0438\u0441. 3. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 TCIA, \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438.\" title=\"\u0420\u0438\u0441. 3. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 TCIA, \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438.\" width=\"1200\" height=\"1600\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/754\/e29\/bf0\/754e29bf0a1d12be3178bd6614d55b5d.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 3. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 TCIA, \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438.<\/figcaption><\/div>\n<\/figure>\n<p>\u041c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0447\u0442\u043e 8-\u0431\u0438\u0442\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0434\u0430\u0436\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439: \u0443 \u043d\u0435\u0435 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 1-\u0433\u043e \u0440\u043e\u0434\u0430, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u044b\u0448\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. 4-\u0431\u0438\u0442\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u043e\u0442\u043a\u0440\u043e\u0432\u0435\u043d\u043d\u043e \u043f\u043b\u043e\u0445\u043e \u043a\u0430\u043a \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c, \u0442\u0430\u043a \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e: \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0441\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0439 \u0448\u0443\u043c. \u0410 4.6-\u0431\u0438\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 8-\u0431\u0438\u0442\u043d\u043e\u0439 \u0438 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p><strong>\u041e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435<\/strong><\/p>\n<p>\u041d\u0430\u0448\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u044f\u0441\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043d\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0434\u043b\u044f 4- \u0438 8-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043b\u0443\u0447\u0448\u0435 4-\u0431\u0438\u0442\u043d\u044b\u0445 \u043f\u0440\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u044b. \u042d\u0442\u043e \u0431\u044b\u043b\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e, \u0442\u0430\u043a \u043a\u0430\u043a 4.6-\u0431\u0438\u0442\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043e\u0432, \u0447\u0435\u043c 4-\u0431\u0438\u0442\u043d\u0430\u044f, \u0430 \u043c\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u044d\u0442\u043e \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0431\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.\u00a0<\/p>\n<p>\u041d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u0432 \u043d\u0438\u0448\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u0438\u0433\u0440\u0430\u044e\u0442 8-\u0431\u0438\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430 \u0441\u0447\u0435\u0442 \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432: \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0438 \u043c\u0430\u043b\u044b\u0435 \u0443\u0441\u0438\u043b\u0438\u044f \u043f\u043e \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u043a 8-\u0431\u0438\u0442\u043d\u043e\u043c\u0443 \u0444\u043e\u0440\u043c\u0430\u0442\u0443. \u0418\u043c\u0435\u043d\u043d\u043e \u0438\u0445 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0441 4.6-\u0431\u0438\u0442\u043d\u044b\u043c\u0438. \u0417\u0434\u0435\u0441\u044c 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u0432\u044b\u0438\u0433\u0440\u0430\u043b\u0438 \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438, \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0432 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0430 30-40%. \u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0432 \u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u043d\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b\u0438 8-\u0431\u0438\u0442\u043d\u044b\u043c \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443, \u043e\u0434\u043d\u0430\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u0443\u044e 4.6-\u0431\u0438\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0441\u0442 \u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u0441\u0435 \u0435\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0431\u0435\u0437 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u043d\u0430\u0434 \u0443\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f 4.6-\u0431\u0438\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439.<\/p>\n<p>\u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0437\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0440\u0430 \u0434\u043b\u044f \u0444\u0430\u043d\u0442\u0430\u0437\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img decoding=\"async\" class=\"formula inline\" source=\"N_x\" alt=\"N_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb0\/bb0d1495b7bc35c69a63a0936775a25d.svg\" width=\"auto\" height=\"auto\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"N_w\" alt=\"N_w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8e\/8e1\/8e1051771a00db4e26742cde057266dd.svg\" width=\"auto\" height=\"auto\"\/> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0445\u0435\u043c\u0443 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438,<\/p>\n<\/li>\n<li>\n<p>\u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u0438,<\/p>\n<\/li>\n<li>\n<p>AdaQuant \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0443\u0441\u0442\u0430\u0440\u0435\u043b, \u0435\u0441\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0434\u043e\u0439\u0442\u0438 \u043b\u0443\u0447\u0448\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043a\u0440\u0430\u0439\u043d\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u0443\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f. \u041c\u044b \u0443\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438\u0445 \u0432 \u043d\u0430\u0448\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 <a href=\"https:\/\/smartengines.ru\/smart-passportreader\/\">\u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u043f\u0430\u0441\u043f\u043e\u0440\u0442\u043e\u0432<\/a>, <a href=\"https:\/\/smartengines.ru\/intelligent-document-recognition\/\">\u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432<\/a>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0434\u0430\u043b\u0438 \u0437\u0430\u044f\u0432\u043a\u0443 \u043d\u0430 \u043f\u0430\u0442\u0435\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u0420\u0424 \u0438 \u0421\u0428\u0410.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/823366\/\"> https:\/\/habr.com\/ru\/articles\/823366\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041c\u044b \u0443\u0436\u0435 \u043f\u0438\u0441\u0430\u043b\u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u043d\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0443\u044e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0438\u0445 \u043d\u0430 40% \u043d\u0430 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u0445, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043e\u043d\u0430 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0432\u043e\u0442 <a href=\"https:\/\/habr.com\/ru\/companies\/smartengines\/articles\/822407\/\">\u0442\u0443\u0442<\/a>.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043c\u044b \u0432 <a href=\"https:\/\/smartengines.ru\/\">Smart Engines<\/a> \u043e\u0431\u0443\u0447\u0430\u043b\u0438 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u044e\u0442 \u0432\u0435\u0441\u0430 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0430 \u0443 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u043e\u043d\u0438 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0435.\u00a0<\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439, \u043a\u043e\u0433\u0434\u0430 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u0430 \u0437\u0430\u0442\u0435\u043c \u0435\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443. \u0427\u0430\u0441\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u0436\u0435 \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0438\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043d\u0435 \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u043e\u0431\u044a\u0435\u043c\u0435.<\/p>\n<p><strong>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u0435\u0442\u043e\u0434\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 2 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0433\u0440\u0443\u043f\u043f\u044b<\/strong>:<\/p>\n<ul>\n<li>\n<p>Post Training Quantization (PTQ): \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043a\u0432\u0430\u043d\u0442\u0443\u0435\u043c \u0443\u0436\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c. \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043e\u043d\u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u043c\u0435\u0436\u0434\u0443 \u0432\u044b\u0445\u043e\u0434\u0430\u043c\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0435\u0439. \u0422\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0435\u0441\u0430, \u0430 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0434\u043b\u044f \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432 \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0431\u0435\u0437 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>Quantization Aware Training (QAT): \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0443\u0436\u0435 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u044b, \u043f\u043e\u0432\u044b\u0448\u0430\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 Smart Engines \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0436\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0435, \u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0438\u043a\u0443\u0434\u0430 \u043d\u0435 \u0434\u0435\u0432\u0430\u044e\u0442\u0441\u044f, \u0442\u0430\u043a \u0447\u0442\u043e \u043d\u0430\u043c \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b QAT \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u043b\u0438 \u0438\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0441 PTQ \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043e \u043d\u0438\u0445 \u043f\u043e\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435.<\/p>\n<p><strong>\u041c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/strong><\/p>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u2013 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430 \u043f\u043e \u0441\u0435\u0442\u0438, \u0430 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u043e\u043a\u0440\u0443\u0433\u043b\u0438\u0442\u044c. \u0422\u043e\u0433\u0434\u0430 \u043f\u0440\u044f\u043c\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u0431\u0443\u0434\u0435\u0442 \u0443\u0436\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u201c\u0440\u0430\u0431\u043e\u0447\u0435\u043c\u0443\u201d \u0440\u0435\u0436\u0438\u043c\u0443 \u0441\u0435\u0442\u0438. \u0422\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Straight Through Estimator (STE), \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0442\u0430\u0440\u0435\u0439\u0448\u0438\u0445 \u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u041d\u0430 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435, \u043e\u043d \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0435\u0441\u043b\u0438 \u0432\u0437\u044f\u0442\u044c \u0443\u0436\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e 8-\u0431\u0438\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0435\u0435 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c, \u0442\u043e \u0435\u0441\u0442\u044c 256 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0441\u0435\u0442\u0438 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0442\u0430\u043a \u0443\u0436 \u0438 \u043c\u0430\u043b\u043e. \u041e\u0434\u043d\u0430\u043a\u043e \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u201c\u0448\u0443\u043c\u043d\u044b\u043c\u201d \u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0435\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435, \u0447\u0442\u043e \u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u0440\u0430\u0437\u0440\u044f\u0434\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0436\u0435 \u0434\u043b\u044f 8-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0435\u0441\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u043e\u043b\u0443\u0447\u0448\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0418\u0434\u0435\u044f \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043f\u043e\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0432 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0438\u0434. \u0423\u0436\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0435\u0442\u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e STE) \u0438 \u201c\u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f\u201d (\u0432\u0435\u0441\u0430 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f). \u0412\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0435\u0442\u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438. \u042d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u0440\u043e\u0441\u0442, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u0435\u043d \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 4- \u0438 8-\u0431\u0438\u0442\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439, \u043d\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/pdf\/2006.10518\"><u>AdaQuant<\/u><\/a> \u2013 PTQ \u043c\u0435\u0442\u043e\u0434, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u043f\u043e\u0441\u043b\u043e\u0439\u043d\u043e. \u0415\u0433\u043e \u0438\u0434\u0435\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u044b \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0442\u043e\u0447\u043a\u0443 \u043d\u0443\u043b\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043c\u0435\u0436\u0434\u0443 \u0432\u044b\u0445\u043e\u0434\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0438 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0435\u0432.<\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u044d\u0442\u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Adaquant, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0448\u043b\u0438 \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u0430 \u043a \u043a\u043e\u043d\u0446\u0443 \u0438 \u0435\u0449\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 (\u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u201c\u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u043b\u0438\u0441\u044c\u201d) \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0441 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u043c 0.9 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (learning rate) .<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0442\u0440\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f, \u0440\u0435\u0448\u0430\u0435\u043c\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440, \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u0432 \u043d\u0438\u0445 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438. \u041a\u0441\u0442\u0430\u0442\u0438, \u043d\u0430\u0448 \u043a\u043e\u0434 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u043d\u0430 GitHub: <a href=\"https:\/\/github.com\/SmartEngines\/QNN_training_4.6bit\">https:\/\/github.com\/SmartEngines\/QNN_training_4.6bit<\/a><\/p>\n<p><strong>CIFAR-10<\/strong><\/p>\n<p>\u042d\u0442\u043e \u0434\u0430\u0432\u043d\u043e \u043d\u0430\u0431\u0438\u0432\u0448\u0430\u044f \u043e\u0441\u043a\u043e\u043c\u0438\u043d\u0443 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441 \u0446\u0432\u0435\u0442\u043d\u044b\u043c\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 10 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 32 \u043d\u0430 32 (\u0441\u043c. \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0430 \u0440\u0438\u0441. 1). \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432\u0434\u043e\u043b\u044c \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0441\u0438, \u0432\u044b\u0440\u0435\u0437\u0430\u043d\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 \u0441\u043e \u0441\u0434\u0432\u0438\u0433\u0430\u043c\u0438 \u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u043f\u043e\u0432\u043e\u0440\u043e\u0442\u044b \u043d\u0430 +-9 \u0433\u0440\u0430\u0434\u0443\u0441\u043e\u0432 \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043d\u0430 4 \u043f\u0438\u043a\u0441\u0435\u043b\u044f \u0441 \u043a\u0440\u0430\u0435\u0432.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441. 1. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u0437 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 CIFAR-10.<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 \u043d\u0435\u0439 \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0418\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 1.\u00a0<\/p>\n<p>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>conv(c, f, k, [p]) \u2013 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0441 <em>c<\/em>-\u043a\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u0445\u043e\u0434\u043e\u043c, <em>f<\/em> \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <em>k<\/em> \u0445 <em>k<\/em> \u0438 \u043f\u0430\u0434\u0434\u0438\u043d\u0433\u043e\u043c <em>p<\/em> (\u0432 \u043e\u0431\u043e\u0438\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0),<\/p>\n<\/li>\n<li>\n<p>pool(n) \u2013 2D max-pooling \u0441 \u043e\u043a\u043d\u043e\u043c <em>n<\/em> \u043d\u0430 <em>n<\/em>,<\/p>\n<\/li>\n<li>\n<p>bn \u2013 batch normalization,<\/p>\n<\/li>\n<li>\n<p>HardTanh \u2013 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f HardTanh(<em>x<\/em>) = min(1, max(-1, <em>x<\/em>)),<\/p>\n<\/li>\n<li>\n<p>relu6 \u2013 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f ReLU6(<em>x<\/em>) = min(max(0,<em> x<\/em>),6),<\/p>\n<\/li>\n<li>\n<p>tanh \u2013 \u0433\u0438\u043f\u0435\u0440\u0431\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0430\u043d\u0433\u0435\u043d\u0441,<\/p>\n<\/li>\n<li>\n<p>fc(<em>n<\/em>) \u2013 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0441 <em>n<\/em> \u0432\u044b\u0445\u043e\u0434\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 1. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0434\u043b\u044f CIFAR-10.\u00a0<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\"> CNN6<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">CNN7<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">CNN8<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">CNN9<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN10<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(3, 4, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">conv(3, 8, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(3, 8, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(3, 8, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<td>\n<p align=\"left\">conv(3, 8, 1)<\/p>\n<p align=\"left\">HardTanh<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(4, 8, 5)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">\n<p align=\"left\">\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">conv(8, 8, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(8, 12, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(8, 8, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(8, 12, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(8, 8, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(8, 12, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td>\n<p align=\"left\">conv(8, 16, 3, 1)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(16, 32, 3, 1)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(8, 16, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">\n<p align=\"left\">\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">conv(12, 16, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">\n<p align=\"left\">\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(12, 24, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">\n<p align=\"left\">\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(12, 12, 3, 1)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(12, 24, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<td>\n<p align=\"left\">conv(32, 32, 3, 1)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(32, 64, 3, 1)<\/p>\n<p align=\"left\">bn+relu6\u00a0<\/p>\n<p align=\"left\">pool(2)\u00a0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(16, 32, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">conv(16, 32, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">pool(2)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(24, 24, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(24, 40, 3) bn+relu6<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">conv(24, 24, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(24, 48, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<\/td>\n<td>\n<p align=\"left\">conv(64, 64, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(64, 64, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<p align=\"left\">conv(64, 128, 3)<\/p>\n<p align=\"left\">bn+relu6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(64)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">fc(64)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(64)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(96)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<td>\n<p align=\"left\">fc(256)<\/p>\n<p align=\"left\">tanh<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<td>\n<p align=\"left\">fc(10)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"5\" data-colwidth=\"140,141,140,140,0\" width=\"140\">\n<p align=\"left\">Trainable parameters<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">15.6k<\/p>\n<\/td>\n<td data-colwidth=\"141\" width=\"141\">\n<p align=\"left\">16.9k<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">29.1k<\/p>\n<\/td>\n<td data-colwidth=\"140\" width=\"140\">\n<p align=\"left\">40.7k<\/p>\n<\/td>\n<td>\n<p align=\"left\">315.6k<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u044d\u0442\u0438\u0445 \u0441\u0435\u0442\u0435\u0439 250 \u044d\u043f\u043e\u0445 \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u043c AdamW \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043a\u0440\u043e\u043c\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430 \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 (weight decay), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u044b\u043b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d \u0432 , \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (learning rate), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u044b\u043b\u0430 \u0437\u0430\u0434\u0430\u043d\u0430 \u043a\u0430\u043a  \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u0430\u0441\u044c \u0432\u0434\u0432\u043e\u0435 \u043a\u0430\u0436\u0434\u044b\u0435 50 \u044d\u043f\u043e\u0445. \u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0431\u044b\u043b 100.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0441\u043b\u043e\u0438 \u0431\u0430\u0442\u0447 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u044b\u043b\u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u0432\u0435\u0440\u0442\u043a\u0438 \u0438 \u043c\u044b \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u043a \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044e. \u041f\u0435\u0440\u0432\u044b\u0439 \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u043b\u043e\u0439 \u043c\u044b \u043d\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 2. \u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0448\u0435\u0439 \u0441\u0445\u0435\u043c\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b  \u0438 , \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043e\u0432 \u0434\u043b\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0438 \u0432\u0435\u0441\u043e\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043c\u044b \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u043b\u0438 \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0438\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438. \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b\u0438 5 \u0440\u0430\u0437 \u0441 \u0440\u0430\u0437\u043d\u043e\u0439 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0441\u0435\u0442\u0438 \u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 2. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 CIFAR-10<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">Quantization<\/p>\n<\/td>\n<td colspan=\"5\">\n<p align=\"left\">Accuracy, %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">CNN6<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN7<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN8<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN9<\/p>\n<\/td>\n<td>\n<p align=\"left\">CNN10<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">127<\/p>\n<\/td>\n<td>\n<p align=\"left\">63.5 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.6 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.6 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.7 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">81.3 \u00b1 0.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7<\/p>\n<\/td>\n<td>\n<p align=\"left\">85<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.4 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.7 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.2 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">85.4 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">9<\/p>\n<\/td>\n<td>\n<p align=\"left\">63<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.9 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.0 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.4 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.0 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.9 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">11<\/p>\n<\/td>\n<td>\n<p align=\"left\">51<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.8 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.7 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.0 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.6 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">13<\/p>\n<\/td>\n<td>\n<p align=\"left\">43<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.7 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.2 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.8 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.5 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.0 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">15<\/p>\n<\/td>\n<td>\n<p align=\"left\">37<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.1 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.1 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.8 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.2 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">17<\/p>\n<\/td>\n<td>\n<p align=\"left\">31<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.0 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.6 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.1 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.8 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.2 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">19<\/p>\n<\/td>\n<td>\n<p align=\"left\">29<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.1 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.4 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>78.5 \u00b1 0.1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>80.0 \u00b1 0.3<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>88.5 \u00b1 0.3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">21<\/p>\n<\/td>\n<td>\n<p align=\"left\">25<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>73.4 \u00b1 0.2<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>76.7 \u00b1 0.3<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">78.3 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.9 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.4 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.3 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.5 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.2 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.9 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.4 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">25<\/p>\n<\/td>\n<td>\n<p align=\"left\">21<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.1 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.6 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.2 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.9 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>88.5 \u00b1 0.2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">29<\/p>\n<\/td>\n<td>\n<p align=\"left\">19<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.0 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.3 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.3 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.9 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.3 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">31<\/p>\n<\/td>\n<td>\n<p align=\"left\">17<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.1 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.1 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.0 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.7 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.2 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">37<\/p>\n<\/td>\n<td>\n<p align=\"left\">15<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.8 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.5 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.7 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.4 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.9 \u00b1 0.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">43<\/p>\n<\/td>\n<td>\n<p align=\"left\">13<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.0 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.8 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.5 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.0 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.9 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">51<\/p>\n<\/td>\n<td>\n<p align=\"left\">11<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.9 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.0 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.0 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">78.1 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.5 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">63<\/p>\n<\/td>\n<td>\n<p align=\"left\">9<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.0 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.7 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.3 \u00b1 0.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">76.7 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.3 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">85<\/p>\n<\/td>\n<td>\n<p align=\"left\">7<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.9 \u00b1 0.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">67.7 \u00b1 1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.6 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.4 \u00b1 0.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">84.5 \u00b1 0.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">127<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">47.5 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">55.2 \u00b1 0.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.2 \u00b1 1.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">67.5 \u00b1 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.9 \u00b1 2.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">4 \u0431\u0438\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.0 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">75.4 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.3 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.3 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.7 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">8 \u0431\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.7 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.6 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">80.8 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">89.2 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">float32<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.95<\/p>\n<\/td>\n<td>\n<p align=\"left\">77.83<\/p>\n<\/td>\n<td>\n<p align=\"left\">79.66<\/p>\n<\/td>\n<td>\n<p align=\"left\">81.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">89.07<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0447\u0442\u043e 8-\u0431\u0438\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u0447\u0442\u0438 \u0442\u0443 \u0436\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u0438 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435, \u0430 \u0432\u043e\u0442 4-\u0431\u0438\u0442\u043d\u044b\u0435 \u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0441\u0442\u0443\u043f\u0430\u044e\u0442. \u0414\u043b\u044f 4.6-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u044b \u043c\u0435\u0436\u0434\u0443 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438 \u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e:\u00a0 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0441\u0445\u0435\u043c\u044b \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 (15, 37) \u0434\u043e (31, 17). \u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0432 \u044d\u0442\u043e\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443 4-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u0432\u0441\u0435 \u0436\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u0441\u0442\u0443\u043f\u0438\u043b\u0438 8-\u0431\u0438\u0442\u043d\u044b\u043c \u0438 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c, \u0447\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0438 \u043f\u043e\u043b\u0443\u0447\u0448\u0435.<\/p>\n<p><strong>ImageNet<\/strong><\/p>\n<p>\u042d\u0442\u043e \u0443\u0436\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0441\u043c. \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0430 \u0440\u0438\u0441. 2).\u00a0<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441. 2. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438\u0437 ImageNet.<\/figcaption><\/div>\n<\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 ResNet\u2019\u044b: ResNet-18 (11.7\u041c \u0432\u0435\u0441\u043e\u0432) \u0438 ResNet-34 (21.8\u041c \u0432\u0435\u0441\u043e\u0432), \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 PyTorch&#8217;s Torchvision. \u0412\u0441\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 ReLU \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0438 \u043d\u0430 ReLU6, \u0431\u0430\u0442\u0447 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u0441\u0432\u0435\u0440\u0442\u043a\u0438 \u0438 \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u0438, \u043d\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u043b\u043e\u0438 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435 \u0442\u0440\u043e\u0433\u0430\u043b\u0438.\u00a0<\/p>\n<p>\u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0431\u044b\u043b\u0430 \u043c\u0435\u043d\u044c\u0448\u0435: 25 \u0431\u0430\u0442\u0447\u0435\u0439 \u043f\u043e 64 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f ResNet-18 \u0438 5 \u0431\u0430\u0442\u0447\u0435\u0439 \u043f\u043e 64 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f ResNet-34.<\/p>\n<p>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 top-1 \u0438 top-5 \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438 ImageNet \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 3. \u041b\u0443\u0447\u0448\u0430\u044f \u043f\u0430\u0440\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0434\u043b\u044f 4.6-\u0431\u0438\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c (, ) = (23, 23). \u0422\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0438 \u043d\u0430 CIFAR-10 8-\u0431\u0438\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u043c\u0435\u044e\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438, \u0430 4-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0445\u0443\u0436\u0435. 4.6-\u0431\u0438\u0442\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u0440\u043e\u0432\u043d\u043e \u043f\u043e\u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435. \u042d\u0442\u043e \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u0438\u0435 \u043d\u0435 \u0442\u0430\u043a\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0438 \u0441 \u043d\u0438\u043c \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c!<\/p>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 3. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 ImageNet.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">Quantization<\/p>\n<\/td>\n<td colspan=\"2\">\n<p align=\"left\">ResNet-18<\/p>\n<\/td>\n<td colspan=\"2\">\n<p align=\"left\">ResNet-34<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">top-1, %<\/p>\n<\/td>\n<td>\n<p align=\"left\">top-5, %<\/p>\n<\/td>\n<td>\n<p align=\"left\">top-1, %<\/p>\n<\/td>\n<td>\n<p align=\"left\">top-5, %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">29<\/p>\n<\/td>\n<td>\n<p align=\"left\">19<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.6 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.7 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.6 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.5 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">25<\/p>\n<\/td>\n<td>\n<p align=\"left\">21<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.9 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.9 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.8 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.7 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>66.1 <\/strong>\u00b1<strong> 0.1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>87.0 <\/strong>\u00b1 <strong>0.1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>69.1 <\/strong>\u00b1<strong> 0.2<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>88.9 <\/strong>\u00b1<strong> 0.1<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">4 \u0431\u0438\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.2 \u00b1 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">85.7 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.1 \u00b1 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.0 \u00b1 0.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">8 \u0431\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.3 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.3 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.4 \u00b1 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.1 \u00b1 0.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td colspan=\"2\">\n<p align=\"left\">float32<\/p>\n<\/td>\n<td>\n<p align=\"left\">68.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">88.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">90.8<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>TCIA<\/strong><\/p>\n<p>\u042d\u0442\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u041c\u0420\u0422 \u0433\u043e\u043b\u043e\u0432\u043d\u043e\u0433\u043e \u043c\u043e\u0437\u0433\u0430, \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f RGB, \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u0430\u0436\u0434\u043e\u0433\u043e 256 \u043d\u0430 256. \u041d\u0430 \u044d\u0442\u0438\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438: \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0438 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438. \u042d\u0442\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u00a0 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 U-Net \u0441 7.76\u041c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u041c\u044b \u0432\u0437\u044f\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c <a href=\"https:\/\/github.com\/mateuszbuda\/brain-segmentation-pytorch\">\u0442\u0443\u0442<\/a>. \u041e\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438 \u0432\u044b\u0434\u0430\u0435\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438.\u00a0<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0438 \u0432 ResNet\u2019\u0430\u0445 \u043c\u044b \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 ReLU \u043d\u0430 ReLU6 \u0438 \u043e\u0442\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043b\u0438 \u0441\u0435\u0442\u044c. \u0420\u0430\u0437\u043c\u0435\u0440 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0431\u044b\u043b 5 \u0431\u0430\u0442\u0447\u0435\u0439 \u043f\u043e 10 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0414\u043b\u044f<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-379347","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/379347","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=379347"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/379347\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=379347"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=379347"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=379347"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}