{"id":452509,"date":"2025-03-21T03:00:09","date_gmt":"2025-03-21T03:00:09","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=452509"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=452509","title":{"rendered":"<span>Mask R-CNN 3D<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>1. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 Mask R-CNN 3D<\/h2>\n<p><strong>Mask R-CNN 3D<\/strong> \u2013 \u044d\u0442\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 Mask R-CNN \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (\u043e\u0431\u044a\u0451\u043c\u043d\u044b\u043c\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0438\u043b\u0438 \u043e\u0431\u043b\u0430\u043a\u0430\u043c\u0438 \u0442\u043e\u0447\u0435\u043a). \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f Mask R-CNN \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f instance segmentation (\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432) \u043d\u0430 2D-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u0438 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: (1) <strong>\u0441\u0435\u0442\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439<\/strong> (Region Proposal Network, RPN) \u0438 (2) <strong>\u0433\u043e\u043b\u043e\u0432\u044b<\/strong> (Head) \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0432\u0435\u0442\u0432\u044f\u043c\u0438 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0445 \u0440\u0430\u043c\u043e\u043a \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u0430\u0441\u043e\u043a . \u0412 \u0432\u0435\u0440\u0441\u0438\u0438 3D \u044d\u0442\u0430 \u0436\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u043d\u0430 \u0432 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e.<\/p>\n<p>\u0412\u0445\u043e\u0434\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 Mask R-CNN 3D \u043e\u0431\u044b\u0447\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u044a\u0451\u043c\u043d\u044b\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u2013 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0439 3D \u0441\u043d\u0438\u043c\u043e\u043a (CT\/MRI) \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c (D\u00d7H\u00d7W) \u0438\u043b\u0438 \u043e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0435 3D-\u0441\u0446\u0435\u043d\u0443. <strong>Backbone-\u0441\u0435\u0442\u044c<\/strong> (\u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0442\u0438\u043f\u0430 ResNet) \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0437 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438. \u0412 3D \u0432\u0435\u0440\u0441\u0438\u0438 backbone \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0441\u0435 2D-\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 (\u0441\u0432\u0435\u0440\u0442\u043a\u0438, \u043f\u0443\u043b\u0438\u043d\u0433) \u043d\u0430 3D-\u0430\u043d\u0430\u043b\u043e\u0433\u0438, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044f \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0431\u044a\u0451\u043c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. (\u0415\u0441\u043b\u0438 3D-\u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u043d\u044b \u043a\u0430\u043a \u043e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043e\u043a\u0441\u0435\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0438\u043b\u0438 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e 2D-\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0435\u0439 \u2013 \u043e\u0431 \u044d\u0442\u043e\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 6.) Backbone \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 <strong>\u043a\u0430\u0440\u0442\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/strong> \u2013 \u043e\u0431\u044a\u0451\u043c\u043d\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0441 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c, \u043d\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0441\u0446\u0435\u043d\u0435.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0432\u0441\u0442\u0443\u043f\u0430\u0435\u0442 <strong>Region Proposal Network (RPN)<\/strong> \u2013 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0441\u0435\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0430\u044f \u043f\u043e \u043a\u0430\u0440\u0442\u0430\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u043d\u0430\u0431\u043e\u0440 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 (region proposals) \u0432 \u0432\u0438\u0434\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0445 3D-\u0440\u0430\u043c\u043e\u043a (\u043f\u0440\u044f\u043c\u043e\u0443\u0433\u043e\u043b\u044c\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0435\u043f\u0438\u043f\u0435\u0434\u043e\u0432 \u0432 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430). RPN \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u00ab\u044f\u043a\u043e\u0440\u044f\u00bb (anchor boxes) \u2013 \u0448\u0430\u0431\u043b\u043e\u043d\u043d\u044b\u0435 3D-\u0431\u043e\u043a\u0441\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0438 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439 \u0441\u0442\u043e\u0440\u043e\u043d, \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u043d\u044b\u0435 \u043f\u043e \u0432\u0441\u0435\u0439 \u043a\u0430\u0440\u0442\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 . \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u0430\u043a\u043e\u0433\u043e anchor RPN \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u0432\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f: \u043e\u0431\u044a\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c (\u0435\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\/\u0444\u043e\u043d) \u0438 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0440\u0430\u043c\u043a\u0438 (\u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044c \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c anchor, \u0447\u0442\u043e\u0431\u044b \u0442\u043e\u0447\u043d\u0435\u0435 \u043e\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442). \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043f-N \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e non-maximum suppression (NMS) \u2013 \u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0440\u0430\u043c\u043e\u043a \u0441 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439.<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430 (RoI \u2013 Region of Interest) \u0432 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f <strong>RoI Align 3D<\/strong> \u2013 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0433\u0438\u043e\u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430. \u042d\u0442\u043e \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 RoI Align, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c Mask R-CNN , \u043d\u0430 \u0442\u0440\u0435\u0442\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440. RoI Align \u201c\u0432\u044b\u0440\u0435\u0437\u0430\u0435\u0442\u201d \u043f\u0430\u0442\u0447 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 3D-\u0440\u0430\u043c\u043a\u0435, \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u043a \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u0443  \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 (\u0442\u0440\u0435\u0445\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439) \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u0438, \u0431\u0435\u0437 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442. \u0417\u0430 \u0441\u0447\u0451\u0442 \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u043c\u0430\u0441\u043a\u0438 \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430, \u0431\u0435\u0437 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u0443 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 RoI Pooling . (\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0433\u043e\u0442\u043e\u0432\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 3D RoI Align \u0432 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u0445 \u0434\u043e\u043b\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e, \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0445 \u0435\u0451 \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0442 \u043a\u0430\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0443\u044e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u043d\u0430 C++\/CUDA (<\/p>\n<p><strong>\u0413\u043e\u043b\u043e\u0432\u0430 Mask R-CNN 3D<\/strong> \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0435 RoI-\u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438 \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0443. \u041a\u0430\u043a \u0438 \u0432 2D-\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435, \u0433\u043e\u043b\u043e\u0432\u0430 \u0438\u043c\u0435\u0435\u0442 \u0442\u0440\u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0432\u0435\u0442\u0432\u0438:<\/p>\n<ul>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u201c\u0444\u043e\u043d\u201d \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e RoI.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0435\u0433\u0440\u0435\u0441\u0441\u043e\u0440 \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u0442 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b 3D-\u0440\u0430\u043c\u043a\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 (\u0432\u044b\u0434\u0430\u0435\u0442 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0438 \u043a \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f RPN, \u0447\u0442\u043e\u0431\u044b \u043f\u043b\u043e\u0442\u043d\u0435\u0435 \u043e\u0431\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442).<\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u043c\u0430\u0441\u043a\u0430 \u2013 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0430\u044f \u0441\u0435\u0442\u044c-\u0434\u0435\u043a\u043e\u0434\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0437 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 RoI \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"32^3\" alt=\"32^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/efe\/7bc\/086\/efe7bc086d8aabc5b24bc1c4bf35eb97.svg\" width=\"28\" height=\"21\"\/> \u0432\u043e\u043a\u0441\u0435\u043b\u044f). \u041c\u0430\u0441\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430<\/strong> \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0412\u0430\u0436\u043d\u0430\u044f \u0434\u0435\u0442\u0430\u043b\u044c: \u0432 Mask R-CNN \u043d\u0435\u0442 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438 \u0437\u0430 \u043c\u0430\u0441\u043a\u0443 \u2013 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043c\u0430\u0441\u043a\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u0441\u043a\u0430 \u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0430\u043b \u043d\u0430\u0438\u0432\u044b\u0441\u0448\u0443\u044e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c RoI, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0444\u0438\u043d\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f: \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0447\u0435\u0440\u0435\u0437 NMS \u043e\u0442\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f (\u0440\u0430\u043c\u043a\u0430, \u043a\u043b\u0430\u0441\u0441, \u043c\u0430\u0441\u043a\u0430). \u041c\u0430\u0441\u043a\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0435\u0433\u043e \u0440\u0430\u043c\u043a\u0438 \u0438 \u0432\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043e\u0431\u044a\u0435\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u044b Mask R-CNN 3D \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441\u043f\u0438\u0441\u043e\u043a \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 3D-\u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438, 3D-\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c\u0438 \u0440\u0430\u043c\u043e\u043a \u0438 \u0432\u043e\u043a\u0441\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043c\u0430\u0441\u043a\u0430\u043c\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/008\/303\/959\/0083039598af703f08801d0419742e22.png\" alt=\"\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Mask R-CNN\" title=\"\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Mask R-CNN\" width=\"3320\" height=\"1872\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/008\/303\/959\/0083039598af703f08801d0419742e22.png\"\/><\/p>\n<div><figcaption>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Mask R-CNN<\/figcaption><\/div>\n<\/figure>\n<p>(\u041a\u043e\u0440\u043e\u0442\u043a\u043e \u0433\u043e\u0432\u043e\u0440\u044f, Mask R-CNN 3D \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0438\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0442\u0440\u0438 \u0437\u0430\u0434\u0430\u0447\u0438: \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 3D, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u0447\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0438\u0446 \u2013 \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e \u0432 \u0435\u0434\u0438\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435. \u0417\u0432\u0443\u0447\u0438\u0442 \u0441\u043b\u043e\u0436\u043d\u043e? \u041d\u0435 \u0432\u043e\u043b\u043d\u0443\u0439\u0442\u0435\u0441\u044c: \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u044d\u0442\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0436\u043e\u043d\u0433\u043b\u0435\u0440 \u2013 \u043e\u043d \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432 \u0432\u043e\u0437\u0434\u0443\u0445\u0435 \u0442\u0440\u0438 \u043c\u044f\u0447\u0430 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e, \u0445\u043e\u0442\u044f \u043f\u043e\u043d\u0430\u0447\u0430\u043b\u0443 \u044d\u0442\u043e \u0441\u0431\u0438\u0432\u0430\u0435\u0442 \u0441 \u0442\u043e\u043b\u043a\u0443 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u0435\u043b\u044f.)<\/p>\n<h2>2. \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0441\u043d\u043e\u0432\u0430<\/h2>\n<p>\u041e\u0441\u043d\u043e\u0432\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Mask R-CNN 3D \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043d\u043e\u0433\u043e\u0437\u0430\u0434\u0430\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u0441\u0440\u0430\u0437\u0443 \u0442\u0440\u0435\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u2013 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 (\u0440\u0430\u043c\u043e\u043a) \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u0430\u0441\u043e\u043a. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0433\u0438\u043e\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_i\" alt=\"R_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d5\/299\/f8c\/6d5299f8cd7fde9b1a5bf017cadef548.svg\" width=\"21\" height=\"20\"\/> (ROI) \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0447\u0430\u0441\u0442\u0438 \u043e\u0448\u0438\u0431\u043a\u0438:<\/p>\n<ul>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}_{cls}(i)\" alt=\"\\mathcal{L}_{cls}(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/75b\/d74\/74e\/75bd7474e53674f5730ece1be1459af1.svg\" width=\"73\" height=\"22\"\/>\u2013 \u043f\u043e\u0442\u0435\u0440\u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0443\u043b\u044c\u0442\u0438\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0430\u044f \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0430\u044f, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043b\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d \u043a\u043b\u0430\u0441\u0441 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0438\u043b\u0438 \u0444\u043e\u043d).<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}{box}(i)\" alt=\"\\mathcal{L}{box}(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/041\/ae4\/192\/041ae41926ac0017426a71218b449346.svg\" width=\"64\" height=\"22\"\/> \u2013 \u043f\u043e\u0442\u0435\u0440\u0438 \u043d\u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0440\u0430\u043c\u043a\u0438 (\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0440\u0430\u043c\u043a\u0430 \u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043b\u0430\u0441\u044c \u043e\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439; \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u0440\u0443\u0442 Smooth L1 loss, \u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u0443\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_1\" alt=\"L_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/627\/714\/8f6\/6277148f60a389e86ad9596156e0c1cf.svg\" width=\"22\" height=\"19\"\/>-\u043d\u043e\u0440\u043c\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0435\u043d\u0435\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c, \u0447\u0435\u043c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" L_2\" alt=\" L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/397\/b7d\/816\/397b7d816a7fc4b8b9a7a738da318bf4.svg\" width=\"22\" height=\"19\"\/>). \u041f\u0443\u0441\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0440\u0430\u043c\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v = (v_x, v_y, v_z, v_w, v_h, v_d)\" alt=\"v = (v_x, v_y, v_z, v_w, v_h, v_d)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/06b\/371\/36d\/06b37136dfd73a9e4391634ed081595a.svg\" width=\"206\" height=\"23\"\/>, \u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u2013 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t^{(c)}\" alt=\"t^{(c)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d8\/e51\/f95\/6d8e51f958bdf5be642f49a9047434fa.svg\" width=\"25\" height=\"22\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" = (t_x, t_y, t_z, t_w, t_h, t_d)\" alt=\" = (t_x, t_y, t_z, t_w, t_h, t_d)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/28f\/537\/78b\/28f53778b15cd74b91c07a24d11c11fc.svg\" width=\"177\" height=\"23\"\/> \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2e5\/8e7\/d61\/2e58e7d6188a467e851c80e9d1cc19aa.svg\" width=\"8\" height=\"12\"\/>; \u0442\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" (u=c)\" alt=\" (u=c)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0a2\/eb8\/f77\/0a2eb8f7783dc89368743302a708f8a5.svg\" width=\"60\" height=\"22\"\/> <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"ROI \\mathcal{L}{box} = \\sum_{j \\in {x,y,z,w,h,d}} \\text{Smooth}_{L1}(t_j - v_j)\" alt=\"ROI \\mathcal{L}{box} = \\sum_{j \\in {x,y,z,w,h,d}} \\text{Smooth}_{L1}(t_j - v_j)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b12\/426\/881\/b12426881d14dfc9388ca07319fb18c5.svg\" width=\"342\" height=\"48\"\/>. <\/p>\n<p>\u0414\u043b\u044f \u0444\u043e\u043d\u043e\u0432\u044b\u0445 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 (\u0431\u0435\u0437 \u043e\u0431\u044a\u0435\u043a\u0442\u0430) \u044d\u0442\u0430 \u0447\u0430\u0441\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f (\u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathbb{1}[u\\ge1]\" alt=\"\\mathbb{1}[u\\ge1]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/20e\/cb5\/683\/20ecb56837cbade8af3beee138998413.svg\" width=\"67\" height=\"22\"\/>).<\/p>\n<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}_{mask}(i)\" alt=\"\\mathcal{L}_{mask}(i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f6b\/69c\/aeb\/f6b69caebde72752b68f0a590a721cc1.svg\" width=\"70\" height=\"22\"\/> \u2013 \u043f\u043e\u0442\u0435\u0440\u0438 \u043d\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u0430\u0441\u043a\u0438. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e ROI \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u043c\u0430\u0441\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m\\times m\\times m\" alt=\"m\\times m\\times m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/406\/30c\/248\/40630c2487bea750c29f171615fbfe1a.svg\" width=\"98\" height=\"13\"\/>\u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u0430\u044f \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{Y}^c\" alt=\"\\hat{Y}^c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9a\/016\/050\/c9a01605000e0dcf68a0979843063592.svg\" width=\"23\" height=\"21\"\/> \u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Y\" alt=\"Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/368\/ee0\/602\/368ee0602ab08545c7c0caf756c040f8.svg\" width=\"15\" height=\"16\"\/> (\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/823\/06b\/e49\/82306be496edf4bd64f0b98440b54792.svg\" width=\"8\" height=\"12\"\/>): <\/p>\n<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}_{mask} = - \\frac{1}{m^3}\\sum_{x=1}^{m}\\sum_{y=1}^{m}\\sum_{z=1}^{m}\\Big[ Y(x,y,z)\\log \\hat{Y}^c(x,y,z) + (1 - Y(x,y,z))\\log(1-\\hat{Y}^c(x,y,z))\\Big]\" alt=\"\\mathcal{L}_{mask} = - \\frac{1}{m^3}\\sum_{x=1}^{m}\\sum_{y=1}^{m}\\sum_{z=1}^{m}\\Big[ Y(x,y,z)\\log \\hat{Y}^c(x,y,z) + (1 - Y(x,y,z))\\log(1-\\hat{Y}^c(x,y,z))\\Big]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d89\/4d7\/c73\/d894d7c73e1505cf847e7c5603228e99.svg\" width=\"733\" height=\"59\"\/><\/p>\n<\/li>\n<li>\n<p>\u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"Y(x,y,z)\\in{0,1}\" alt=\"Y(x,y,z)\\in{0,1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/961\/9615a4f39078e05e3f0d6ccfc7de2f4b.svg\" width=\"auto\" height=\"auto\"\/> \u2013 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u0438 \u0432 \u0432\u043e\u043a\u0441\u0435\u043b\u0435, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{Y}^c(x,y,z)\\in[0,1]\" alt=\"\\hat{Y}^c(x,y,z)\\in[0,1]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da9\/f15\/df4\/da9f15df4d76e4421f9a3650a93f49da.svg\" width=\"147\" height=\"26\"\/> \u2013 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443.<\/p>\n<\/li>\n<\/ul>\n<p>\u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u2013 \u0441\u0443\u043c\u043c\u0430 \u043f\u043e \u0432\u0441\u0435\u043c RoI (\u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f) \u0438 \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u0440\u0435\u043c \u0432\u0438\u0434\u0430\u043c \u043f\u043e\u0442\u0435\u0440\u044c:<\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}_{total} = \\sum_{i}^{\\text{RoIs}} \\big(\\mathcal{L}_{cls}(i) + \\mathbb{1}[u_i \\ge 1]\\;\\mathcal{L}_{box}(i) + \\mathbb{1}[u_i \\ge 1]\\;\\mathcal{L}_{mask}(i)\\big), \u0433\u0434\u0435 u_i=0 \" alt=\"\\mathcal{L}_{total} = \\sum_{i}^{\\text{RoIs}} \\big(\\mathcal{L}_{cls}(i) + \\mathbb{1}[u_i \\ge 1]\\;\\mathcal{L}_{box}(i) + \\mathbb{1}[u_i \\ge 1]\\;\\mathcal{L}_{mask}(i)\\big), \u0433\u0434\u0435 u_i=0 \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b0\/6d1\/24c\/6b06d124c6c6a624bc8330a6ec88a688.svg\" width=\"584\" height=\"60\"\/><\/p>\n<p>\u0434\u043b\u044f \u0444\u043e\u043d\u0430, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"u_i=k\" alt=\"u_i=k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a3\/a3a\/a3aa718499894ceca7c6376bb335517f.svg\" width=\"auto\" height=\"auto\"\/> \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a\u043b\u0430\u0441\u0441\u0430.<\/p>\n<p>\u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043f\u0435\u0440\u0435\u0434 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0440\u0430\u0432\u043d\u044b\u043c\u0438 1 (\u0438\u043b\u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c, \u0435\u0441\u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, mask loss \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0443\u043c\u043d\u043e\u0436\u0435\u043d \u043d\u0430 2).<\/p>\n<p><strong>Conv3D \u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0451\u0432.<\/strong> \u0412 3D-\u0432\u0435\u0440\u0441\u0438\u0438 \u0432\u0441\u0435 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0442\u0440\u0435\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0432\u0451\u0440\u0442\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"3\\times3\\times3\" alt=\"3\\times3\\times3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8dd\/3ee\/036\/8dd3ee0362272af2044e04dbb90dd0eb.svg\" width=\"76\" height=\"16\"\/> \u0441 \u0448\u0430\u0433\u043e\u043c (stride) 2 \u043f\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u0435, \u0432\u044b\u0441\u043e\u0442\u0435 \u0438 \u0448\u0438\u0440\u0438\u043d\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0431\u044a\u0451\u043c\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 2 \u0440\u0430\u0437\u0430 \u043f\u043e \u0432\u0441\u0435\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u043c. \u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0435\u0441\u043b\u0438 \u044f\u0434\u0440\u043e \u0441\u0432\u0451\u0440\u0442\u043a\u0438 W \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(k_d, k_h, k_w)\" alt=\"(k_d, k_h, k_w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b6\/968\/da8\/8b6968da8ffcb6b9ba6fa7bcec474bcf.svg\" width=\"93\" height=\"22\"\/>, \u0430 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043d\u043e\u0439 \u043e\u0431\u044a\u0451\u043c X \u0440\u0430\u0437\u043c\u0435\u0440\u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" (D, H, W)\" alt=\" (D, H, W)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec8\/212\/606\/ec82126062e4dbab838787de202f7bee.svg\" width=\"85\" height=\"22\"\/>, \u0442\u043e \u0432\u044b\u0445\u043e\u0434 \u0432 \u043f\u043e\u0437\u0438\u0446\u0438\u0438<\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(i,j,k)\" alt=\"(i,j,k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/888\/29f\/c2b\/88829fc2bfc21072fa8cd6b122602d7e.svg\" width=\"57\" height=\"22\"\/>: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Y(i,j,k) = \\sum_{p=1}^{k_d}\\sum_{q=1}^{k_h}\\sum_{r=1}^{k_w} W(p,q,r)\\cdot X(i+p-1,\\;j+q-1,\\;k+r-1) + b\" alt=\"Y(i,j,k) = \\sum_{p=1}^{k_d}\\sum_{q=1}^{k_h}\\sum_{r=1}^{k_w} W(p,q,r)\\cdot X(i+p-1,\\;j+q-1,\\;k+r-1) + b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e00\/0d5\/d7d\/e000d5d7deb7c8af1149e4acfcac3b59.svg\" width=\"597\" height=\"63\"\/>, <\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"b\" alt=\"b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/175\/c2a\/a8c\/175c2aa8cd41665573901666d770ce7c.svg\" width=\"8\" height=\"17\"\/>\u2013 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 (bias). \u042d\u0442\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430 2D-\u0441\u0432\u0435\u0440\u0442\u043a\u0435, \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0442\u0440\u0435\u0442\u044c\u0435\u043c\u0443 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/99d\/81f\/b79\/99d81fb79e79116997d04c72a5445d07.svg\" width=\"10\" height=\"15\"\/>. <\/p>\n<p>\u041f\u0443\u043b\u0438\u043d\u0433, BatchNorm \u0438 \u043f\u0440\u043e\u0447\u0438\u0435 \u0441\u043b\u043e\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u043d\u0430 3D. \u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e 3D-\u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u044b \u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0441\u0435\u0442\u0435\u0439 (\u0447\u0438\u0441\u043b\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432, \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0431\u043b\u043e\u043a\u043e\u0432) \u0438\u043d\u043e\u0433\u0434\u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 2D-\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0430\u0441\u044c \u0432 GPU.<\/p>\n<p><strong>Region Proposal Network (RPN).<\/strong> RPN \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0430\u0442\u044c \u0434\u0432\u0443\u0445\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 (\u043e\u0431\u044a\u0435\u043a\u0442\/\u043d\u0435 \u043e\u0431\u044a\u0435\u043a\u0442) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e anchor \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u0440\u0430\u043c\u043e\u043a. \u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0430\u043d\u043a\u043e\u0440\u044b (\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442, \u043e\u0431\u044b\u0447\u043d\u043e IoU \u0441 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u043c &gt; 0.7) \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 (\u043d\u0435\u0442 \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0442\u0438\u044f, IoU &lt; 0.3). \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c RPN \u0438\u043c\u0435\u0435\u0442 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043f\u043e\u0442\u0435\u0440\u044e (binary cross-entropy), \u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0440\u0430\u043c\u043e\u043a \u2013 Smooth L1 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439. \u042d\u0442\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043f\u043e\u0442\u0435\u0440\u044c RPN \u0442\u0430\u043a\u0436\u0435 \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 \u043e\u0431\u0449\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e (\u0438\u0445 \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442 \u0441 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438). \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0432 \u043a\u043e\u043d\u0446\u0435-\u043a\u043e\u043d\u0446\u043e\u0432 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u0443 \u0432\u0441\u0435\u0445 \u043e\u0448\u0438\u0431\u043e\u043a: \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 anchor, \u043d\u0435\u0442\u043e\u0447\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0438\u0446 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 \u043c\u0430\u0441\u043e\u043a \u0438 \u0442.\u0434. \u2013 \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/26c\/8b4\/77a\/26c8b477a68cc7a066ab25d5838931b1.png\" alt=\"\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0441 \u0440\u0430\u0431\u043e\u0442\u043e\u0439 RPN\" title=\"\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0441 \u0440\u0430\u0431\u043e\u0442\u043e\u0439 RPN\" width=\"682\" height=\"492\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/26c\/8b4\/77a\/26c8b477a68cc7a066ab25d5838931b1.png\"\/><\/p>\n<div><figcaption>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0441 \u0440\u0430\u0431\u043e\u0442\u043e\u0439 RPN<\/figcaption><\/div>\n<\/figure>\n<p>(\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u0445\u043e\u0442\u044c Mask R-CNN 3D \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u0443\u044e \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a, \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u043d\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f. \u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u2013 \u0445\u043e\u0440\u043e\u0448\u0430\u044f \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u044f 3D-\u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0441\u043b\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0433\u0440\u043e\u043c\u043e\u0437\u0434\u043a\u043e\u0439, \u043c\u043e\u0436\u043d\u043e \u0443\u0442\u0435\u0448\u0438\u0442\u044c \u0441\u0435\u0431\u044f \u043c\u044b\u0441\u043b\u044c\u044e: \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u201c\u0447\u0438\u0442\u0430\u0435\u0442\u201d \u044d\u0442\u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043d\u0435 \u043b\u0443\u0447\u0448\u0435 \u043d\u0430\u0441 \u0441 \u0432\u0430\u043c\u0438 \u2013 \u043e\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}_{total}\" alt=\"\\mathcal{L}_{total}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f15\/583\/9e4\/f155839e41607db5a2a1aeff293c3b03.svg\" width=\"43\" height=\"20\"\/> \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u043d\u0435 \u0437\u0430\u0434\u0430\u0432\u0430\u044f \u043b\u0438\u0448\u043d\u0438\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432!)<\/p>\n<h2>3. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438<\/h2>\n<p>\u0417\u0430\u0447\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0443\u0436\u0435\u043d Mask R-CNN 3D, \u0435\u0441\u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043e\u0431\u044a\u0435\u043c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445? \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0432\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0438\u0445 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c.<\/p>\n<h3>3.1 3D U-Net<\/h3>\n<p><strong>3D U-Net<\/strong> \u2013 \u044d\u0442\u043e, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0441\u0430\u043c\u044b\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u0434\u043b\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 3D-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. 3D U-Net \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u044d\u043d\u043a\u043e\u0434\u0435\u0440-\u0434\u0435\u043a\u043e\u0434\u0435\u0440, \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u044e\u0449\u0443\u044e 2D U-Net \u0420\u043e\u043d\u043d\u0435\u0431\u0435\u0440\u0433\u0435\u0440\u0430 \u0432 \u0442\u0440\u0435\u0442\u044c\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043e\u043d\u0430 \u0431\u0435\u0440\u0451\u0442 \u043e\u0431\u044a\u0435\u043c\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u0431\u044a\u0435\u043c\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0443 \u043c\u0435\u0442\u043e\u043a (\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f), \u043f\u043e\u043c\u0435\u0447\u0430\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u043a\u0441\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u043e\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0438\u043b\u0438 \u0444\u043e\u043d\u043e\u043c. \u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 3D U-Net:<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u043e\u043b\u043d\u043e\u0435 \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043f\u043e\u043b\u044f \u0437\u0440\u0435\u043d\u0438\u044f.<\/strong> U-Net \u0441\u043a\u0430\u043d\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u0451 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u043c\u0443 \u0440\u0435\u0446\u0435\u043f\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u043f\u043e\u043b\u044e. \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043f\u043e\u043d\u0438\u0436\u0430\u0435\u0442 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0437\u0430\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u2013 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0434\u0435\u0442\u0430\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043a\u0438\u043f-\u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439. \u0414\u043b\u044f 3D \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u043e\u0440\u0433\u0430\u043d\u0430\u043c\u0438 \u0438\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c\u0438 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043e\u0431\u044a\u0435\u043c\u0443 \u0441\u0440\u0430\u0437\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0435\u0442 \u044f\u0432\u043d\u044b\u0445 \u0440\u0430\u043c\u043e\u043a \u0438 \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u043e\u0432.<\/strong> \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 Mask R-CNN, U-Net \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u041e\u043d\u0430 \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043a\u0443 \u043a\u043b\u0430\u0441\u0441\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u043a\u0441\u0435\u043b\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 3D U-Net \u0440\u0435\u0448\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0441\u043a\u043e\u0440\u0435\u0435 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 (\u0432\u0441\u0435 \u043f\u0438\u043a\u0441\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0430 \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u044b), \u0447\u0435\u043c instance \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e <strong>\u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u044b<\/strong> \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0430\u0436\u0434\u0443\u044e \u043e\u043f\u0443\u0445\u043e\u043b\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e), U-Net \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u2013 \u043f\u043e\u0441\u043b\u0435 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043f\u043e\u0441\u0442\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u043c\u0435\u0442\u043a\u0435).<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0441\u0442\u043e\u0442\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/strong> \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 U-Net \u043e\u0434\u043d\u043e\u0437\u0430\u0434\u0430\u0447\u043d\u0430\u044f (\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u043e\u0449\u0435 \u2013 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u0444\u0442\u043c\u0430\u043a\u0441 \u0438 cross-entropy \u043f\u043e \u0432\u043e\u043a\u0441\u0435\u043b\u044f\u043c \u0438\u043b\u0438 Dice-\u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442. \u041d\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043c\u043d\u043e\u0433\u043e\u0437\u0430\u0434\u0430\u0447\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043a\u0430\u043a \u0443 Mask R-CNN. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0443\u043f\u0440\u043e\u0449\u0430\u0442\u044c \u043f\u043e\u0434\u0431\u043e\u0440 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0433\u0440\u0430\u043d\u0438\u0446.<\/strong> U-Net, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0441\u043a\u0438\u043f-\u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0432, \u043c\u043e\u0436\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0442\u043e\u0447\u043d\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0442\u043e\u043d\u043a\u0438\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0433\u0440\u0430\u043d\u0438\u0446 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u044f\u043c\u0430\u044f \u043f\u0438\u043a\u0441\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. Mask R-CNN \u0442\u043e\u0436\u0435 \u0441\u0442\u0430\u0440\u0430\u0435\u0442\u0441\u044f, \u043d\u043e \u043e\u043d\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0445 RoI \u0438 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043c\u0430\u0441\u043e\u0447\u043d\u043e\u0439 \u0432\u0435\u0442\u0432\u0438 (\u0447\u0430\u0441\u0442\u043e 28\u00d728 \u0432 2D, \u0438\u043b\u0438 32\u00d732\u00d732 \u0432 3D), \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u043b\u043a\u0438\u0445 \u0434\u0435\u0442\u0430\u043b\u0435\u0439.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 Mask R-CNN 3D \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 U-Net \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u043c \u0432\u0430\u0436\u043d\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u0442\u044c <strong>\u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e<\/strong>, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043c\u043e\u0433\u0443\u0442 \u0441\u043e\u043f\u0440\u0438\u043a\u0430\u0441\u0430\u0442\u044c\u0441\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043a\u043b\u0435\u0442\u043e\u043a \u0432 3D-\u043c\u0438\u043a\u0440\u043e\u0441\u043a\u043e\u043f\u0438\u0438: 3D U-Net \u043e\u043a\u0440\u0430\u0441\u0438\u0442 \u0432\u0441\u0435 \u043a\u043b\u0435\u0442\u043a\u0438 \u043e\u0434\u043d\u0438\u043c \u0446\u0432\u0435\u0442\u043e\u043c, \u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u043e \u0438\u0445 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0435\u0442\u043e\u0434\u043e\u043c Watershed), \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a Mask R-CNN \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u0434\u0430\u0441\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0441\u043a\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u043b\u0435\u0442\u043a\u0438. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, Mask R-CNN \u0438\u043c\u0435\u0435\u0442 \u044f\u0432\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0434\u043b\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0445 3D-\u0440\u0430\u043c\u043e\u043a, \u0447\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u043e, \u0435\u0441\u043b\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0433\u0440\u0443\u0431\u044b\u0435 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0438\u043b\u0438 \u0438\u0445 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 (\u0442\u0440acking, \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u0438 \u0442.\u043f.).<\/p>\n<p>\u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 Mask R-CNN 3D \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e U-Net: \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (\u043c\u043d\u043e\u0433\u043e\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u0431\u043e\u043b\u044c\u0448\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u2013 \u044f\u043a\u043e\u0440\u044f, thresholds NMS \u0438 \u0442.\u043f.), \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u043a \u043f\u0430\u043c\u044f\u0442\u0438 (\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u0440\u0442 + \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439) \u0438 \u0431\u043e\u043b\u0435\u0435 \u043d\u0438\u0437\u043a\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u0412 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0433\u0434\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0432\u0441\u0435\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430 \u0441 \u043e\u0434\u043d\u043e\u0439 \u043c\u0435\u0442\u043a\u043e\u0439 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0432\u0435\u0441\u044c \u043e\u0431\u044a\u0435\u043c \u043f\u0435\u0447\u0435\u043d\u0438 \u043d\u0430 \u041a\u0422), 3D U-Net \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0438 \u043f\u0440\u043e\u0449\u0435. \u041d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0445 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f\u0445 (BraTS \u043f\u043e \u043e\u043f\u0443\u0445\u043e\u043b\u044f\u043c \u043c\u043e\u0437\u0433\u0430, LiTS \u043f\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043f\u0435\u0447\u0435\u043d\u0438 \u0438 \u0442.\u0434.) 3D U-Net \u0438 \u0435\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u044e\u0442, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a Mask R-CNN 3D \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u0442\u043e\u0447\u0435\u0447\u043d\u043e \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u043b\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/feb\/143\/6d3\/feb1436d3d43c13fbbb72c185f7ecd1c.png\" alt=\"\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 U-Net 3D\" title=\"\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 U-Net 3D\" width=\"3415\" height=\"1924\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/feb\/143\/6d3\/feb1436d3d43c13fbbb72c185f7ecd1c.png\"\/><\/p>\n<div><figcaption>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 U-Net 3D<\/figcaption><\/div>\n<\/figure>\n<h3>3.2 Segment Anything Model (SAM)<\/h3>\n<p>Segment Anything Model 2 (SAM2) \u2013 \u044d\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0451\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f SAM \u043e\u0442 Meta AI, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043a\u0430\u043a \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0442\u0430\u043a \u0438 \u0432\u0438\u0434\u0435. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0438\u0437 1 \u043c\u043b\u0440\u0434 \u043c\u0430\u0441\u043e\u043a \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, SAM2 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439, \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0435\u0439 Hiera-\u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u043c\u043e\u0434\u0443\u043b\u044c \u043f\u0430\u043c\u044f\u0442\u0438 (Memory Bank) \u0438 Memory Attention, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0435\u0439 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u0430 \u043f\u0440\u0438 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435. \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u044d\u0442\u0438\u043c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c SAM2 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e-\u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432\u043e\u0439: \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e \u00ab\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u00bb, \u043e\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0443 \u2013 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u043e\u0447\u043a\u0443 \u0438\u043b\u0438 \u0440\u0430\u043c\u043a\u0443 \u2013 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043c\u0430\u0441\u043a\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0430, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442 \u0440\u0430\u043d\u0435\u0435 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0441\u044f \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043d\u0430\u0431\u043e\u0440\u0435.<\/p>\n<p>Mask R-CNN 3D vs SAM2: \u042d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0441\u043b\u0435\u0434\u0443\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0446\u0435\u043b\u0438. Mask R-CNN 3D \u2013 \u044d\u0442\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f, \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e supervised \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0432 3D, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0430\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u0439 \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u043e\u0432. SAM2 \u0436\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c zero-shot \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0442\u043e\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0431\u0435\u0437 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0430\u0432 \u0435\u043c\u0443 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0443. \u0425\u043e\u0442\u044f SAM2 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0434\u043b\u044f 2D-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0432\u0438\u0434\u0435\u043e, \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0443\u0436\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u0443\u044e\u0442 \u0435\u0451 \u0438\u0434\u0435\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 3D-\u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0442\u0438\u043f\u0430 SAM3D \u0438\u043b\u0438 SAM2Point \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 2D-\u043c\u0430\u0441\u043a\u0438 SAM2, \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u044f \u0438\u0445 \u0432 3D-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0438\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u044f 3D-\u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u0430\u043a \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u0438\u0434\u0435\u043e-\u043a\u0430\u0434\u0440\u043e\u0432 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f 3D-\u043c\u0430\u0441\u043e\u043a \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432.<\/p>\n<p>(\u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u044e, Mask R-CNN 3D \u2013 \u044d\u0442\u043e \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0445\u0438\u0440\u0443\u0440\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0447\u0451\u0442\u043a\u043e \u0432\u044b\u0440\u0435\u0437\u0430\u0435\u0442 \u043e\u0431\u044a\u0435\u043a\u0442 \u0442\u0430\u043c, \u0433\u0434\u0435 \u0435\u0433\u043e \u043e\u0431\u0443\u0447\u0438\u043b\u0438, \u0430 SAM2 \u2013 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0448\u0432\u0435\u0439\u0446\u0430\u0440\u0441\u043a\u0438\u0439 \u043d\u043e\u0436, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0439 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u0434\u0430\u0447, \u043d\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0432 3D \u043f\u043e\u043a\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u044f.)<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bd8\/4a7\/f54\/bd84a7f54e4fc30ac12d68518d738a91.png\" alt=\"SAM 2\" title=\"SAM 2\" width=\"1762\" height=\"444\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd8\/4a7\/f54\/bd84a7f54e4fc30ac12d68518d738a91.png\"\/><\/p>\n<div><figcaption>SAM 2<\/figcaption><\/div>\n<\/figure>\n<h2>4. \u041f\u0440\u043e\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0442\u044c<\/h2>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e, \u043a\u0430\u043a <strong>\u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 Mask R-CNN 3D<\/strong>, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u043e\u0442 \u0441\u044b\u0440\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430 (\u043e\u0431\u044a\u0451\u043c \u0438\u043b\u0438 \u043e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a) \u0438 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044f \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c\u0438. \u042d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u0439, \u043d\u043e \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0439:<\/p>\n<p><strong>\u0428\u0430\u0433 1. \u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0432\u0445\u043e\u0434\u0430.<\/strong> \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u043e\u0435 \u0442\u043e\u043c\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u2013 \u043a\u0443\u0431 \u0434\u0430\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"D\\times H\\times W\" alt=\"D\\times H\\times W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4b8\/b69\/110\/4b8b69110556697c0382c904ca986b2e.svg\" width=\"100\" height=\"17\"\/> \u0441 \u043e\u0442\u0442\u0435\u043d\u043a\u0430\u043c\u0438 \u0441\u0435\u0440\u043e\u0433\u043e (\u043e\u0434\u043d\u043e \u043a\u0430\u043d\u0430\u043b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Hounsfield units \u0432 \u041a\u0422). \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0435\u0433\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e\u0442 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043a \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"[0,1]\" alt=\"[0,1]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/326\/008\/2ef\/3260082ef34ddf1536bd3900a5ce67a1.svg\" width=\"39\" height=\"22\"\/>\u0438\u043b\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u0443\u044e\u0442 \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438). \u0417\u0430\u0442\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430 \u0438 \u043a\u0430\u043d\u0430\u043b\u043e\u0432, \u0438 \u0442\u0435\u043d\u0437\u043e\u0440 \u0444\u043e\u0440\u043c\u044b [B, C, D, H, W] \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0435\u0442\u044c. \u0415\u0441\u043b\u0438 \u0432\u0445\u043e\u0434 \u2013 <strong>\u043e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a<\/strong>, \u0442\u043e \u043f\u0440\u044f\u043c\u0430\u044f \u043f\u043e\u0434\u0430\u0447\u0430 \u0441\u043f\u0438\u0441\u043a\u0430 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 \u0432 Mask R-CNN \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u043e\u0436\u0438\u0434\u0430\u044e\u0442 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u0443\u044e \u0440\u0435\u0448\u0451\u0442\u043a\u0443. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b: (a) \u0432\u043e\u043a\u0441\u0435\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a \u2013 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043d\u0430 3D-\u0441\u0435\u0442\u043a\u0443 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 1 \u0441\u043c \u043a\u0443\u0431\u0438\u043a\u0438) \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u043e\u043a\u0441\u0435\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043d\u0437\u043e\u0440, \u0433\u0434\u0435 \u0432\u043e\u043a\u0441\u0435\u043b\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u0447\u0435\u043a \u0438\u043b\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a; (b) \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u043c\u0435\u0440 (\u0432\u0438\u0434\u043e\u0432) \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 2D Mask R-CNN \u043d\u0430 \u044d\u0442\u0438\u0445 \u0432\u0438\u0434\u0430\u0445, \u0430 \u043f\u043e\u0442\u043e\u043c \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c (\u043a\u0430\u043a \u0434\u0435\u043b\u0430\u043b\u0438 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0445 \u0441 RGB-D). \u0412 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043d\u0430 \u0432\u0445\u043e\u0434 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u043f\u043e\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043b\u0438\u0431\u043e 3D-\u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0432\u0438\u0434\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u0430 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043b\u0438\u0431\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 2D-\u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438.<\/p>\n<p><strong>\u0428\u0430\u0433 2. \u042d\u043a\u0441\u0442\u0440\u0430\u043a\u0446\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (backbone).<\/strong> \u0412\u0445\u043e\u0434\u043d\u043e\u0439 \u0442\u0435\u043d\u0437\u043e\u0440 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 backbone \u2013 \u043e\u0431\u044b\u0447\u043d\u043e \u044d\u0442\u043e 3D-\u0430\u043d\u0430\u043b\u043e\u0433\u0438 Residual Network. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 3D ResNet-50 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0440\u044f\u0434\u0430 \u0441\u043b\u043e\u0451\u0432 Conv3D + BatchNorm + ReLU, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u043d\u044b\u0445 \u0432 \u0431\u043b\u043e\u043a\u0438 \u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u044b\u043c\u0438 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f\u043c\u0438. \u0418\u0437-\u0437\u0430 \u043f\u0430\u043c\u044f\u0442\u0438 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 <strong>FPN (Feature Pyramid Network)<\/strong>: \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u0440\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u043d\u0430\u0448\u0430 \u0441\u0435\u0442\u044c \u0432\u044b\u0434\u0430\u043b\u0430 \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u0443 \u0438\u0437 3 \u0443\u0440\u043e\u0432\u043d\u0435\u0439: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"P_2\" alt=\"P_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ad9\/51c\/f89\/ad951cf899a75c3fe36c73cb0275442c.svg\" width=\"21\" height=\"19\"\/> \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(D\/4, H\/4, W\/4), P_3 \u0441 (D\/8, H\/8, W\/8)\" alt=\"(D\/4, H\/4, W\/4), P_3 \u0441 (D\/8, H\/8, W\/8)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b5\/48e\/8c4\/9b548e8c40715fb22ce169954ce27d1b.svg\" width=\"324\" height=\"22\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"P_4\" alt=\"P_4\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f8\/67c\/a5f\/5f867ca5f411f90bb9ee65da7edbf275.svg\" width=\"21\" height=\"19\"\/> \u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(D\/16, H\/16, W\/16) \" alt=\"(D\/16, H\/16, W\/16) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba1\/8df\/1a6\/ba18df1a6b659f468691556d0d173f95.svg\" width=\"172\" height=\"22\"\/>\u2013 \u0447\u0435\u043c \u0433\u043b\u0443\u0431\u0436\u0435, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u043d\u044b\u0435 \u0438 \u043c\u0435\u043b\u043a\u043e\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438. \u041a\u0430\u0436\u0434\u0430\u044f \u0442\u0430\u043a\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u0438\u043c\u0435\u0435\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 128 \u0438\u043b\u0438 256 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p><strong>\u0428\u0430\u0433 3. \u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f Region Proposals (RPN).<\/strong> \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u0430\u0440\u0442\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 RPN \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0438\u043c \u043e\u043a\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 Conv3D <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"1\\times1\\times1\" alt=\"1\\times1\\times1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a10\/b8f\/14c\/a10b8f14ccf8f5227ec7fdb70728b205.svg\" width=\"76\" height=\"16\"\/> \u0438 \u0432\u044b\u0434\u0430\u0451\u0442 \u0434\u0432\u0435 \u043a\u0430\u0440\u0442\u044b \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430: \u043e\u0434\u043d\u0443 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043e\u043a \u043e\u0431\u044a\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 1 \u043a\u0430\u043d\u0430\u043b<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\times\" alt=\"\\times\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c4\/ee1\/746\/2c4ee174673dcdb5d7938d52c4ad9532.svg\" width=\"15\" height=\"12\"\/> A \u0430\u043d\u043a\u043e\u0440\u043e\u0432, \u0433\u0434\u0435 A \u2013 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e anchor-\u0440\u0430\u043c\u043e\u043a \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432), \u0438 \u0434\u0440\u0443\u0433\u0443\u044e \u0434\u043b\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0440\u0430\u043c\u043e\u043a (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 6 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\times\" alt=\"\\times\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a89\/a98\/92a\/a89a9892a2720ef59fdb2e2d25d89a44.svg\" width=\"15\" height=\"12\"\/> A \u0430\u043d\u043a\u043e\u0440\u043e\u0432). \u0412 \u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u043e\u0447\u043a\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043c\u044b \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f RPN \u043a\u0430\u043a: anchor<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \u2116k\" alt=\" \u2116k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ed\/ad6\/9a5\/3edad69a55bf4648d4b4dc10ecfeb3f3.svg\" width=\"26\" height=\"21\"\/> \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u0431\u044a\u0435\u043a\u0442 (\u0434\u0430\/\u043d\u0435\u0442) \u0438 \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(\\Delta x,\\Delta y,\\Delta z,\\Delta d,\\Delta h,\\Delta w)\" alt=\"(\\Delta x,\\Delta y,\\Delta z,\\Delta d,\\Delta h,\\Delta w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dae\/4aa\/492\/dae4aa4923df42c27a3c299f8530f7de.svg\" width=\"219\" height=\"22\"\/> \u0434\u043b\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 anchor \u043f\u043e\u0434 \u043e\u0431\u044a\u0435\u043a\u0442. \u0417\u0430\u0442\u0435\u043c RPN \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0438\u0435 \u0430\u043d\u043a\u043e\u0440\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0442\u043e\u043f-N \u043f\u043e \u0441\u043a\u043e\u0440\u0443, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f NMS \u0432 3D: \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0435\u0441\u044f 3D-\u043e\u043a\u043d\u0430 \u0441 IoU &gt; 0.7 \u043e\u0442\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f, \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0435. \u0412 \u0438\u0442\u043e\u0433\u0435 RPN \u0432\u044b\u0434\u0430\u0451\u0442, \u0441\u043a\u0430\u0436\u0435\u043c, 100 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 3D-\u0440\u0430\u043c\u043e\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_1,\\dots,R_{100}\" alt=\"R_1,\\dots,R_{100}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/00b\/dac\/491\/00bdac491cb9e551ee85d82e8659e92d.svg\" width=\"103\" height=\"20\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u044b.<\/p>\n<p><strong>\u0428\u0430\u0433 4. RoI Align \u0438 \u0432\u044b\u0440\u0435\u0437\u043a\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/strong> \u041a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0431\u043e\u043a\u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_i\" alt=\"R_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dfa\/8c9\/8e6\/dfa8c98e68d30ea61920f6582b7ad828.svg\" width=\"21\" height=\"20\"\/> \u2013 \u044d\u0442\u043e \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u043c\u0443 \u043f\u043e\u0434\u043e\u0431\u043b\u0430\u043a\u0443 \u0432 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u044b (\u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u0438\u0440\u0430\u043c\u0438\u0434\u044b \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0431\u043e\u043a\u0441\u0430). \u041e\u043f\u0435\u0440\u0430\u0446\u0438\u044f RoI Align \u0431\u0435\u0440\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u043a\u0430\u0440\u0442\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u201c\u0432\u044b\u0440\u0435\u0437\u0430\u0435\u0442\u201d \u0438\u0437 \u043d\u0435\u0451 \u0442\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435, \u0447\u0442\u043e \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432\u043d\u0443\u0442\u0440\u044c \u0440\u0430\u043c\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_i\" alt=\"R_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/93b\/408\/840\/93b408840ced0655dd3a80a1f3bace13.svg\" width=\"21\" height=\"20\"\/>. \u0422\u0430\u043a \u043a\u0430\u043a \u0440\u0430\u043c\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 (\u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0446\u0435\u043b\u044b\u0435) \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0435\u0442\u043a\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u044f: \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u043a\u0443 \u0432\u044b\u0431\u043e\u0440\u043e\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"16\\times16\\times16\" alt=\"16\\times16\\times16\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/021\/833\/f5f\/021833f5f5330c43668f20d6c5f9fdf1.svg\" width=\"105\" height=\"16\"\/>, \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u0435\u0451 \u043d\u0430 \u043e\u0431\u043b\u0430\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_i\" alt=\"R_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/866\/056\/31b\/86605631b3d6c0999eb7b613a1a4f354.svg\" width=\"21\" height=\"20\"\/> \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0442\u0440\u0451\u0445\u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u044e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u044d\u0442\u0438\u0445 \u0442\u043e\u0447\u043a\u0430\u0445. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043d\u0437\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"C \\times 16 \\times 16 \\times 16\" alt=\"C \\times 16 \\times 16 \\times 16\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ded\/737\/09e\/ded73709e25887044894e57a06b6b4e4.svg\" width=\"143\" height=\"17\"\/> \u2013 <strong>\u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a RoI<\/strong>. \u042d\u0442\u043e\u0442 \u0442\u0435\u043d\u0437\u043e\u0440 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0451\u0432 (\u043e\u0431\u044b\u0447\u043d\u043e 2-3 \u0443\u0440\u043e\u0432\u043d\u044f Conv3D + ReLU) \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432 \u0433\u043e\u043b\u043e\u0432\u0435.<\/p>\n<p><strong>\u0428\u0430\u0433 5. \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0438 \u0440\u0430\u043c\u043e\u043a (\u0433\u043e\u043b\u043e\u0432\u0430 DetNet).<\/strong> \u041f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 RoI \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e (\u0447\u0435\u0440\u0435\u0437 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 Average Pooling 3D \u0438\u043b\u0438 \u0441\u0435\u0440\u0438\u044e \u0441\u0432\u0435\u0440\u0442\u043a\u043e\u043a \u0438 Flatten) \u0438 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u0432 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430. \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 (\u043e\u0431\u044b\u0447\u043d\u043e 2 \u0441\u043b\u043e\u044f: FC -&gt; ReLU -&gt; FC) \u0432\u044b\u0434\u0430\u0451\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K+1\" alt=\"K+1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a3\/1fc\/d07\/5a31fcd07ff025dd480a6755aecf8d53.svg\" width=\"50\" height=\"18\"\/> \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439: \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 RoI \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d1\/acd\/668\/2d1acd6683f47256a6934b77d948507d.svg\" width=\"17\" height=\"17\"\/> \u043a\u043b\u0430\u0441\u0441\u043e\u0432 + \u201c\u0444\u043e\u043d\u201d. \u0420\u0435\u0433\u0440\u0435\u0441\u0441\u043e\u0440 \u0440\u0430\u043c\u043e\u043a \u2013 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043e\u0431\u0449\u0438\u0435 FC-\u0441\u043b\u043e\u0438 \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c (\u0442\u043e \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u043e\u0432\u0430 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0430), \u043d\u043e \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u0439 \u0432\u044b\u0432\u043e\u0434: \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/189\/918\/68f\/18991868f099bda1fc0485ea82aed167.svg\" width=\"17\" height=\"17\"\/>\u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0432\u044b\u0434\u0430\u0451\u0442\u0441\u044f \u043f\u043e \u0441\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u043c\u043a\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0447\u0430\u0441\u0442\u043e \u0434\u0435\u043b\u0430\u044e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fcb\/519\/3eb\/fcb5193eba9787f29b2f506488fe0d68.svg\" width=\"17\" height=\"17\"\/> \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0440\u0435\u0448\u0438\u043b, \u0447\u0442\u043e RoI \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u043a\u043b\u0430\u0441\u0441\u0443 \u201c\u043f\u0435\u0447\u0435\u043d\u044c\u201d (\u0443\u0441\u043b\u043e\u0432\u043d\u043e \u043a\u043b\u0430\u0441\u0441 3), \u0442\u043e \u0431\u0435\u0440\u0451\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0430\u043c\u043a\u0438 \u0438\u0437 \u0441\u043b\u043e\u0442\u0430 3 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u043e\u0440\u0430 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0443\u0442\u043e\u0447\u043d\u0451\u043d\u043d\u0443\u044e 3D-\u0440\u0430\u043c\u043a\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0430.<\/p>\n<p><strong>\u0428\u0430\u0433 6. \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u0430\u0441\u043a\u0438.<\/strong> \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439\/\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0435\u0439, \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a RoI \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u043e\u043d\u043d\u0443\u044e \u0433\u043e\u043b\u043e\u0432\u0443 \u2013 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e Conv3D \u0441\u043b\u043e\u0451\u0432, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0441 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0435\u0440\u0435\u0437 \u0442\u0440\u0430\u043d\u0441\u043f\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u2013 deconv). \u0418\u0442\u043e\u0433\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u044a\u0451\u043c<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m\\times m\\times m\" alt=\"m\\times m\\times m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/113\/9fa\/71a\/1139fa71a72100ddea24572a06d9c70c.svg\" width=\"98\" height=\"13\"\/> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"32^3\" alt=\"32^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ae3\/61d\/8db\/ae361d8db22bd3724966e65ada77d79e.svg\" width=\"28\" height=\"21\"\/>) \u0434\u043b\u044f <strong>\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430<\/strong> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/59c\/a09\/bc2\/59ca09bc2cbaa7cbbcba9b29f03d93d1.svg\" width=\"17\" height=\"17\"\/>. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u0430\u0441\u043e\u0447\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0441\u043a\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430. \u041d\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c \u043c\u0430\u0441\u043a\u0438 \u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u043a \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u043e\u0431\u044a\u0435\u043a\u0442 \u2013 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f (\u043d\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 loss) . \u041f\u0440\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043c\u044b \u0431\u0435\u0440\u0451\u043c \u043c\u0430\u0441\u043a\u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0441\u0430\u043c\u043e\u043c\u0443 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443 \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0434\u043b\u044f RoI \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d \u043a\u043b\u0430\u0441\u0441 \u201c\u043f\u0435\u0447\u0435\u043d\u044c\u201d, \u0442\u043e \u0431\u0435\u0440\u0451\u043c \u043c\u0430\u0441\u043a\u0443 \u0438\u0437 \u043a\u0430\u043d\u0430\u043b\u0430, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0437\u0430 \u201c\u043f\u0435\u0447\u0435\u043d\u044c\u201d. \u042d\u0442\u0430 \u043c\u0430\u0441\u043a\u0430 \u2013 \u0432 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445 \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u043e\u0433\u043e RoI \u2013 \u0437\u0430\u0442\u0435\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 3D-\u0440\u0430\u043c\u043a\u0438 \u0438 \u0440\u0430\u0437\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0435\u0439 (\u043e\u0431\u044b\u0447\u043d\u043e \u0441 \u043f\u043e\u0440\u043e\u0433\u043e\u043c 0.5 \u043f\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435).<\/p>\n<p><strong>\u0428\u0430\u0433 7. \u041f\u043e\u0441\u0442\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438 \u0432\u044b\u0432\u043e\u0434.<\/strong> \u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e RoI \u0442\u0440\u043e\u0439\u043a\u0438 (\u043a\u043b\u0430\u0441\u0441, \u0443\u0442\u043e\u0447\u043d\u0451\u043d\u043d\u0430\u044f \u0440\u0430\u043c\u043a\u0430, \u043c\u0430\u0441\u043a\u0430) \u0443 \u043d\u0430\u0441 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u0438 \u0432 2D-\u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c Non-Maximum Suppression \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c: \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0441\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043f\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u044b, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 IoU \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u0441 \u0431\u043e\u043b\u0435\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u043c \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 0.5). \u041e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u043c\u0438 \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u044f\u043c\u0438. \u0418\u0445 \u043c\u0430\u0441\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u043b\u043e\u0436\u0438\u0442\u044c \u043d\u0430 \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u043e\u0431\u044a\u0451\u043c \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0447\u0442\u043e \u0432\u0445\u043e\u0434, \u043f\u043e\u043b\u0443\u0447\u0438\u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0432\u0441\u0435\u0445 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432.<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u201c\u0432\u0445\u043e\u0434 \u2013 \u0432\u044b\u0445\u043e\u0434\u201d \u0442\u0430\u043a\u043e\u0432: <strong>\u0432\u0445\u043e\u0434\u043d\u043e\u0439 3D-\u043e\u0431\u0440\u0430\u0437 -&gt; \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 -&gt; \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f (3D-\u0440\u0430\u043c\u043a\u0438) -&gt; \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 -&gt; \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f + \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f -&gt; \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f -&gt; \u043c\u0430\u0441\u043a\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432<\/strong>. \u0415\u0441\u043b\u0438 \u0432\u0445\u043e\u0434 \u2013 \u043e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a, \u0446\u0438\u043a\u043b \u0441\u0445\u043e\u0436: <strong>\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0442\u043e\u0447\u0435\u043a -&gt; \u043b\u0438\u0431\u043e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0432 \u0432\u043e\u043a\u0441\u0435\u043b\u0438 (\u0434\u0430\u043b\u0435\u0435 \u043a\u0430\u043a \u0432\u044b\u0448\u0435), \u043b\u0438\u0431\u043e \u043e\u0441\u043e\u0431\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430<\/strong>. \u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u043c\u0435\u0441\u0442\u043e Conv3D \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u043c\u043e\u0434\u0443\u043b\u0438 (PointNet, SparseConv \u2013 \u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b 6), \u0430 RoI Align \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0442\u043e\u0447\u0435\u043a \u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e 3D-\u0431\u043e\u043a\u0441\u0430 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0438\u0445 MLP-\u0441\u0435\u0442\u044c\u044e. \u0422\u0430\u043a\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043c\u0435\u0442\u043e\u0434\u0430\u0445 Region-based PointNet \u0438 GSPN \u0434\u043b\u044f 3D \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0445 \u043e\u0431\u043b\u0430\u043a\u043e\u0432, \u0433\u0434\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u044b \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u043c\u044b\u0435 \u0441\u0435\u0442\u044f\u043c\u0438. \u041d\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u044b \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0442\u0435\u043c\u0438 \u0436\u0435: \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0440\u0435\u0433\u0438\u043e\u043d, \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0442\u044c \u0435\u0433\u043e \u043a\u043b\u0430\u0441\u0441 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u0441\u043a\u0443 \u0442\u043e\u0447\u0435\u043a \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u0433\u043e.<\/p>\n<h2>5. \u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/h2>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0430\u0441\u043f\u0435\u043a\u0442\u044b \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 Mask R-CNN 3D. \u041c\u044b \u0441\u0444\u043e\u043a\u0443\u0441\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u0445 \u0438 \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u043c \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u044b\u0439 <strong>forward-pass \u043a\u043e\u0434<\/strong> \u043d\u0430 PyTorch, \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. \u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0438\u0437\u043d\u0443\u0442\u0440\u0438.<\/p>\n<h3>5.1 \u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0430\u0431\u043e\u0440 3D \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u0438 (\u043a\u0443\u0431\u044b \u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439 \u0438\u043b\u0438 \u0441\u043f\u0438\u0441\u043a\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432). \u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b, \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u043e\u0431\u044a\u0435\u043c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u2013 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0443\u0431 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"64\\times64\\times64\" alt=\"64\\times64\\times64\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/623\/f0d\/5af\/623f0d5af68f526667bb63e4c2105c7d.svg\" width=\"105\" height=\"17\"\/> \u0441 \u043d\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0444\u0435\u0440\u043e\u0439 (\u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0435\u0451 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u0430 1). \u041e\u0431\u044b\u0447\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 <strong>NIfTI, DICOM \u0438\u043b\u0438 NPZ<\/strong>. \u041c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043e\u0431\u044a\u0451\u043c \u0432 \u043f\u0430\u043c\u044f\u0442\u044c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 nibabel \u0438\u043b\u0438 SimpleITK \u0434\u043b\u044f \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432), \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c numpy-\u043c\u0430\u0441\u0441\u0438\u0432 \u0444\u043e\u0440\u043c\u044b (D, H, W), \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0442\u0435\u043d\u0437\u043e\u0440 PyTorch. \u0410\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Mask R-CNN \u0432\u043a\u043b\u044e\u0447\u0430\u043b\u0438 \u0431\u044b \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0440\u0430\u043c\u043e\u043a \u0438 \u0432\u043e\u043a\u0441\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0441\u043a\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043d\u043e \u0434\u043b\u044f forward-pass (\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430) \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u043a\u043e\u0434, \u0441\u043e\u0437\u0434\u0430\u044e\u0449\u0438\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u043e\u0431\u044a\u0435\u043c\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0449\u0438\u0439 \u0435\u0433\u043e \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<pre><code class=\"python\">import torch import torch.nn.functional as F  # \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 3D-\u043e\u0431\u044a\u0435\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0444\u0435\u0440\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0443\u0431\u0430) D, H, W = 64, 64, 64 x = torch.zeros((1, 1, D, H, W))  # \u0431\u0430\u0442\u0447=1, \u043a\u0430\u043d\u0430\u043b=1 # \u041d\u0430\u0440\u0438\u0441\u0443\u0435\u043c \u0441\u0444\u0435\u0440\u0443 \u0440\u0430\u0434\u0438\u0443\u0441\u0430 10 \u0432 \u0446\u0435\u043d\u0442\u0440\u0435 center = torch.tensor([D\/2, H\/2, W\/2]) for i in range(D):     for j in range(H):         for k in range(W):             if torch.dist(torch.tensor([i, j, k], dtype=torch.float32), center) &lt; 10:                 x[0, 0, i, j, k] = 1.0 # \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f (\u0443\u0436\u0435 0-1). \u0415\u0441\u043b\u0438 \u0431\u044b \u0431\u044b\u043b\u0438 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u0438, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0447\u0435\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 STD. <\/code><\/pre>\n<p>\u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0440\u0443\u0447\u043d\u043e\u0433\u043e \u0440\u0438\u0441\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043c\u044b \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0438 \u0431\u044b \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0443 \u043d\u0430\u0441 \u0442\u0435\u043d\u0437\u043e\u0440 x \u2013 \u044d\u0442\u043e \u0432\u0445\u043e\u0434 \u0441 \u043e\u0434\u043d\u0438\u043c \u043a\u0430\u043d\u0430\u043b\u043e\u043c. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f 1.0 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0444\u0435\u0440\u044b \u0438\u0433\u0440\u0430\u044e\u0442 \u0440\u043e\u043b\u044c \u0441\u0438\u0433\u043d\u0430\u043b\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c), \u0430 \u0444\u043e\u043d \u2013 0.0. \u041d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u044d\u0442\u0443 \u0441\u0444\u0435\u0440\u0443.<\/p>\n<h3>5.2 \u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f forward-pass \u043d\u0430 PyTorch<\/h3>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u044b\u0439 Mask R-CNN 3D. \u041c\u044b \u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043d\u043e\u0433\u043e\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u0443\u044e FPN, \u0441\u043b\u043e\u0436\u043d\u044b\u0439 RPN), \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435.<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b:<\/p>\n<ul>\n<li>\n<p>\u0412\u043e\u0437\u044c\u043c\u0451\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 <strong>backbone<\/strong>: \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e 3D-\u0441\u0432\u0451\u0440\u0442\u043e\u043a \u0441 \u043f\u0443\u043b\u0438\u043d\u0433\u043e\u043c, \u0431\u0435\u0437 Residual-\u0431\u043b\u043e\u043a\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u0432\u0440\u0443\u0447\u043d\u0443\u044e <strong>Region Proposal<\/strong> \u2013 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u043e\u0434\u0438\u043d \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 anchor \u0432\u043e \u0432\u0441\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u0435 \u0438\u043b\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u043f\u043e \u043f\u043e\u0440\u043e\u0433\u0443.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0434\u0435\u043b\u0430\u0435\u043c <strong>RoI Align<\/strong> \u0433\u0440\u0443\u0431\u043e\u0439 \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u0435\u0439 \u2013 \u0447\u0435\u0440\u0435\u0437 3D-\u043f\u0443\u043b\u0438\u043d\u0433 \u0438\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u044e PyTorch.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0432\u044b\u0445\u043e\u0434\u044b \u0433\u043e\u043b\u043e\u0432\u044b (\u043a\u043b\u0430\u0441\u0441 + \u043c\u0430\u0441\u043a\u0430).<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">import torch.nn as nn  class SimpleMaskRCNN3D(nn.Module):     def __init__(self, num_classes=2):         super().__init__()         # Backbone: 2 Conv3D \u0441\u043b\u043e\u044f \u0441 \u043f\u0443\u043b\u0438\u043d\u0433\u043e\u043c         self.conv1 = nn.Conv3d(1, 8, kernel_size=3, padding=1)   # \u0438\u0437 1 \u043a\u0430\u043d\u0430\u043b\u0430 \u0432 8         self.conv2 = nn.Conv3d(8, 16, kernel_size=3, padding=1)  # \u0438\u0437 8 \u0432 16         self.pool = nn.MaxPool3d(2)  # \u0431\u0443\u0434\u0435\u0442 \u0434\u0435\u043b\u0438\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043d\u0430 2         # ROI pooling size         self.roi_size = (16, 16, 16)         # Head: \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0442\u043e\u0440         # \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440         self.fc1 = nn.Linear(16 * (D\/\/4) * (H\/\/4) * (W\/\/4), 32)  # \u043f\u043e\u0441\u043b\u0435 \u0434\u0432\u0443\u0445 \u043f\u0443\u043b\u043b\u0438\u043d\u0433\u043e\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \/4         self.fc2 = nn.Linear(32, num_classes)  # \u0432\u044b\u0445\u043e\u0434 \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043a\u043b\u0430\u0441\u0441\u043e\u0432         # \u041c\u0430\u0441\u043a\u0430-\u0433\u043e\u043b\u043e\u0432\u0430 (\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e Conv3d \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0439 -&gt; \u0432\u044b\u0445\u043e\u0434\u043d\u0430\u044f \u043c\u0430\u0441\u043a\u0430 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430)         self.mask_conv1 = nn.Conv3d(16, 8, kernel_size=3, padding=1)         self.mask_conv2 = nn.Conv3d(8, 1, kernel_size=3, padding=1)  # \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c 1 \u043a\u0430\u043d\u0430\u043b \u043c\u0430\u0441\u043a\u0438 (\u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430)          def forward(self, x):         # Backbone forward         out = F.relu(self.conv1(x))         out = self.pool(out)            # \u0440\u0430\u0437\u043c\u0435\u0440\u044b: (D\/2, H\/2, W\/2)         out = F.relu(self.conv2(out))         features = self.pool(out)       # \u0440\u0430\u0437\u043c\u0435\u0440\u044b: (D\/4, H\/4, W\/4), \u043a\u0430\u043d\u0430\u043b=16                  # RPN (\u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e): \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u044c \u043e\u0431\u044a\u0435\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432         roi_feature = features  # \u0442.\u0435. \u043e\u0434\u043d\u0430 Region of Interest \u0440\u0430\u0432\u043d\u0430 \u0432\u0441\u0435\u0439 \u043a\u0430\u0440\u0442\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432                  # ROI Align (\u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e): \u0442\u0443\u0442 ROI == \u0432\u0435\u0441\u044c feature map, \u0442\u0430\u043a \u0447\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043c \u043a roi_size         # \u0415\u0441\u043b\u0438 \u0431\u044b roi_feature \u0431\u044b\u043b \u043c\u0435\u043d\u044c\u0448\u0435\/\u0431\u043e\u043b\u044c\u0448\u0435 roi_size, \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u0438\u0440\u0443\u0435\u043c:         roi_aligned = F.interpolate(roi_feature, size=self.roi_size, mode='trilinear', align_corners=False)                  # Flatten ROI features for classification head         flat = roi_aligned.view(1, -1)  # batch=1         cls_logits = self.fc2(F.relu(self.fc1(flat)))                  # Mask head: \u043f\u0440\u043e\u0433\u043d\u0430\u0442\u044c roi_aligned \u0447\u0435\u0440\u0435\u0437 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u043b\u043e\u0438         mask_feat = F.relu(self.mask_conv1(roi_aligned))         mask_logits = self.mask_conv2(mask_feat)  # \u0440\u0430\u0437\u043c\u0435\u0440: [1, 1, 16, 16, 16]         mask_probs = torch.sigmoid(mask_logits)   # \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 0-1 \u0432\u043d\u0443\u0442\u0440\u0438 ROI         return cls_logits, mask_probs  # \u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 model = SimpleMaskRCNN3D(num_classes=2) cls_out, mask_out = model(x) print(\"Logits \u043a\u043b\u0430\u0441\u0441\u043e\u0432:\", cls_out.detach().numpy()) print(\"\u0412\u044b\u0445\u043e\u0434 \u043c\u0430\u0441\u043a\u0438 shape:\", mask_out.shape) print(\"\u041c\u0430\u043a\u0441 \u0437\u043d\u0430\u0447. \u0432 \u043c\u0430\u0441\u043a\u0435:\", mask_out.max().item()) <\/code><\/pre>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043a\u043e\u0434\u0435 \u043c\u044b:<\/p>\n<ul>\n<li>\n<p><strong>Backbone:<\/strong> \u0434\u0432\u0430 \u0441\u043b\u043e\u044f Conv3d \u0441 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0435\u0439 ReLU \u0438 \u0434\u0432\u0430 MaxPool3d. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 features \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c [1, 16, D\/4, H\/4, W\/4] (\u0442.\u0435. <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"16\\times16\\times16\" alt=\"16\\times16\\times16\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab7\/b41\/0db\/ab7b410db0ce28abe76c5b47ffa3b7ff.svg\" width=\"105\" height=\"16\"\/> \u043f\u0440\u0438 \u043d\u0430\u0448\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"64^3\" alt=\"64^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/086\/ee7\/12c\/086ee712cc4352162313138b263d98e7.svg\" width=\"28\" height=\"21\"\/> \u0432\u0445\u043e\u0434\u0435).<\/p>\n<\/li>\n<li>\n<p><strong>RPN:<\/strong> \u043e\u0447\u0435\u043d\u044c \u0443\u043f\u0440\u043e\u0449\u0451\u043d \u2013 \u043c\u044b \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0435\u0441\u044c \u043e\u0431\u044a\u0435\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043e\u0434\u043d\u0438\u043c ROI. (\u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, RPN \u0434\u0430\u043b \u0431\u044b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 RPN: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u0432\u044b\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430, \u0431\u0435\u0440\u0435\u043c \u0432\u0435\u0441\u044c \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442. \u041d\u043e \u0434\u043b\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0449\u0435.)<\/p>\n<\/li>\n<li>\n<p><strong>RoI Align:<\/strong> \u0442\u0430\u043a \u043a\u0430\u043a ROI \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0441\u044c feature map, \u043d\u0430\u043c \u0434\u0430\u0436\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043a\u0440\u043e\u043f\u0430\u0442\u044c \u2013 \u043d\u043e \u043d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c F.interpolate \u043a roi_feature \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0434\u0430\u0442\u044c \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"16^3\" alt=\"16^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40e\/97b\/059\/40e97b059e15ff2b0991f06eac8b1274.svg\" width=\"28\" height=\"21\"\/>. \u0415\u0441\u043b\u0438 \u0431\u044b ROI \u0431\u044b\u043b \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u043e \u0431\u044b \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0440\u0435\u0437\u0430\u0442\u044c \u043f\u043e\u0434\u0442\u0435\u043d\u0437\u043e\u0440 features[:, :, z1:z2, y1:y2, x1:x2], \u0430 \u0437\u0430\u0442\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0434\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(16,16,16)\" alt=\"(16,16,16)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/480\/483\/fda\/480483fda371460d5599763daa62f410.svg\" width=\"90\" height=\"22\"\/>. PyTorch \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u044f\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 roi_align_3d, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f grid_sample \u0434\u043b\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0433\u043e ROI \u2013 \u044d\u0442\u043e \u0437\u0430 \u0440\u0430\u043c\u043a\u0430\u043c\u0438 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440:<\/strong> \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u043c roi_aligned \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u043c \u0447\u0435\u0440\u0435\u0437 \u0434\u0432\u0430 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0445 \u0441\u043b\u043e\u044f. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c logits \u043a\u043b\u0430\u0441\u0441\u043e\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, [logit_background, logit_object]). \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 Mask R-CNN \u0437\u0434\u0435\u0441\u044c \u0431\u044b\u043b \u0431\u044b softmax, \u0438 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0431\u044b \u043a\u043b\u0430\u0441\u0441 \u0441 argmax.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0430\u0441\u043a\u0430:<\/strong> \u0431\u0435\u0440\u0435\u043c roi_aligned, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043f\u0430\u0440\u0443 3D-\u0441\u0432\u0451\u0440\u0442\u043e\u043a. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 Conv3d \u0432\u044b\u0434\u0430\u0451\u0442 1 \u043a\u0430\u043d\u0430\u043b, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043c\u0430\u0441\u043a\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 (\u0432 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0438). \u041c\u044b \u0432\u0437\u044f\u043b\u0438 1, \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0431\u044b\u043b\u043e \u0431\u044b num_classes \u043a\u0430\u043d\u0430\u043b\u043e\u0432. \u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/99c\/5cd\/b96\/99c5cdb967311e4fe4d93584fa4751ef.svg\" width=\"11\" height=\"12\"\/> (\u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0443) \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439. \u0414\u043b\u044f \u043f\u043e\u0440\u043e\u0433\u043e\u0432\u043e\u0439 \u043c\u0430\u0441\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c mask = (mask_probs&gt;0.5).float().<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0432 \u044d\u0442\u043e\u0442 \u043a\u043e\u0434, \u043c\u044b \u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b\u0445\u043e\u0434:<\/p>\n<pre><code>Logits \u043a\u043b\u0430\u0441\u0441\u043e\u0432: [[-0.12, 0.85]] \u0412\u044b\u0445\u043e\u0434 \u043c\u0430\u0441\u043a\u0438 shape: torch.Size([1, 1, 16, 16, 16]) \u041c\u0430\u043a\u0441 \u0437\u043d\u0430\u0447. \u0432 \u043c\u0430\u0441\u043a\u0435: 0.99 <\/code><\/pre>\n<p>\u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e (\u043b\u043e\u0433\u0438\u0442 0.85 \u043f\u0440\u043e\u0442\u0438\u0432 -0.12) \u0432\u044b\u0431\u0440\u0430\u043b\u0430 \u043a\u043b\u0430\u0441\u0441 \u201c\u043e\u0431\u044a\u0435\u043a\u0442 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442\u201d, \u0438 \u043c\u0430\u0441\u043a\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043e 0.99, \u0447\u0442\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a 1 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u044b\u043b\u0430 \u043d\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u2013 \u043e\u043d\u0430 \u0432\u044b\u0434\u0430\u043b\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u043f\u043e \u0441\u0443\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041d\u043e \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u0435\u0435 <strong>\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043d\u0430 \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445<\/strong>, \u043e\u043d\u0430 \u043d\u0430\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0431\u044b \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0441\u043a\u0443 \u0442\u0430\u043c, \u0433\u0434\u0435 \u0431\u044b\u043b\u0430 \u0441\u0444\u0435\u0440\u0430.<\/p>\n<p>\u041a\u043e\u0434 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440, \u043f\u043e\u0442\u043e\u043c \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043e\u0431\u043b\u0430\u0441\u0442\u044c, \u0434\u0435\u043b\u0430\u0435\u043c \u0435\u0451 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c, \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u043c \u0435\u0451. \u041d\u0430\u0441\u0442\u043e\u044f\u0449\u0430\u044f Mask R-CNN \u0432 PyTorch \u0438\u043c\u0435\u043b\u0430 \u0431\u044b \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u0434\u0430: \u043f\u043e\u043b\u043d\u044b\u0439 RPN, \u043c\u043d\u043e\u0433\u043e ROI, \u0446\u0438\u043a\u043b \u043f\u043e ROI \u0432 \u0433\u043e\u043b\u043e\u0432\u0435, \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u044b\u0445\u043e\u0434\u044b \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c, \u0438 \u0442.\u0434. \u041e\u0434\u043d\u0430\u043a\u043e PyTorch \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0435 API: \u043c\u043e\u0434\u0443\u043b\u044c torchvision.ops.MultiScaleRoIAlign (\u0434\u043b\u044f 2D) \u0438 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 torchvision.models.detection.MaskRCNN (2D), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043d\u043a\u0430\u043f\u0441\u0443\u043b\u0438\u0440\u0443\u044e\u0442 \u044d\u0442\u0438 \u0434\u0435\u0442\u0430\u043b\u0438. \u0414\u043b\u044f 3D \u043f\u043e\u043a\u0430 \u043d\u0435\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e Mask R-CNN, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0434 2D-\u0432\u0435\u0440\u0441\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437 Matterport Mask R-CNN \u043d\u0430 Keras) \u043f\u043e\u0434 3D, \u043a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 open-source \u043f\u0440\u043e\u0435\u043a\u0442\u044b.<\/p>\n<p><strong>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u0439.<\/strong> \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c: (a) \u043c\u0430\u0441\u0441\u0438\u0432 anchor-\u043c\u0435\u0442\u043e\u043a \u0434\u043b\u044f RPN (\u043a\u0430\u043a\u0438\u0435 anchors \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435\/\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435), (b) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e ROI \u2013 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443 (\u043e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0440\u0435\u0437\u0430\u043d\u043d\u0443\u044e \u0438\u0437 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430 \u043f\u043e \u0433\u0440\u0430\u043d\u0438\u0446\u0430\u043c ROI \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043a \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u043c\u0430\u0441\u043a\u0438 \u0441\u0435\u0442\u0438). \u041a \u0441\u0447\u0430\u0441\u0442\u044c\u044e, \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0434\u0435\u043b\u0430\u044e\u0442 \u044d\u0442\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432 data loader\u2019\u0435. \u0424\u043e\u0440\u043c\u0430\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0434\u0435\u0442\u0435\u043a\u0446\u0438\u0438 \u0432 PyTorch \u2013 \u0441\u043b\u043e\u0432\u0430\u0440\u044c, \u0433\u0434\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0443\u043a\u0430\u0437\u0430\u043d\u044b boxes (\u0441\u043f\u0438\u0441\u043e\u043a \u0440\u0430\u043c\u043e\u043a) \u0438 masks (\u0431\u0438\u0442\u043e\u0432\u044b\u0435 \u043a\u0430\u0440\u0442\u044b) \u043f\u043b\u044e\u0441 labels. \u0414\u043b\u044f 3D \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0431\u044b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0432\u043e\u0439 Dataset, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0434\u0430\u0435\u0442 3D-\u0442\u0435\u043d\u0437\u043e\u0440 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u0439. \u042d\u0442\u043e \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0437\u0430 \u0440\u0430\u043c\u043a\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0443\u0440\u043e\u043a\u0430, \u043d\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c: \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0432\u0430\u0436\u043d\u043e, \u0447\u0435\u043c \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h2>6. \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 3D-\u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h2>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 3D-\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438 \u043f\u0440\u0435\u0434\u044a\u044f\u0432\u043b\u044f\u0435\u0442 \u043e\u0441\u043e\u0431\u044b\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u0431\u044a\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0432 2D. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 Mask R-CNN 3D \u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<h3>6.1 \u0412\u043e\u043a\u0441\u0435\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 vs \u043e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a<\/h3>\n<p>\u0422\u0438\u043f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f 3D-\u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c. <strong>\u0412\u043e\u043a\u0441\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/strong> (\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430) \u0443\u0434\u043e\u0431\u043d\u043e \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 3D-\u0441\u0432\u0451\u0440\u0442\u043a\u0438, \u043d\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u043c\u044f\u0442\u0438: \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0441\u0435\u0442\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N^3\" alt=\"N^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/76b\/76b\/16c\/76b76b16c01cc0c7e7126603d6d86b63.svg\" width=\"26\" height=\"21\"\/> \u0440\u0430\u0441\u0442\u0435\u0442 \u043a\u0443\u0431\u0438\u0447\u0435\u0441\u043a\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0431\u044a\u0451\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"256^3\" alt=\"256^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ea\/872\/235\/2ea87223578d1d46deabbd81ac6fa54f.svg\" width=\"38\" height=\"21\"\/> (\u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 MRI) \u2013 \u044d\u0442\u043e \u0443\u0436\u0435 16 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0432\u043e\u043a\u0441\u0435\u043b\u0435\u0439 * \u043d\u0430 \u0447\u0438\u0441\u043b\u043e \u043a\u0430\u043d\u0430\u043b\u043e\u0432. \u0415\u0441\u043b\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d float32, \u0442\u043e \u043e\u0434\u0438\u043d \u043e\u0431\u044a\u0435\u043c \u2013 64 \u041c\u0411, \u0430 feature maps \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0442\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0435\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 32 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u2013 ~2 \u0413\u0411). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u0431\u0435\u0433\u0430\u044e\u0442 \u043a:<\/p>\n<ul>\n<li>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044e \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/strong> \u0415\u0441\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043d\u0435 \u0432\u0435\u0441\u044c \u043e\u0431\u044a\u0451\u043c \u0441\u0440\u0430\u0437\u0443, \u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u044a\u0451\u043c (Region of Interest), \u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043a\u0443\u0431\u0438\u043a\u0430\u0445 (patches) \u0441 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0435\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 sliding window: \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044e\u0442 U-Net \u043d\u0430 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u0443\u0431-\u043e\u0431\u044a\u0435\u043c\u0430\u0445 64\u00b3 \u0438\u043b\u0438 128\u00b3, \u0430 \u0437\u0430\u0442\u0435\u043c \u0441\u0448\u0438\u0432\u0430\u044e\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435.<\/strong> \u0412\u043e \u043c\u043d\u043e\u0433\u0438\u0445 3D-\u0434\u043e\u043d\u0430\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u041b\u0438\u0434\u0430\u0440 \u043e\u0431\u043b\u0430\u043a\u0430 \u0442\u043e\u0447\u0435\u043a, \u0438\u043b\u0438 \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u044b \u0447\u0430\u0441\u0442\u0438\u0446) \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u044b \u2013 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u0443\u0441\u0442\u0430\u044f. \u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0438\u0434\u0435\u044f \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043d\u0435 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u043b\u043e\u0442\u043d\u044b\u0439 \u0442\u0435\u043d\u0437\u043e\u0440, \u0430 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u043d\u0435\u043f\u0443\u0441\u0442\u044b\u0445 \u0432\u043e\u043a\u0441\u0435\u043b\u0435\u0439. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438, \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0438\u0435 <strong>Sparse Convolution<\/strong> \u2013 \u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u043f\u043e \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0445\u043e\u0434\u044f\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u043f\u0443\u0441\u0442\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438. \u041f\u0440\u0438\u043c\u0435\u0440 \u2013 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 <strong>Minkowski Engine<\/strong> (Choy et al., 2019) \u0438 TorchSparse. \u041e\u043d\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c 3D CNN \u043a \u043e\u0431\u043b\u0430\u043a\u0430\u043c \u0442\u043e\u0447\u0435\u043a \u0431\u0435\u0437 \u0432\u043e\u043a\u0441\u0435\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u043f\u043b\u043e\u0442\u043d\u0443\u044e \u0441\u0435\u0442\u043a\u0443. \u0412 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 Mask R-CNN 3D \u044d\u0442\u043e \u043c\u043e\u0433\u043b\u043e \u0431\u044b \u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c: \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c SparseConv backbone, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u0435\u0441\u0442\u044c \u0442\u043e\u0447\u043a\u0438, \u0438 RPN, \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0441 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u043f\u0430\u043c\u044f\u0442\u044c \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0433\u043e\u0440\u043e\u0434\u0441\u043a\u0438\u0435 Lidar-\u043e\u0431\u043b\u0430\u043a\u0430, \u0433\u0434\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0447\u0435\u043a \u043d\u0435\u0432\u0435\u043b\u0438\u043a\u0430).<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a<\/strong> \u0441\u0430\u043c\u043e \u043f\u043e \u0441\u0435\u0431\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u0431\u0435\u0437 \u0432\u043e\u043a\u0441\u0435\u043b\u0435\u0439, \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0442\u0438\u043f\u0430 PointNet\/PointNet++: \u0441\u0435\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c \u043d\u0430 \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u0447\u043a\u0430\u0445. \u0415\u0441\u0442\u044c \u0432\u0435\u0440\u0441\u0438\u0438 instance segmentation \u0434\u043b\u044f \u043e\u0431\u043b\u0430\u043a\u043e\u0432 \u0442\u043e\u0447\u0435\u043a \u2013 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <strong>PointRCNN<\/strong> \u0438 <strong>PointMask<\/strong> \u2013 \u043e\u043d\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f 3D-\u0440\u0430\u043c\u043e\u043a \u043f\u0440\u044f\u043c\u043e \u0438\u0437 \u043d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u043b\u0430\u043a\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0445 MLP \u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438. \u0422\u0430\u043a\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043c\u0435\u043d\u0435\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b (\u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0432\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432 \u043d\u0438\u0445 mask-head \u043a\u0430\u043a \u0432 Mask R-CNN, \u0445\u043e\u0442\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0434\u0443\u0442 \u0432 \u044d\u0442\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438).<\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c, \u0432\u044b\u0431\u043e\u0440 \u043c\u0435\u0436\u0434\u0443 \u0432\u043e\u043a\u0441\u0435\u043b\u044f\u043c\u0438 \u0438 \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438: \u0434\u043b\u044f \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0432\u043e\u043a\u0441\u0435\u043b\u0438 (\u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u043d\u044b \u043d\u0430 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u0440\u0435\u0448\u0451\u0442\u043a\u0435 \u2013 \u0442\u043e\u043c\u043e\u0433\u0440\u0430\u0444\u0438\u044f), \u0434\u043b\u044f \u0441\u0446\u0435\u043d Lidar \u2013 \u043e\u0431\u043b\u0430\u043a\u0430 \u0442\u043e\u0447\u0435\u043a \u0438 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u0451\u0440\u0442\u043a\u0438.<\/p>\n<h3>6.2 \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 (\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435, \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c, GPU\/TPU)<\/h3>\n<p>\u041f\u0440\u0438 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 Mask R-CNN 3D \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d \u0432\u0430\u0436\u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u043a \u043f\u0430\u043c\u044f\u0442\u0438. \u0415\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u0445\u043d\u0438\u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p><strong>\u041a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 (quantization).<\/strong> \u041f\u0435\u0440\u0435\u0432\u043e\u0434 \u0432\u0435\u0441\u043e\u0432 \u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 32-\u0431\u0438\u0442\u043d\u044b\u0445 float \u0432 8-\u0431\u0438\u0442\u043d\u044b\u0435 \u0446\u0435\u043b\u044b\u0435 (INT8) \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043d\u0430 CPU \u0438 \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432 4 \u0440\u0430\u0437\u0430. \u0424\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 (PyTorch, TensorFlow) \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u0441\u0442-\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435. \u0412 3D \u0441\u0432\u0451\u0440\u0442\u043a\u0430\u0445 \u044d\u0442\u043e \u0441\u0442\u043e\u043b\u044c \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e, \u043a\u0430\u043a \u0438 \u0432 2D \u2013 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435 \u0436\u0435, \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0440\u0443\u0433\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e, \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0435\u0433\u043a\u0430 \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u043c\u0430\u0441\u043e\u0447\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0435\u0439 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0433\u0440\u0430\u043d\u0438\u0446. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0432 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445, \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u0430 \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u043f\u043e\u0442\u043e\u043a\u0435 3D-\u0434\u0430\u043d\u043d\u044b\u0445), INT8-\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u2013 \u043c\u043e\u0449\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442.<\/p>\n<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/970\/a1e\/169\/970a1e169791c9b56e3f138862b4a654.png\" width=\"720\" height=\"323\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/970\/a1e\/169\/970a1e169791c9b56e3f138862b4a654.png\"\/><\/figure>\n<\/li>\n<li>\n<p><strong>\u0410\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0430 GPU\/TPU.<\/strong> \u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 GPU (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, NVIDIA Ampere) \u0438\u043c\u0435\u044e\u0442 \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u044b\u0435 \u044f\u0434\u0440\u0430, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0434 matmul \u0438 conv \u0432 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 (Mixed Precision, float16). \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 3D \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0435\u0434\u0435\u0442\u0441\u044f \u0432 mixed precision (\u0447\u0435\u0440\u0435\u0437 torch.cuda.amp), \u0447\u0442\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438. \u041d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u043c\u0435\u043b\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c float16 \u0434\u043b\u044f \u0441\u0432\u0451\u0440\u0442\u043e\u043a \u2013 \u043c\u043e\u0434\u0435\u043b\u044c Mask R-CNN 3D, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043d\u0435 \u0441\u0442\u0440\u0430\u0434\u0430\u0435\u0442 \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0432 \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438, \u043d\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0435\u0442 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043d\u0430 Tensor Core). <strong>TPU<\/strong> \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u0435\u043b\u0438 (IPU, Habana) \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 3D-\u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u2013 \u0442\u0443\u0442 \u0432\u0441\u0451 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e, \u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443. \u0412 Google Cloud TPU, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u043b\u0438 3D U-Net \u0434\u043b\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u043e\u0437\u0433\u0430, \u0434\u043e\u0431\u0438\u0432\u0430\u044f\u0441\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c\u043e\u043c (TPU v3 \u0438\u043c\u0435\u0435\u0442 8 \u044f\u0434e\u0440 \u043f\u043e 16 GB, \u0447\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432).<\/p>\n<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9c7\/2a5\/1db\/9c72a51db17703572a7f59af08dd1d26.png\" width=\"1024\" height=\"622\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c7\/2a5\/1db\/9c72a51db17703572a7f59af08dd1d26.png\"\/><\/figure>\n<\/li>\n<li>\n<p><strong>\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u0438 \u043f\u0430\u043a\u0435\u0442\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430.<\/strong> \u0415\u0441\u043b\u0438 \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442, \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 3D \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u0430\u0447\u043a\u043e\u0439 (batch) \u043c\u043e\u0436\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c GPU. \u041d\u043e \u0447\u0430\u0441\u0442\u043e 3D \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u0443\u043f\u043d\u044b\u0435, \u0447\u0442\u043e batch=1 \u2013 \u043f\u043e\u0442\u043e\u043b\u043e\u043a. \u0422\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u0431\u0435\u0433\u0430\u044e\u0442 \u043a <strong>model parallel<\/strong> \u0438\u043b\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0435\u0436\u0434\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 GPU (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, backbone \u043d\u0430 \u043e\u0434\u043d\u043e\u043c, head \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c). \u0414\u043b\u044f Mask R-CNN 3D \u043c\u043e\u0436\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c GPU, \u0430 head (\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 RoI) \u2013 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u043b\u0438 RoI \u043c\u043d\u043e\u0433\u043e. \u041e\u0434\u043d\u0430\u043a\u043e, \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u043f\u0443\u0441\u043a \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439.<\/strong> \u0412 3D \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u043f\u0443\u0441\u0442\u043e\u0433\u043e \u0444\u043e\u043d\u0430. \u041c\u043e\u0436\u043d\u043e \u0432\u043d\u0435\u0434\u0440\u0438\u0442\u044c \u043b\u043e\u0433\u0438\u043a\u0443: \u0435\u0441\u043b\u0438 \u043d\u0430 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0432 \u0440\u0435\u0433\u0438\u043e\u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u044b (\u043f\u043e\u0447\u0442\u0438 \u043d\u0443\u043b\u0438), \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0435\u0433\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u0434\u043b\u044f mask prediction. \u0418\u043b\u0438 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 ROI: \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043d\u0443\u0436\u0435\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"32^3\" alt=\"32^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/11f\/7b7\/6c7\/11f7b76c7f1612daafbe81f435b25116.svg\" width=\"28\" height=\"21\"\/> \u2013 \u0434\u043b\u044f \u043c\u0435\u043b\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0445\u0432\u0430\u0442\u0438\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"16^3\" alt=\"16^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/238\/188\/3c0\/2381883c07daed0a869608827b83bf3f.svg\" width=\"28\" height=\"21\"\/>. \u0422\u0430\u043a\u0438\u0435 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0442\u0440\u0443\u0434\u043d\u0435\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445, \u043d\u043e \u043c\u043e\u0433\u0443\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0440\u0430\u0437\u043d\u043e\u043a\u0430\u043b\u0438\u0431\u0435\u0440\u043d\u044b\u0435.<\/p>\n<\/li>\n<\/ul>\n<h3>6.3 \u041d\u043e\u0432\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432 (PyTorch, TensorFlow) \u0434\u043b\u044f 3D<\/h3>\n<p>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 3D-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u0445 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f:<\/p>\n<ul>\n<li>\n<p><strong>PyTorch:<\/strong> \u041d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 ~1.10, \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u0430\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0430\u0432\u0442\u043e\u043a\u0433\u0440\u0430\u0434\u043e\u0432 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u0445 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0430\u043c\u044f\u0442\u0438. \u041f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <strong>TorchSparse, MinkowskiEngine<\/strong> (\u043d\u0435\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435), \u043e\u0431\u043b\u0435\u0433\u0447\u0430\u044e\u0449\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c\u0438 \u0441\u0432\u0451\u0440\u0442\u043a\u0430\u043c\u0438. \u0412 PyTorch 2.0 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440 torch.compile \u043c\u043e\u0436\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b grafo \u043a\u0430\u043a \u0434\u043b\u044f 2D, \u0442\u0430\u043a \u0438 3D, \u0443\u0431\u0438\u0440\u0430\u044f \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b Python \u2013 \u044d\u0442\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0433\u043e\u043b\u043e\u0432\u0443 Mask R-CNN, \u0433\u0434\u0435 \u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043b\u043a\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0441\u0447\u0451\u0442 NMS, \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432) \u0437\u0430 \u0441\u0447\u0435\u0442 \u0444\u044c\u044e\u0437\u0438\u043d\u0433\u0430. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, <strong>TorchVision<\/strong> \u043f\u043e\u043a\u0430 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 3D Mask R-CNN, \u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f \u0433\u043e\u0442\u043e\u0432\u044b\u0435 torchvision.models.detection.MaskRCNN3D \u0438\u043b\u0438, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u0441 MinkowskiEngine \u0434\u043b\u044f \u0431\u044d\u043a\u0431\u043e\u043d\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p><strong>TensorFlow:<\/strong> \u0412 TF \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c Conv3D, Pool3D \u0438 \u0434\u0440. \u0423\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 3D U-Net \u043d\u0430 Keras. \u0414\u043b\u044f Mask R-CNN 3D \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430 \u2013 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 RoI Align 3D \u0438 NMS 3D. \u0412 TensorFlow \u043c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c custom op \u043d\u0430 CUDA, \u0447\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0430\u0432\u0442\u043e\u0440\u044b \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0440\u0430\u0431\u043e\u0442 . TensorFlow 2.x \u0441 Keras \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e, \u0442\u0430\u043a \u0447\u0442\u043e \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u044b \u0442\u043e\u0436\u0435 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043b\u0438 Mask R-CNN logic \u043d\u0430 3D. \u0427\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f: <strong>XLA-\u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440<\/strong> \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0433\u0440\u0430\u0444 TF, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442\u044c 3D \u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u044f\u0434\u0440\u0430\u043c. \u0415\u0441\u0442\u044c \u043f\u0440\u043e\u0435\u043a\u0442 <strong>TensorFlow 3D<\/strong> \u2013 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043e\u0442 Google Research, \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u0438 3D \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043e\u043a\u0442\u0430\u0433\u043e\u043d\u043e\u0432, \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0441 \u043e\u0431\u043b\u0430\u043a\u0430\u043c\u0438 \u0442\u043e\u0447\u0435\u043a \u0438 \u043f\u0440.). \u041e\u043d \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 Keras, \u043e\u0431\u043b\u0435\u0433\u0447\u0430\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 end-to-end \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 3D \u0432\u0445\u043e\u0434\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>ONNX \u0438 TensorRT:<\/strong> \u0414\u043b\u044f \u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u043d\u0430 GPU-\u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445, 3D-\u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u044d\u043a\u0441\u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 ONNX \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 TensorRT. TensorRT \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 Conv3D, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u043c (\u0437\u0430 \u0441\u0447\u0451\u0442 \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439, \u0444\u044c\u044e\u0437\u0438\u043d\u0433\u0430 \u0441\u043b\u043e\u0451\u0432). \u041f\u0440\u0430\u0432\u0434\u0430, \u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u043a\u0443\u0441\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u0448\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f NMS \u0438\u043b\u0438 RoIAlign) \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043b\u0430\u0433\u0438\u043d\u0430\u043c\u0438, \u043b\u0438\u0431\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0442\u044c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c RoIAlign \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432 \u0440\u0435\u0441\u0430\u0439\u0437\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 ONNX\/TensorRT \u043f\u043e\u0439\u043c\u0451\u0442).<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0410\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f:<\/strong> \u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0442\u0435\u043d\u0434\u0435\u043d\u0446\u0438\u044f <strong>\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f 3D. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0435 <strong>One Transformer to Rule Them All<\/strong> \u2013 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u0435 \u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0438 \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0438 \u0442\u0435\u043a\u0441\u0442. \u041f\u043e\u043a\u0430 \u0447\u0442\u043e \u044d\u0442\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c, \u0447\u0442\u043e \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 \u0434\u043e\u0431\u0430\u0432\u044f\u0442 high-level \u0441\u043b\u043e\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043d\u0435\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u043c\u0438. \u0423\u0436\u0435 \u0441\u0435\u0439\u0447\u0430\u0441 PyTorch3D (\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Facebook) \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0443\u0434\u043e\u0431\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 3D \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0435\u0439, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 (\u0440\u0435\u043d\u0434\u0435\u0440\u0438\u043d\u0433, \u043f\u043e\u0438\u043d\u0442 \u043a\u043b\u0430\u0443\u0434). \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f <strong>\u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b \u0434\u043b\u044f 3D<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0443\u044e Conv3D \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443. \u041d\u043e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 Mask R-CNN 3D \u0438 3D U-Net \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u043c\u0438 \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043c\u043d\u043e\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438, \u0430 \u0438\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u2013 \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0431\u0430\u043b\u0430\u043d\u0441\u0430 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e.<\/p>\n<p>\u0418 \u043d\u0430\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u043a: \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f 3D-\u043c\u043e\u0434\u0435\u043b\u044c, \u0432\u0430\u0436\u043d\u043e \u043d\u0435 \u043f\u0435\u0440\u0435\u0443\u0441\u0435\u0440\u0434\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c. \u041a\u0430\u043a \u0433\u043b\u0430\u0441\u0438\u0442 \u0448\u0443\u0442\u043a\u0430, \u201c\u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0434, \u043d\u043e \u0438 \u0441\u0432\u043e\u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u201d. <\/p>\n<p>\u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0447\u0443\u0434\u0435\u0441 \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442: 3D-\u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0438 \u0434\u0430\u0436\u0435 \u0441\u0430\u043c\u044b\u0439 \u0445\u0438\u0442\u0440\u044b\u0439 \u0442\u0440\u044e\u043a \u043d\u0435 \u0441\u0434\u0435\u043b\u0430\u0435\u0442 \u0438\u0445 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043c\u043e\u0436\u0435\u0442 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u0432\u0430\u043c \u043d\u0435\u0434\u0435\u043b\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u2013 \u0430 \u044d\u0442\u043e \u0443\u0436\u0435 \u043d\u0435\u043c\u0430\u043b\u043e!<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/892892\/\"> https:\/\/habr.com\/ru\/articles\/892892\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>1. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 Mask R-CNN 3D<\/h2>\n<p><strong>Mask R-CNN 3D<\/strong> \u2013 \u044d\u0442\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 Mask R-CNN \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (\u043e\u0431\u044a\u0451\u043c\u043d\u044b\u043c\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0438\u043b\u0438 \u043e\u0431\u043b\u0430\u043a\u0430\u043c\u0438 \u0442\u043e\u0447\u0435\u043a). \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f Mask R-CNN \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f instance segmentation (\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432) \u043d\u0430 2D-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u0438 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: (1) <strong>\u0441\u0435\u0442\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439<\/strong> (Region Proposal Network, RPN) \u0438 (2) <strong>\u0433\u043e\u043b\u043e\u0432\u044b<\/strong> (Head) \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0432\u0435\u0442\u0432\u044f\u043c\u0438 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0445 \u0440\u0430\u043c\u043e\u043a \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u0430\u0441\u043e\u043a . \u0412 \u0432\u0435\u0440\u0441\u0438\u0438 3D \u044d\u0442\u0430 \u0436\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u043d\u0430 \u0432 \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e.<\/p>\n<p>\u0412\u0445\u043e\u0434\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438 Mask R-CNN 3D \u043e\u0431\u044b\u0447\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u044a\u0451\u043c\u043d\u044b\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u2013 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0439 3D \u0441\u043d\u0438\u043c\u043e\u043a (CT\/MRI) \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c (D\u00d7H\u00d7W) \u0438\u043b\u0438 \u043e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0435 3D-\u0441\u0446\u0435\u043d\u0443. <strong>Backbone-\u0441\u0435\u0442\u044c<\/strong> (\u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0442\u0438\u043f\u0430 ResNet) \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u0437 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438. \u0412 3D \u0432\u0435\u0440\u0441\u0438\u0438 backbone \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0441\u0435 2D-\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 (\u0441\u0432\u0435\u0440\u0442\u043a\u0438, \u043f\u0443\u043b\u0438\u043d\u0433) \u043d\u0430 3D-\u0430\u043d\u0430\u043b\u043e\u0433\u0438, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044f \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0431\u044a\u0451\u043c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. (\u0415\u0441\u043b\u0438 3D-\u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u043d\u044b \u043a\u0430\u043a \u043e\u0431\u043b\u0430\u043a\u043e \u0442\u043e\u0447\u0435\u043a, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043e\u043a\u0441\u0435\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0438\u043b\u0438 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e 2D-\u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0435\u0439 \u2013 \u043e\u0431 \u044d\u0442\u043e\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 6.) Backbone \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 <strong>\u043a\u0430\u0440\u0442\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/strong> \u2013 \u043e\u0431\u044a\u0451\u043c\u043d\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0441 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c, \u043d\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0441\u0446\u0435\u043d\u0435.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0432\u0441\u0442\u0443\u043f\u0430\u0435\u0442 <strong>Region Proposal Network (RPN)<\/strong> \u2013 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0441\u0435\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0430\u044f \u043f\u043e \u043a\u0430\u0440\u0442\u0430\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u043d\u0430\u0431\u043e\u0440 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 (region proposals) \u0432 \u0432\u0438\u0434\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0445 3D-\u0440\u0430\u043c\u043e\u043a (\u043f\u0440\u044f\u043c\u043e\u0443\u0433\u043e\u043b\u044c\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0435\u043f\u0438\u043f\u0435\u0434\u043e\u0432 \u0432 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430). RPN \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u00ab\u044f\u043a\u043e\u0440\u044f\u00bb (anchor boxes) \u2013 \u0448\u0430\u0431\u043b\u043e\u043d\u043d\u044b\u0435 3D-\u0431\u043e\u043a\u0441\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0438 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439 \u0441\u0442\u043e\u0440\u043e\u043d, \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u043d\u044b\u0435 \u043f\u043e \u0432\u0441\u0435\u0439 \u043a\u0430\u0440\u0442\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 . \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u0430\u043a\u043e\u0433\u043e anchor RPN \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u0432\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f: \u043e\u0431\u044a\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c (\u0435\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\/\u0444\u043e\u043d) \u0438 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0440\u0430\u043c\u043a\u0438 (\u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044c \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c anchor, \u0447\u0442\u043e\u0431\u044b \u0442\u043e\u0447\u043d\u0435\u0435 \u043e\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442). \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043f-N \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e non-maximum suppression (NMS) \u2013 \u043f\u043e\u0434\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0440\u0430\u043c\u043e\u043a \u0441 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439.<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430 (RoI \u2013 Region of Interest) \u0432 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u0445 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f <strong>RoI Align 3D<\/strong> \u2013 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0433\u0438\u043e\u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430. \u042d\u0442\u043e \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 RoI Align, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c Mask R-CNN , \u043d\u0430 \u0442\u0440\u0435\u0442\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440. RoI Align \u201c\u0432\u044b\u0440\u0435\u0437\u0430\u0435\u0442\u201d \u043f\u0430\u0442\u0447 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 3D-\u0440\u0430\u043c\u043a\u0435, \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u043a \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u0443  \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 (\u0442\u0440\u0435\u0445\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439) \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u0438, \u0431\u0435\u0437 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442. \u0417\u0430 \u0441\u0447\u0451\u0442 \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u043c\u0430\u0441\u043a\u0438 \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0451\u043c\u0430, \u0431\u0435\u0437 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u0443 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 RoI Pooling . (\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0433\u043e\u0442\u043e\u0432\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 3D RoI Align \u0432 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u0445 \u0434\u043e\u043b\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e, \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0445 \u0435\u0451 \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0442 \u043a\u0430\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0443\u044e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e \u043d\u0430 C++\/CUDA (<\/p>\n<p><strong>\u0413\u043e\u043b\u043e\u0432\u0430 Mask R-CNN 3D<\/strong> \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0435 RoI-\u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438 \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0443. \u041a\u0430\u043a \u0438 \u0432 2D-\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435, \u0433\u043e\u043b\u043e\u0432\u0430 \u0438\u043c\u0435\u0435\u0442 \u0442\u0440\u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0432\u0435\u0442\u0432\u0438:<\/p>\n<ul>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u201c\u0444\u043e\u043d\u201d \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e RoI.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0435\u0433\u0440\u0435\u0441\u0441\u043e\u0440 \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u0442 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b 3D-\u0440\u0430\u043c\u043a\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 (\u0432\u044b\u0434\u0430\u0435\u0442 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0438 \u043a \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f RPN, \u0447\u0442\u043e\u0431\u044b \u043f\u043b\u043e\u0442\u043d\u0435\u0435 \u043e\u0431\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442).<\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u043c\u0430\u0441\u043a\u0430 \u2013 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0430\u044f \u0441\u0435\u0442\u044c-\u0434\u0435\u043a\u043e\u0434\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0437 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 RoI \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043c\u0430\u0441\u043a\u0443 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043e\u043a\u0441\u0435\u043b\u044f). \u041c\u0430\u0441\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430<\/strong> \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0412\u0430\u0436\u043d\u0430\u044f \u0434\u0435\u0442\u0430\u043b\u044c: \u0432 Mask R-CNN \u043d\u0435\u0442 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438 \u0437\u0430 \u043c\u0430\u0441\u043a\u0443 \u2013 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043c\u0430\u0441\u043a\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u0441\u043a\u0430 \u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0430\u043b \u043d\u0430\u0438\u0432\u044b\u0441\u0448\u0443\u044e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c RoI, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0444\u0438\u043d\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f: \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0447\u0435\u0440\u0435\u0437 NMS \u043e\u0442\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f (\u0440\u0430\u043c\u043a\u0430, \u043a\u043b\u0430\u0441\u0441, \u043c\u0430\u0441\u043a\u0430). \u041c\u0430\u0441\u043a\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0435\u0433\u043e \u0440\u0430\u043c\u043a\u0438 \u0438 \u0432\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043e\u0431\u044a\u0435\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u044b Mask R-CNN 3D \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441\u043f\u0438\u0441\u043e\u043a \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 3D-\u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438, 3D-\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c\u0438 \u0440\u0430\u043c\u043e\u043a \u0438 \u0432\u043e\u043a\u0441\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043c\u0430\u0441\u043a\u0430\u043c\u0438.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Mask R-CNN<\/figcaption><\/div>\n<\/figure>\n<p>(\u041a\u043e\u0440\u043e\u0442\u043a\u043e \u0433\u043e\u0432\u043e\u0440\u044f, Mask R-CNN 3D \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0438\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0442\u0440\u0438 \u0437\u0430\u0434\u0430\u0447\u0438: \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 3D, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0438 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u0447\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0438\u0446 \u2013 \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e \u0432 \u0435\u0434\u0438\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435. \u0417\u0432\u0443\u0447\u0438\u0442 \u0441\u043b\u043e\u0436\u043d\u043e? \u041d\u0435 \u0432\u043e\u043b\u043d\u0443\u0439\u0442\u0435\u0441\u044c: \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u044d\u0442\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0436\u043e\u043d\u0433\u043b\u0435\u0440 \u2013 \u043e\u043d \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432 \u0432\u043e\u0437\u0434\u0443\u0445\u0435 \u0442\u0440\u0438 \u043c\u044f\u0447\u0430 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e, \u0445\u043e\u0442\u044f \u043f\u043e\u043d\u0430\u0447\u0430\u043b\u0443 \u044d\u0442\u043e \u0441\u0431\u0438\u0432\u0430\u0435\u0442 \u0441 \u0442\u043e\u043b\u043a\u0443 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u0435\u043b\u044f.)<\/p>\n<h2>2. \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0441\u043d\u043e\u0432\u0430<\/h2>\n<p>\u041e\u0441\u043d\u043e\u0432\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Mask R-CNN 3D \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043d\u043e\u0433\u043e\u0437\u0430\u0434\u0430\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u0441\u0440\u0430\u0437\u0443 \u0442\u0440\u0435\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u2013 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 (\u0440\u0430\u043c\u043e\u043a) \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u0430\u0441\u043e\u043a. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0433\u0438\u043e\u043d\u0430  (ROI) \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0447\u0430\u0441\u0442\u0438 \u043e\u0448\u0438\u0431\u043a\u0438:<\/p>\n<ul>\n<li>\n<p>\u2013 \u043f\u043e\u0442\u0435\u0440\u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0443\u043b\u044c\u0442\u0438\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0430\u044f \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0430\u044f, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043b\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d \u043a\u043b\u0430\u0441\u0441 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0438\u043b\u0438 \u0444\u043e\u043d).<\/p>\n<\/li>\n<li>\n<p> \u2013 \u043f\u043e\u0442\u0435\u0440\u0438 \u043d\u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0440\u0430\u043c\u043a\u0438 (\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0440\u0430\u043c\u043a\u0430 \u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043b\u0430\u0441\u044c \u043e\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439; \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u0440\u0443\u0442 Smooth L1 loss, \u0441\u0433\u043b\u0430\u0436\u0435\u043d\u043d\u0443\u044e -\u043d\u043e\u0440\u043c\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0435\u043d\u0435\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c, \u0447\u0435\u043c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439). \u041f\u0443\u0441\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0440\u0430\u043c\u043a\u0438 , \u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u2013  \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0430 ; \u0442\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e <\/p>\n<p>. <\/p>\n<p>\u0414\u043b\u044f \u0444\u043e\u043d\u043e\u0432\u044b\u0445 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 (\u0431\u0435\u0437 \u043e\u0431\u044a\u0435\u043a\u0442\u0430) \u044d\u0442\u0430 \u0447\u0430\u0441\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f (\u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 ).<\/p>\n<\/p>\n<\/li>\n<li>\n<p> \u2013 \u043f\u043e\u0442\u0435\u0440\u0438 \u043d\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043c\u0430\u0441\u043a\u0438. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e ROI \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u043c\u0430\u0441\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u0430\u044f \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u043e\u0439  \u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u043e\u0439  (\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443 ): <\/p>\n<\/p>\n<\/li>\n<li>\n<\/li>\n<li>\n<p>\u0417\u0434\u0435\u0441\u044c  \u2013 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 \u043c\u0430\u0441\u043a\u0438 \u0432 \u0432\u043e\u043a\u0441\u0435\u043b\u0435, \u0430  \u2013 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443.<\/p>\n<\/li>\n<\/ul>\n<p>\u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u2013 \u0441\u0443\u043c\u043c\u0430 \u043f\u043e \u0432\u0441\u0435\u043c RoI (\u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f) \u0438 \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u0440\u0435\u043c \u0432\u0438\u0434\u0430\u043c \u043f\u043e\u0442\u0435\u0440\u044c:<\/p>\n<\/p>\n<p>\u0434\u043b\u044f \u0444\u043e\u043d\u0430, \u0430  \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a\u043b\u0430\u0441\u0441\u0430.<\/p>\n<p>\u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043f\u0435\u0440\u0435\u0434 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0440\u0430\u0432\u043d\u044b\u043c\u0438 1 (\u0438\u043b\u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c, \u0435\u0441\u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, mask loss \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0443\u043c\u043d\u043e\u0436\u0435\u043d \u043d\u0430 2).<\/p>\n<p><strong>Conv3D \u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0451\u0432.<\/strong> \u0412 3D-\u0432\u0435\u0440\u0441\u0438\u0438 \u0432\u0441\u0435 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0442\u0440\u0435\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0432\u0451\u0440\u0442\u043a\u0430  \u0441 \u0448\u0430\u0433\u043e\u043c (stride) 2 \u043f\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u0435, \u0432\u044b\u0441\u043e\u0442\u0435 \u0438 \u0448\u0438\u0440\u0438\u043d\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0431\u044a\u0451\u043c\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 2 \u0440\u0430\u0437\u0430 \u043f\u043e \u0432\u0441\u0435\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u043c. \u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0435\u0441\u043b\u0438 \u044f\u0434\u0440\u043e \u0441\u0432\u0451\u0440\u0442\u043a\u0438 W \u0440\u0430\u0437\u043c\u0435\u0440\u0430 , \u0430 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043d\u043e\u0439 \u043e\u0431\u044a\u0451\u043c X \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0442\u043e \u0432\u044b\u0445\u043e\u0434 \u0432 \u043f\u043e\u0437\u0438\u0446\u0438\u0438<\/p>\n<p> : , <\/p>\n<p>\u0433\u0434\u0435 \u2013 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 (bias). \u042d\u0442\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430 2D-\u0441\u0432\u0435\u0440\u0442\u043a\u0435, \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0442\u0440\u0435\u0442\u044c\u0435\u043c\u0443 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044e . <\/p>\n<p>\u041f\u0443\u043b\u0438\u043d\u0433, BatchNorm \u0438 \u043f\u0440\u043e\u0447\u0438\u0435 \u0441\u043b\u043e\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u043d\u0430 3D. \u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e 3D-\u0441\u0432\u0451\u0440\u0442\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u044b \u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0441\u0435\u0442\u0435\u0439 (\u0447\u0438\u0441\u043b\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432, \u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u0431\u043b\u043e\u043a\u043e\u0432) \u0438\u043d\u043e\u0433\u0434\u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 2D-\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0430\u0441\u044c \u0432 GPU.<\/p>\n<p><strong>Region Proposal Network (RPN).<\/strong> RPN \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0430\u0442\u044c \u0434\u0432\u0443\u0445\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 (\u043e\u0431\u044a\u0435\u043a\u0442\/\u043d\u0435 \u043e\u0431\u044a\u0435\u043a\u0442) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e anchor \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u0440\u0430\u043c\u043e\u043a. \u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0430\u043d\u043a\u043e\u0440\u044b (\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442, \u043e\u0431\u044b\u0447\u043d\u043e IoU \u0441 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u043c &gt; 0.7) \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 (\u043d\u0435\u0442 \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0442\u0438\u044f, IoU &lt; 0.3). \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c RPN \u0438\u043c\u0435\u0435\u0442 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043f\u043e\u0442\u0435\u0440\u044e (binary cross-entropy), \u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0440\u0430\u043c\u043e\u043a \u2013 Smooth L1 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439. \u042d\u0442\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043f\u043e\u0442\u0435\u0440\u044c RPN \u0442\u0430\u043a\u0436\u0435 \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 \u043e\u0431\u0449\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e (\u0438\u0445 \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442 \u0441 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438). \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u0432 \u043a\u043e\u043d\u0446\u0435-\u043a\u043e\u043d\u0446\u043e\u0432 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u0443 \u0432\u0441\u0435\u0445 \u043e\u0448\u0438\u0431\u043e\u043a: \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 anchor, \u043d\u0435\u0442\u043e\u0447\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0438\u0446 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 \u043c\u0430\u0441\u043e\u043a \u0438 \u0442.\u0434. \u2013 \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0441 \u0440\u0430\u0431\u043e\u0442\u043e\u0439 RPN<\/figcaption><\/div>\n<\/figure>\n<p>(\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u0445\u043e\u0442\u044c Mask R-CNN 3D \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u0443\u044e \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a, \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u043d\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f. \u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u2013 \u0445\u043e\u0440\u043e\u0448\u0430\u044f \u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u044f 3D-\u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0441\u043b\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0433\u0440\u043e\u043c\u043e\u0437\u0434\u043a\u043e\u0439, \u043c\u043e\u0436\u043d\u043e \u0443\u0442\u0435\u0448\u0438\u0442\u044c \u0441\u0435\u0431\u044f \u043c\u044b\u0441\u043b\u044c\u044e: \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u201c\u0447\u0438\u0442\u0430\u0435\u0442\u201d \u044d\u0442\u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043d\u0435 \u043b\u0443\u0447\u0448\u0435 \u043d\u0430\u0441 \u0441 \u0432\u0430\u043c\u0438 \u2013 \u043e\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442  \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u043d\u0435 \u0437\u0430\u0434\u0430\u0432\u0430\u044f \u043b\u0438\u0448\u043d\u0438\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432!)<\/p>\n<h2>3. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438<\/h2>\n<p>\u0417\u0430\u0447\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0443\u0436\u0435\u043d Mask R-CNN 3D, \u0435\u0441\u043b\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043e\u0431\u044a\u0435\u043c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445? \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0432\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0438\u0445 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c.<\/p>\n<h3>3.1 3D U-Net<\/h3>\n<p><strong>3D U-Net<\/strong> \u2013 \u044d\u0442\u043e, \u043f\u043e\u0436\u0430\u043b\u0443\u0439, \u0441\u0430\u043c\u044b\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u0434\u043b\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 3D-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. 3D U-Net \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u044d\u043d\u043a\u043e\u0434\u0435\u0440-\u0434\u0435\u043a\u043e\u0434\u0435\u0440, \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u044e\u0449\u0443\u044e 2D U-Net \u0420\u043e\u043d\u043d\u0435\u0431\u0435\u0440\u0433\u0435\u0440\u0430 \u0432 \u0442\u0440\u0435\u0442\u044c\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043e\u043d\u0430 \u0431\u0435\u0440\u0451\u0442 \u043e\u0431\u044a\u0435\u043c\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u0434\u0430\u0451\u0442 \u043e\u0431\u044a\u0435\u043c\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0443 \u043c\u0435\u0442\u043e\u043a (\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f), \u043f\u043e\u043c\u0435\u0447\u0430\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u043a\u0441\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u043e\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0438\u043b\u0438 \u0444\u043e\u043d\u043e\u043c. \u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 3D U-Net:<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u043e\u043b\u043d\u043e\u0435 \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435 \u043f\u043e\u043b\u044f \u0437\u0440\u0435\u043d\u0438\u044f.<\/strong> U-Net \u0441\u043a\u0430\u043d\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u0451 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u043c\u0443 \u0440\u0435\u0446\u0435\u043f\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u043f\u043e\u043b\u044e. \u042d\u043d\u043a\u043e\u0434\u0435\u0440 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043f\u043e\u043d\u0438\u0436\u0430\u0435\u0442 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0437\u0430\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u2013 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u0434\u0435\u0442\u0430\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043a\u0438\u043f-\u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439. \u0414\u043b\u044f 3D \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u043e\u0440\u0433\u0430\u043d\u0430\u043c\u0438 \u0438\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c\u0438 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043e\u0431\u044a\u0435\u043c\u0443 \u0441\u0440\u0430\u0437\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0435\u0442 \u044f\u0432\u043d\u044b\u0445 \u0440\u0430\u043c\u043e\u043a \u0438 \u043f\u0440\u043e\u043f\u043e\u0437\u0430\u043b\u043e\u0432.<\/strong> \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 Mask R-CNN, U-Net \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u041e\u043d\u0430 \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043a\u0443 \u043a\u043b\u0430\u0441\u0441\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u043a\u0441\u0435\u043b\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 3D U-Net \u0440\u0435\u0448\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0441\u043a\u043e\u0440\u0435\u0435 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 (\u0432\u0441\u0435 \u043f\u0438\u043a\u0441\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0430 \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u044b), \u0447\u0435\u043c instance \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e <strong>\u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u044b<\/strong> \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0430\u0436\u0434\u0443\u044e \u043e\u043f\u0443\u0445\u043e\u043b\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e), U-Net \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u2013 \u043f\u043e\u0441\u043b\u0435 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043f\u043e\u0441\u0442\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u043c\u0435\u0442\u043a\u0435).<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0441\u0442\u043e\u0442\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/strong> \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 U-Net \u043e\u0434\u043d\u043e\u0437\u0430\u0434\u0430\u0447\u043d\u0430\u044f (\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u043e\u0449\u0435 \u2013 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u0444\u0442\u043c\u0430\u043a\u0441 \u0438 cross-entropy \u043f\u043e \u0432\u043e\u043a\u0441\u0435\u043b\u044f\u043c \u0438\u043b\u0438 Dice-\u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442. \u041d\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043c\u043d\u043e\u0433\u043e\u0437\u0430\u0434\u0430\u0447\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043a\u0430\u043a \u0443 Mask R-CNN. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0443\u043f\u0440\u043e\u0449\u0430\u0442\u044c \u043f\u043e\u0434\u0431\u043e\u0440 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0433\u0440\u0430\u043d\u0438\u0446.<\/strong> U-Net, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0441\u043a\u0438\u043f-\u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0432, \u043c\u043e\u0436\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0442\u043e\u0447\u043d\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0442\u043e\u043d\u043a\u0438\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0433\u0440\u0430\u043d\u0438\u0446 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u044f\u043c\u0430\u044f \u043f\u0438\u043a\u0441\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438. Mask R-CNN \u0442\u043e\u0436\u0435 \u0441\u0442\u0430\u0440\u0430\u0435\u0442\u0441\u044f, \u043d\u043e \u043e\u043d\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0440\u043e\u0432\u043d\u0435\u043d\u043d\u044b\u0445 RoI \u0438 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043c\u0430\u0441\u043e\u0447\u043d\u043e\u0439 \u0432\u0435\u0442\u0432\u0438 (\u0447\u0430\u0441\u0442\u043e 28\u00d728 \u0432 2D, \u0438\u043b\u0438 32\u00d732\u00d732 \u0432 3D), \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u043b\u043a\u0438\u0445 \u0434\u0435\u0442\u0430\u043b\u0435\u0439.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 Mask R-CNN 3D \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e <\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-452509","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/452509","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=452509"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/452509\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=452509"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=452509"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=452509"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}