{"id":253449,"date":"2015-03-20T10:49:02","date_gmt":"2015-03-20T06:49:02","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=253449"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=253449","title":{"rendered":"\u041d\u0435\u0439\u0440\u043e\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0432 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445"},"content":{"rendered":"<p>     \t<img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/5e6\/c14\/474\/5e6c14474d2c47a28d1688a28ab00c6f.jpg\" align=\"right\" width=\"320\"\/> \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440, \u0434\u0430\u0432\u043d\u043e \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0438\u0441\u044c. \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u043c\u043d\u0435 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u0442\u0430\u043a\u043e\u043c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0432\u043e\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043a\u0430\u043a <a href=\"http:\/\/en.wikipedia.org\/wiki\/Inductive_transfer\">transfer learning<\/a>. \u0422\u0430\u043a \u043a\u0430\u043a \u044f \u043d\u0435 \u043d\u0430\u0448\u0435\u043b \u043a\u0430\u043a\u043e\u0433\u043e-\u043b\u0438\u0431\u043e \u0443\u0441\u0442\u043e\u044f\u0432\u0448\u0435\u0433\u043e\u0441\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u044d\u0442\u043e\u0433\u043e \u0442\u0435\u0440\u043c\u0438\u043d\u0430, \u0442\u043e \u0438 \u0432 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0438 \u043f\u043e\u0441\u0442\u0430 \u0444\u0438\u0433\u0443\u0440\u0438\u0440\u0443\u0435\u0442 \u0445\u043e\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u043e\u0439, \u043d\u043e \u0431\u043b\u0438\u0437\u043a\u0438\u0439 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0442\u0435\u0440\u043c\u0438\u043d, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u0430\u043a \u0431\u044b \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u0438\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u043e\u0439 \u043a \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043e\u0440\u0438\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0437\u043d\u0430\u043d\u0438\u0439 \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a \u0434\u0440\u0443\u0433\u043e\u0439. \u0418\u0442\u0430\u043a, \u043f\u043b\u0430\u043d \u0442\u0430\u043a\u043e\u0439: \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u0438\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u0438; \u043f\u043e\u0441\u043b\u0435 \u043a\u043e\u0441\u043d\u0435\u043c\u0441\u044f \u043e\u0442\u043b\u0438\u0447\u0438\u044f transfer learning \u043e\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u0438\u0434\u0435\u0438 <a href=\"http:\/\/habrahabr.ru\/post\/163819\/\">\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438<\/a>; \u0430 \u0432 \u043a\u043e\u043d\u0446\u0435 \u043e\u0431\u0441\u0443\u0434\u0438\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0445\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u0440\u043e\u043c\u043d\u0438\u0447\u0430\u0442\u044c \u0438 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0433\u043b\u0443\u0431\u043e\u043a\u0443\u044e (19 \u0441\u043b\u043e\u0435\u0432) \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u0435\u0439 \u043a\u043e\u043d\u043a\u0443\u0440\u0441\u0430 <a href=\"http:\/\/image-net.org\/challenges\/LSVRC\/2014\/results#clsloc\">imagenet 2014 \u0433\u043e\u0434\u0430<\/a> \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u00ab\u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u00bb (<a href=\"http:\/\/www.robots.ox.ac.uk\/~vgg\/research\/very_deep\/\">Visual Geometry Group<\/a>, University of Oxford), \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0435\u0439 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0442\u0440\u0435\u043f\u0430\u043d\u0430\u0446\u0438\u044e, \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0435\u0432 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438\u0445 \u0432 \u0441\u0432\u043e\u0438\u0445 \u0446\u0435\u043b\u044f\u0445. \u041f\u043e\u0435\u0445\u0430\u043b\u0438.<br \/>  <a name=\"habracut\"><\/a>  <\/p>\n<h1>\u041d\u0435\u0439\u0440\u043e\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c<\/h1>\n<p>  \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435. \u041d\u0435\u0439\u0440\u043e\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u2014 \u044d\u0442\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u043c\u043e\u0437\u0433\u0430 \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u043e\u0434 \u0432\u043e\u0437\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u043c \u043e\u043f\u044b\u0442\u0430 \u0438\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u0442\u0440\u0430\u0432\u043c\u044b. \u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432 \u0441\u0435\u0431\u044f \u043a\u0430\u043a \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/\u0421\u0438\u043d\u0430\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f_\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c\">\u0441\u0438\u043d\u0430\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0432\u044f\u0437\u0435\u0439<\/a>, \u0442\u0430\u043a \u0438 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/\u041d\u0435\u0439\u0440\u043e\u0433\u0435\u043d\u0435\u0437\">\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432<\/a>. \u0415\u0449\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0434\u0430\u0432\u043d\u043e, \u0434\u043e 70-\u0445 \u0433\u043e\u0434\u043e\u0432 \u0425\u0425 \u0432\u0435\u043a\u0430, \u0441\u0447\u0438\u0442\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0437\u0433\u0430, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/\u041d\u043e\u0432\u0430\u044f_\u043a\u043e\u0440\u0430\">\u043d\u0435\u043e\u043a\u043e\u0440\u0442\u0435\u043a\u0441<\/a> (\u0430 \u044d\u0442\u043e \u043a\u0430\u043a \u0440\u0430\u0437 \u0432\u0441\u044f \u043c\u043e\u0442\u043e\u0440\u0438\u043a\u0430, \u0440\u0435\u0447\u044c, \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435 \u0438 \u0442.\u0434.), \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0438\u043e\u0434\u0430 \u0432\u0437\u0440\u043e\u0441\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043c\u043e\u0433\u043b\u0438 \u043b\u0438\u0448\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044b \u0441\u0432\u044f\u0437\u0435\u0439 \u043c\u0435\u0436\u0434\u0443 \u043d\u0435\u0439\u0440\u043e\u043d\u0430\u043c\u0438. \u041d\u043e \u043f\u043e\u0437\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0437\u0433\u0430 \u0432 \u0446\u0435\u043b\u043e\u043c. \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u0438\u0434\u0435\u043e:<\/p>\n<p>  <iframe loading=\"lazy\" width=\"560\" height=\"349\" src=\"\/\/www.youtube.com\/embed\/Sg4Y2gyh3wY?wmode=opaque\" frameborder=\"0\" allowfullscreen><\/iframe><\/p>\n<p>  \u0427\u0442\u043e\u0431\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0449\u0443\u0442\u0438\u0442\u044c \u0432\u0441\u044e \u043c\u043e\u0449\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u043c\u043e\u0437\u0433\u0430, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0437\u0433\u043b\u044f\u043d\u0435\u043c \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u043d\u0435\u0439\u0440\u043e\u0444\u0438\u0437\u0438\u043e\u043b\u043e\u0433\u0430 <a href=\"http:\/\/en.wikipedia.org\/wiki\/Paul_Bach-y-Rita\">Paul Bach-y-Rita<\/a>, \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043f\u043e\u0432\u043b\u0438\u044f\u043b\u0438 \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u0443\u0447\u043d\u043e\u0439 \u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e. \u0412\u0430\u0436\u043d\u044b\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u043c, \u0432\u043b\u0438\u044f\u044e\u0449\u0438\u043c \u043d\u0430 \u043c\u043e\u0442\u0438\u0432\u0430\u0446\u0438\u044e \u0443\u0447\u0435\u043d\u043e\u0433\u043e, \u044f\u0432\u043b\u044f\u043b\u043e\u0441\u044c \u0442\u043e, \u0447\u0442\u043e \u0435\u0433\u043e \u043e\u0442\u0435\u0446 \u0431\u044b\u043b \u043f\u0430\u0440\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d. \u0421\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u0443\u0441\u0438\u043b\u0438\u044f\u043c\u0438 \u0441 \u0431\u0440\u0430\u0442\u043e\u043c-\u0444\u0438\u0437\u0438\u043a\u043e\u043c \u043e\u043d\u0438 \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u043e\u0442\u0446\u0430 \u043d\u0430 \u043d\u043e\u0433\u0438 \u043a 68 \u0433\u043e\u0434\u0430\u043c, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0442\u043e\u043c\u0443 \u0434\u0430\u0436\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0432\u0438\u0434\u0430\u043c\u0438 \u0441\u043f\u043e\u0440\u0442\u0430. \u0418\u0445 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u0432 \u043f\u043e\u0437\u0434\u043d\u0435\u043c \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0435 \u043c\u043e\u0437\u0433 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043a \u0440\u0435\u0430\u0431\u0438\u043b\u0438\u0442\u0430\u0446\u0438\u0438. \u041d\u043e \u044d\u0442\u043e \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043a \u043e\u043f\u044b\u0442\u0443 1969 \u0433\u043e\u0434\u0430. \u0426\u0435\u043b\u044c \u0431\u044b\u043b\u0430 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u0430\u044f: \u0434\u0430\u0442\u044c \u0441\u043b\u0435\u043f\u044b\u043c (\u0434\u0430\u0436\u0435 \u043e\u0442 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f) \u043b\u044e\u0434\u044f\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u0438\u0434\u0435\u0442\u044c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0431\u044b\u043b\u043e \u0432\u0437\u044f\u0442\u043e \u0441\u0442\u043e\u043c\u0430\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043a\u0440\u0435\u0441\u043b\u043e \u0438 \u043f\u0435\u0440\u0435\u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u0440\u044f\u0434\u043e\u043c \u0441 \u043a\u0440\u0435\u0441\u043b\u0443 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0442\u0435\u043b\u0435\u0432\u0438\u0437\u0438\u043e\u043d\u043d\u0443\u044e \u043a\u0430\u043c\u0435\u0440\u0443, \u0430 \u043a \u043a\u0440\u0435\u0441\u043b\u0443 \u043f\u043e\u0434\u0432\u0435\u043b\u0438 \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0438 \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043a\u0430\u043c\u0435\u0440\u044b. \u0412 \u0441\u043f\u0438\u043d\u043a\u0443 \u043a\u0440\u0435\u0441\u043b\u0430 \u0431\u044b\u043b\u043e \u0432\u043c\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043e 400 \u0441\u0442\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u044b\u0432\u0430\u043b\u0438 \u0441\u0435\u0442\u043a\u0443: \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u0432\u0448\u0435\u0435 \u0441 \u043a\u0430\u043c\u0435\u0440\u044b, \u0441\u0436\u0438\u043c\u0430\u043b\u043e\u0441\u044c \u0434\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 20 \u043d\u0430 20; \u0441\u0442\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u044b \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0438 12 \u043c\u043c \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430. \u041a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0441\u0442\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0443 \u0431\u044b\u043b \u043f\u0440\u0438\u043a\u0440\u0435\u043f\u043b\u0435\u043d \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0438\u043b\u043b\u0438\u043c\u0435\u0442\u0440\u043e\u0432\u044b\u0439 \u043d\u0430\u043a\u043e\u043d\u0435\u0447\u043d\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u0438\u0431\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u0442\u043e\u043a\u0443, \u043f\u043e\u0434\u0430\u0432\u0430\u0435\u043c\u043e\u043c\u0443 \u043d\u0430 \u0441\u043e\u043b\u0435\u043d\u043e\u0438\u0434, \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0442\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0430.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/5f1\/66e\/208\/5f166e208047488fbceea36c322b4875.jpg\"\/><\/p>\n<p>  \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u0441\u0446\u0438\u043b\u043b\u043e\u0433\u0440\u0430\u0444\u0430 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0435\u043c\u043e\u0435 \u0432\u0438\u0431\u0440\u0430\u0446\u0438\u0435\u0439 \u0441\u0442\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u043e\u0432.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/11e\/906\/049\/11e906049a6a4329b124adebb0dbffd5.jpg\"\/><\/p>\n<p>  \u0413\u043e\u0434\u043e\u043c \u043f\u043e\u0437\u0436\u0435 \u041f\u043e\u043b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u0441\u0432\u043e\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b:  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0439 \u0432\u0438\u0437\u043e\u0440 1970-\u043e\u0433\u043e \u0433\u043e\u0434\u0430<\/b><\/p>\n<div class=\"spoiler_text\">\u0427\u0435\u043b\u043e\u0432\u0435\u043a \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u041c\u0430\u0432\u0440\u043e\u0434\u0438, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u043e\u043d.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/0bb\/4f5\/b0b\/0bb4f5b0bc9e4daba038f462a2d37f1f.jpg\"\/>  <\/div>\n<\/div>\n<p>  \u0412 \u043d\u0430\u0448\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u0430\u043a\u0442\u0438\u043b\u044c\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u00ab\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439\u00bb \u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0431\u043e\u043b\u0435\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0440\u0433\u0430\u043d \u2014 \u044f\u0437\u044b\u043a. \u041a\u0430\u043a \u043f\u0438\u0448\u0443\u0442 \u0432 \u0441\u0442\u0430\u0442\u044c\u044f\u0445, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0447\u0430\u0441\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0447\u0430\u0442\u044c \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0440\u0430\u043c\u0438 \u044f\u0437\u044b\u043a\u0430.   <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442<\/b><\/p>\n<div class=\"spoiler_text\">\u0414\u0443\u043c\u0430\u0435\u0442\u0435, \u043e\u043d \u0435\u0441\u0442 \u043b\u0430\u043f\u0448\u0443? \u0410 \u043d\u0435\u0442, \u043e\u043d \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u044f\u0437\u044b\u043a\u043e\u043c.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/20b\/45d\/157\/20b45d1579474b3cb948e19ed93d855b.jpg\"\/><\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/a1c\/919\/090\/a1c919090ccf4e8c8d4367342e271d17.jpg\"\/><\/p>\n<p>  \u0418 \u043d\u0435\u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u0443\u044e <a href=\"http:\/\/www.wicab.com\/en_eu\/v100.html\">\u043d\u0430\u0445\u043e\u0434\u043a\u0443 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043c\u043e\u043d\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c<\/a>:<br \/>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/71e\/956\/410\/71e9564106a14f36b1376d7caacf2f4e.jpg\"\/>  <\/div>\n<\/div>\n<p>  \u0422\u0430\u043a \u043a\u0430\u043a \u0436\u0435 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442? \u0413\u043e\u0432\u043e\u0440\u044f \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u043c \u044f\u0437\u044b\u043a\u0435 (\u043d\u0435 \u0431\u0438\u043e\u043b\u043e\u0433\u043e\u0432 \u0438 \u043d\u0435\u0439\u0440\u043e\u0444\u0438\u0437\u0438\u043e\u043b\u043e\u0433\u043e\u0432, \u0430 \u0441\u043a\u043e\u0440\u0435\u0435 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445), \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u044b \u043d\u0430 \u043d\u0438\u0445. <a href=\"https:\/\/en.wikipedia.org\/wiki\/Sensory_substitution\">\u041f\u043e\u0434\u043c\u0435\u043d\u044f\u044f \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0440\u0443\u0433\u043e\u0439<\/a>, \u043d\u0430\u0448\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 (\u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f, \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u043c\u043e\u0433\u043e \u043d\u0438\u0436\u0435, \u044d\u0442\u043e \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u044b \u0438\u043b\u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b) \u043d\u0430 \u0441\u043b\u043e\u044f\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0441\u0435\u043d\u0441\u043e\u0440\u0443 (\u0433\u043b\u0430\u0437\u0443, \u044f\u0437\u044b\u043a\u0443, \u0443\u0445\u0443 \u0438 \u0442.\u0434.). \u0411\u043e\u043b\u0435\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u043b\u043e\u0438 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 (\u043a\u043e\u043b\u0435\u0441\u043e, \u043e\u043a\u043d\u043e). \u0418 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0435\u0441\u043b\u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u0432 \u0437\u0432\u0443\u043a\u043e\u0432\u043e\u043c \u0441\u0438\u0433\u043d\u0430\u043b\u0435 \u043a\u043e\u043b\u0435\u0441\u043e \u043e\u0442 \u043c\u0430\u0448\u0438\u043d\u044b, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043c\u044b \u0435\u0433\u043e \u043d\u0435 \u043d\u0430\u0439\u0434\u0435\u043c. \u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u044e\u0442 \u043d\u0435\u0439\u0440\u043e\u043d\u044b, \u0443 \u043d\u0430\u0441 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f, \u043d\u043e \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0441\u0442\u0430\u0442\u044c\u0435 &quot;<a href=\"http:\/\/ftp.cs.nyu.edu\/~fergus\/papers\/zeilerECCV2014.pdf\">Visualizing and Understanding Convolutional Networks<\/a>&quot; \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u043d\u0430 \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u043c\u044b\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u044c\u044e. \u042d\u0442\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0435 \u0431\u0438\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0435\u0442\u044c, \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432\u0441\u0435 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u0442\u0430\u043a. \u041a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u044d\u0442\u043e \u0434\u0430\u0435\u0442 \u043d\u0435\u043a\u043e\u0435 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0447\u0438\u043d \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u0438\u0434\u0435\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0436\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0440\u0430\u043c\u0438 \u044f\u0437\u044b\u043a\u0430.<\/p>\n<p>  \u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0432 \u0441\u043f\u043e\u0439\u043b\u0435\u0440\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u043e \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0438 \u0447\u0430\u0441\u0442\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0445 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0442. \u041a\u0430\u043a \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0435\u043c \u0433\u043b\u0443\u0431\u0436\u0435, \u0442\u0435\u043c \u043c\u0435\u043d\u0435\u0435 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438.<\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">Visualization of features in a fully trained model<\/b><\/p>\n<div class=\"spoiler_text\">\u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u0435\u0440\u044b\u0439 \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u0430 (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0441\u0432\u0435\u0440\u0442\u043a\u0438) \u0438\u043b\u0438 \u0432\u0435\u0441\u043e\u0432 \u043e\u0434\u043d\u043e\u0433\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u0430, \u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u0446\u0432\u0435\u0442\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u2014 \u044d\u0442\u043e \u0442\u0430 \u0447\u0430\u0441\u0442\u044c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043d\u0435\u0439\u0440\u043e\u043d. \u0414\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0440\u0443\u043f\u043f\u044b.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/812\/051\/b71\/812051b7114040dca73543223477b9bc.png\"\/>  <\/div>\n<\/div>\n<p>  \u041c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e, \u043f\u043e\u0434\u043c\u0435\u043d\u044f\u044f \u0441\u0435\u043d\u0441\u043e\u0440\u044b, \u043d\u0430\u0448\u0435\u043c\u0443 \u043c\u043e\u0437\u0433\u0443 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0435\u0440\u0435\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u044b, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435, \u0447\u0442\u043e \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u044e\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u2014 \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0438 \u0442\u0430\u043a \u0443\u0436\u0435 \u0443\u043c\u0435\u044e\u0442 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0444\u0438\u0447\u0438. \u041f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043a \u043e\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0438 \u0435\u0441\u0442\u044c. \u041c\u0430\u043b\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0437\u0430 \u043f\u0430\u0440\u0443 \u0447\u0430\u0441\u043e\u0432 \u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0441 \u043f\u043b\u0430\u0441\u0442\u0438\u043d\u043e\u0439 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 \u043c\u043e\u0437\u0433 \u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442 \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0438 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0440\u0430\u0441\u0442\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0441\u0438\u043d\u0430\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u044f\u0437\u0438, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u0432 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432\u043a\u0443\u0441 \u0435\u0434\u044b \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0440\u0430\u043c\u0438 \u044f\u0437\u044b\u043a\u0430.<\/p>\n<p>  \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0441 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u043b\u0430\u0441\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u0412 1949 \u0433\u043e\u0434\u0443 \u0414\u043e\u043d\u0430\u043b\u044c\u0434 \u0425\u0435\u0431\u0431 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u0442 \u043a\u043d\u0438\u0433\u0443 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/The_Organization_of_Behavior\">The Organization of Behavior<\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 <a href=\"http:\/\/en.wikipedia.org\/wiki\/Hebbian_theory\">\u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0439 \u0418\u041d\u0421<\/a>. \u0421\u0442\u043e\u0438\u0442 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0434\u0430\u043b\u0435\u043a\u043e \u0443\u0448\u043b\u0438 \u043e\u0442 \u044d\u0442\u0438\u0445 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u0432.  <\/p>\n<ul>\n<li>\u0435\u0441\u043b\u0438 \u0440\u044f\u0434\u043e\u043c \u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0442\u0441\u044f <i>\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e<\/i>, \u0442\u043e \u0441\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 <i>\u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f<\/i>;<\/li>\n<li>\u0435\u0441\u043b\u0438 \u0440\u044f\u0434\u043e\u043c \u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0442\u0441\u044f <i>\u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e<\/i>, \u0442\u043e \u0441\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 <i>\u043e\u0441\u043b\u0430\u0431\u0435\u0432\u0430\u0435\u0442<\/i> (\u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043d\u0435 \u0431\u044b\u043b\u043e \u0443 \u0425\u0435\u0431\u0431\u0430, \u0435\u0433\u043e \u0434\u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u043a\u0430\u043a \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0443\u0436\u0435 \u043f\u043e\u0437\u0436\u0435).<\/li>\n<\/ul>\n<p>  \u0427\u0435\u0440\u0435\u0437 \u0434\u0435\u0432\u044f\u0442\u044c \u043b\u0435\u0442 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/\u0420\u043e\u0437\u0435\u043d\u0431\u043b\u0430\u0442\u0442,_\u0424\u0440\u044d\u043d\u043a\">\u0424\u0440\u0435\u043d\u043a \u0420\u043e\u0437\u0435\u043d\u0431\u043b\u0430\u0442\u0442<\/a> \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043f\u0435\u0440\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u2014 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/\u041f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d\">\u043f\u0435\u0440\u0441\u0435\u043f\u0442\u0440\u043e\u043d<\/a>. \u0410\u0432\u0442\u043e\u0440 \u043f\u0435\u0440\u0432\u043e\u0439 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u043d\u0435 \u043f\u0440\u0435\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b \u0446\u0435\u043b\u0438 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440. \u041e\u043d \u0431\u044b\u043b \u043d\u0435\u0439\u0440\u043e\u0444\u0438\u0437\u0438\u043e\u043b\u043e\u0433\u043e\u043c, \u0438 \u0435\u0433\u043e \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0431\u044b\u043b\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430. \u0422\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u0433\u043b\u044f\u043d\u0438\u0442\u0435 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0436\u0443\u0440\u043d\u0430\u043b\u0438\u0441\u0442\u044b \u043f\u0438\u0448\u0443\u0442 \u043f\u0440\u043e \u043f\u0435\u0440\u0441\u0435\u043f\u0442\u0440\u043e\u043d. \u0418\u043c\u0445\u043e, \u044d\u0442\u043e \u043f\u0440\u0435\u043b\u0435\u0441\u0442\u043d\u043e:<\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">New York Time, July 8, 1958<\/b><\/p>\n<div class=\"spoiler_text\"><img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/34b\/e3d\/156\/34be3d156aab4e8681138e361b63edfb.png\"\/><br \/>  \u2026<br \/>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/19d\/f4b\/b71\/19df4bb71d904a009f695fdc7e859f18.png\"\/>  <\/div>\n<\/div>\n<p>  \u0412 \u043f\u0435\u0440\u0441\u0435\u043f\u0442\u0440\u043e\u043d\u0435 \u0431\u044b\u043b\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0425\u0435\u0431\u0431\u0430. \u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0441\u0438\u043d\u0430\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u0445 \u0443\u0436\u0435 \u0443\u0447\u0442\u0435\u043d\u0430 \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0438. \u0418 \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, <a href=\"http:\/\/en.wikipedia.org\/wiki\/Online_machine_learning\">online learning<\/a> \u0434\u0430\u0435\u0442 \u043d\u0430\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u2014 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u043c \u043f\u043e\u0442\u043e\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u0435\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0432 \u0441\u0432\u044f\u0437\u0438 \u0441 \u044d\u0442\u0438\u043c \u0431\u0443\u0434\u0443\u0442 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f, \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u043e \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u043f\u043e \u0434\u0440\u0443\u0433\u0438\u043c \u0430\u0441\u043f\u0435\u043a\u0442\u0430\u043c \u043d\u0435\u0439\u0440\u043e\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438, \u0442\u0430\u043a\u0438\u043c \u043a\u0430\u043a \u0441\u0435\u043d\u0441\u043e\u0440\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c\u043e\u0441\u0442\u044c \u0438\u043b\u0438 \u043d\u0435\u0439\u0440\u043e\u0433\u0435\u043d\u0435\u0437. \u041d\u043e \u044d\u0442\u043e \u0438 \u043d\u0435\u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0434\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0435\u0449\u0435 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 20 \u043b\u0435\u0442. \u0423\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0418\u041d\u0421, \u0443\u0447\u0435\u043d\u044b\u043c \u0431\u044b\u043b\u043e \u043d\u0435 \u0434\u043e \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438, \u0432\u043e\u043f\u0440\u043e\u0441 \u0431\u044b\u043b \u043e \u0432\u044b\u0436\u0438\u0432\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0442\u0435\u043e\u0440\u0438\u0438 \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435. \u0422\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0440\u0435\u043d\u0435\u0441\u0441\u0430\u043d\u0441\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0432 \u0434\u0432\u0443\u0445\u0442\u044b\u0441\u044f\u0447\u043d\u044b\u0445 \u0433\u043e\u0434\u0430\u0445, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u0430\u043a\u0438\u043c \u043b\u044e\u0434\u044f\u043c, \u043a\u0430\u043a <a href=\"http:\/\/www.cs.toronto.edu\/~hinton\/\">\u0425\u0438\u043d\u0442\u043e\u043d<\/a>, <a href=\"http:\/\/yann.lecun.com\/\">\u041b\u0435\u041a\u0443\u043d<\/a>, <a href=\"http:\/\/www.iro.umontreal.ca\/~bengioy\/yoshua_en\/index.html\">\u0411\u0435\u043d\u0434\u0436\u0438\u043e<\/a> \u0438 <a href=\"http:\/\/people.idsia.ch\/~juergen\/onlinepub.html\">\u0428\u043c\u0438\u0434\u0442\u0445\u0443\u0431\u0435\u0440<\/a>, \u0443 \u0434\u0440\u0443\u0433\u0438\u0445 \u0443\u0447\u0435\u043d\u044b\u0445 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0435\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435 \u043f\u043e\u0434\u043e\u0439\u0442\u0438 \u043a \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0438 \u043f\u0440\u0438\u0439\u0442\u0438 \u043a \u043f\u043e\u043d\u044f\u0442\u0438\u044e transfer learning.<\/p>\n<h1>Transfer learning<\/h1>\n<p>  \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u0446\u0435\u043b\u0438 transfer learning. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 2009 \u0433\u043e\u0434\u0430 \u0441 <a href=\"ftp:\/\/ftp.cs.wisc.edu\/machine-learning\/shavlik-group\/torrey.handbook09.pdf\">\u043e\u0434\u043d\u043e\u0438\u043c\u0435\u043d\u043d\u044b\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c<\/a> \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442 \u0442\u0440\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0446\u0435\u043b\u0438:  <\/p>\n<ul>\n<li> higher start \u2014 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0436\u0435 \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u0437\u0430 \u0441\u0447\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0434\u0431\u043e\u0440\u043a\u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u043b\u0438 \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438;<\/li>\n<li> higher slope \u2014 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f;<\/li>\n<li> higher asymptote \u2014 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u0445\u043d\u0435\u0439 \u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c\u043e\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/li>\n<\/ul>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/b61\/040\/576\/b610405766fc4a91ab7749639d52f194.png\" width=\"480\"\/><\/p>\n<p>  \u0415\u0441\u043b\u0438 \u0432\u044b \u0437\u043d\u0430\u043a\u043e\u043c\u044b \u0441 <a href=\"http:\/\/habrahabr.ru\/post\/163819\/\">\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u0441\u0435\u0442\u0435\u0439<\/a> \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u0432\u0442\u043e\u0435\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u0432 \u0438\u043b\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430, \u0442\u043e \u0432\u044b \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0434\u0443\u043c\u0430\u0435\u0442\u0435: \u00ab\u0422\u0430\u043a \u0432\u043e\u0442 \u043e\u043d\u043e, \u044f \u0443\u0436\u0435, \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u043e\u0432\u0430\u043b transfer learning \u0438\u043b\u0438, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u0437\u043d\u0430\u044e, \u043a\u0430\u043a \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c\u00bb. \u0410 \u0432\u043e\u0442, \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043d\u0435\u0442. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u0447\u0435\u0442\u043a\u0443\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0438 transfer learning. \u0412 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0446\u0435\u043b\u044c \u0438 \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u043a\u0438\u043c\u0438-\u043b\u0438\u0431\u043e \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u044d\u0442\u043e\u0439 \u0446\u0435\u043b\u0438. \u0412 \u0440\u0430\u043c\u043a\u0430\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0433\u043b\u0443\u0431\u043e\u043a\u0443\u044e \u0441\u0435\u0442\u044c, \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0435\u0435 \u0436\u0430\u0434\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c, \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0435\u0449\u0435 \u0441 \u0434\u0435\u0441\u044f\u0442\u043e\u043a \u0442\u0430\u043a\u0438\u0445 \u0436\u0435 \u0438 \u043a\u0430\u043a\u0438\u043c-\u043b\u0438\u0431\u043e \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0438\u0437 \u043d\u0438\u0445. \u041d\u043e \u0432\u0441\u0435 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0438 \u0432\u0440\u0435\u043c\u044f, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u043e\u0435 \u043d\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0431\u0443\u0434\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e \u0441 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u044b\u043c \u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438 \u0435\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435. <\/p>\n<p>  \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0438 \u0440\u0435\u0448\u0430\u043b\u0438 \u0438\u0445, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0434\u0430\u0436\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u043b\u044e\u0434\u0438. \u041e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e (source task) \u0434\u043b\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442 \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043d\u0443\u043b\u044f \u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u0432\u043e\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (target task). \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0437\u043d\u0430\u043d\u0438\u0439 \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043a \u0434\u0440\u0443\u0433\u043e\u0439 \u0438 \u0435\u0441\u0442\u044c transfer learning. \u0410 \u043d\u0430\u0448 \u043c\u043e\u0437\u0433, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0442\u0430\u043a \u0438 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u0435\u0442. \u041a\u0430\u043a \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435, \u0435\u0433\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432\u043a\u0443\u0441 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0440\u0430\u043c\u0438 \u044f\u0437\u044b\u043a\u0430 \u0438 \u0432\u0438\u0434\u0435\u0442\u044c \u0433\u043b\u0430\u0437\u0430\u043c\u0438. \u0412\u0441\u0442\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0440\u0430\u043c\u0438 \u044f\u0437\u044b\u043a\u0430. \u0418 \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0440\u0430\u0441\u0442\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u0438\u043b\u0438 \u0436\u0435 \u0441\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0432\u0435\u0441\u0430 \u0441\u0442\u0430\u0440\u044b\u0445 \u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0438\u0445 \u0437\u0430\u043d\u043e\u0432\u043e, \u043c\u043e\u0437\u0433 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043b\u0435\u0433\u043a\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u0442 \u0438\u043c\u0435\u044e\u0449\u0443\u044e\u0441\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/ede\/a16\/0ee\/edea160eed1f45ed81431348b29bc62f.png\" width=\"480\"\/><\/p>\n<p>  \u0414\u0440\u0443\u0433\u043e\u0439 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e transfer learning \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e, \u0447\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u0441\u0442\u0430\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043d\u043e\u0432\u043e\u0439, \u0432\u0435\u0434\u044c \u0441\u0442\u0430\u0440\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0443\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u0440\u0435\u0448\u0435\u043d\u0430. \u0412 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u043f\u0440\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0438, \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u043c\u0435\u043d\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/20d\/bdb\/691\/20dbdb691dbc45db955c596022b965b4.png\" width=\"480\"\/><\/p>\n<p>  \u042d\u0442\u043e\u0442 \u043f\u043e\u0441\u0442 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 transfer learning, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u043c\u0441\u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b. \u041e\u0442\u0442\u0443\u0434\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u0447\u0442\u043e, \u0441\u043a\u0430\u0436\u0435\u043c, \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u0438\u043b\u0438 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 transfer learning \u0441\u0442\u0430\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445. <\/p>\n<p>  \u0418\u0442\u0430\u043a, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0441\u0430\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u043d\u043e\u0433\u0434\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u043d\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c (\u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u0447\u0430\u0441\u0442\u043d\u043e\u0433\u043e \u043a \u043e\u0431\u0449\u0435\u043c\u0443), \u0430 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <a href=\"http:\/\/en.wikipedia.org\/wiki\/Inductive_bias\">inductive bias<\/a>. \u041e\u0442\u0441\u044e\u0434\u0430 \u0438 \u0432\u0442\u043e\u0440\u043e\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 transfer learning \u2014 <a href=\"http:\/\/en.wikipedia.org\/wiki\/Inductive_transfer\">inductive transfer<\/a>. \u0422\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u0435\u0440\u0430 \u0437\u043d\u0430\u043d\u0438\u0439 \u0432 \u0438\u043d\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u2014 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u044f\u043c, \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u043c \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043d\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438).<\/p>\n<p>  \u0422\u0440\u0430\u043d\u0441\u0444\u0435\u0440 \u0437\u043d\u0430\u043d\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0434\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u044b\u0445 \u0438 \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/d53\/2d1\/98b\/d532d198b4e043b68e627ec638a25957.png\" width=\"480\"\/><\/p>\n<h1>\u041f\u0440\u0430\u043a\u0442\u0438\u043a\u0430<\/h1>\n<p>  \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u043a \u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u043c\u0435\u043d\u0442\u0443 \u0432\u044b \u043f\u0440\u043e\u043d\u0438\u043a\u043b\u0438\u0441\u044c \u0442\u0430\u043a\u0438\u043c, \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u043d\u0438\u0447\u0435\u043c \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c, \u043a\u0430\u043a \u0442\u0440\u0430\u043d\u0441\u0444\u0435\u0440 \u0437\u043d\u0430\u043d\u0438\u0439. \u0412\u0435\u0434\u044c \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u044d\u0442\u043e \u043d\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u0435\u0440 \u0437\u043d\u0430\u043d\u0438\u0439, \u043d\u0435\u0439\u0440\u043e\u043f\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0442\u044f\u043d\u0443\u0442\u0430 \u0437\u0430 \u0443\u0448\u0438, \u0430 \u043b\u0443\u0447\u0448\u0435\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u2014 \u043a\u043e\u043f\u0438\u043f\u0430\u0441\u0442. \u0422\u043e\u0433\u0434\u0430 \u0432\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0430\u0433\u043c\u0430\u0442\u0438\u043a. \u042d\u0442\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0442\u043e\u0436\u0435 \u043d\u0435\u043f\u043b\u043e\u0445\u043e, \u0438 \u0442\u043e\u0433\u0434\u0430 \u0445\u043e\u0442\u044f \u0431\u044b \u0442\u0440\u0435\u0442\u0438\u0439 \u0440\u0430\u0437\u0434\u0435\u043b \u0432\u0430\u043c \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u043d\u0435\u0447\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c\u0443 \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435, \u043d\u043e \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438.<\/p>\n<p>  \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0422\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043c\u0435\u0440\u0430 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430, \u0438 \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u0440\u0430\u0442\u044c \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 n*m-\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043c\u0435\u0440\u0430, \u0442\u043e \u043e\u043d\u0430 \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043d\u0430\u043c \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u0430\u0437\u044b, \u0430 \u0431\u0430\u0437\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439.<\/p>\n<p>  \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0445\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043e\u0434\u0438\u043d \u0438\u0437 \u0442\u0430\u043a\u0438\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u043f\u0438\u0441\u0430\u043d \u0443 <a href=\"http:\/\/www.cs.toronto.edu\/~rsalakhu\/\">\u0421\u0430\u043b\u0430\u043a\u0445\u0443\u0434\u0438\u043d\u043e\u0432\u0430<\/a> \u0438 <a href=\"http:\/\/www.cs.toronto.edu\/~hinton\/\">\u0425\u0438\u043d\u0442\u043e\u043d\u0430<\/a> \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"http:\/\/www.cs.toronto.edu\/~fritz\/absps\/sh.pdf\">Semantic Hashing<\/a>. \u0418\u0445 \u0438\u0434\u0435\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u043c\u0430\u043b\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 (\u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0430 \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044d\u0442\u043e \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 <a href=\"http:\/\/www.cs.toronto.edu\/~fritz\/absps\/sh.pdf\">bag of words<\/a>). \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0442\u044c \u043f\u043e\u0438\u0441\u043a \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0437\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043e\u0442 \u0434\u043b\u0438\u043d\u044b \u043a\u043e\u0434\u0430 \u0432\u0440\u0435\u043c\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Hamming_distance\">\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0425\u044d\u043c\u043c\u0438\u043d\u0433\u0430<\/a>. \u0422\u0430\u043a\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c, \u0442\u0430\u043a \u043a\u0430\u043a \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044e \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f (\u0442\u0435\u043a\u0441\u0442\u044b, \u043c\u0443\u0437\u044b\u043a\u0430 \u0438 \u0442.\u0434.) \u0432 \u043d\u043e\u0432\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0442\u0441\u044f \u0431\u043b\u0438\u0437\u043a\u043e \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443. \u0414\u043b\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0439 \u0438\u0434\u0435\u0438 \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 <a href=\"http:\/\/en.wikipedia.org\/wiki\/Deep_belief_network\">\u0433\u043b\u0443\u0431\u043e\u043a\u0443\u044e \u0441\u0435\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u044f<\/a>, <a href=\"http:\/\/www.cs.toronto.edu\/~hinton\/absps\/fastnc.pdf\">\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439<\/a> \u0431\u044b\u043b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u0425\u0438\u043d\u0442\u043e\u043d\u043e\u043c \u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0435\u0439 \u0435\u0449\u0435 \u0432 2006 \u0433\u043e\u0434\u0443:   <\/p>\n<ul>\n<li> \u0441\u0435\u0442\u044c \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (gaussian-bernoulli rbm) \u0438 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0438\u0445 \u0432 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0441\u043b\u043e\u0439 \u0441\u0442\u0430\u0440\u0430\u0435\u0442\u0441\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0434\u043b\u0438\u043d\u0443 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430 (berboulli-bernoulli rbm);<\/li>\n<li> \u0442\u0430\u043a\u0430\u044f \u0441\u0435\u0442\u044c \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0437\u0443 \u0432\u0432\u0435\u0440\u0445 \u0441\u0432\u043e\u0435\u0439 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u043e\u0439 \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432\u044b\u0445\u043e\u0434 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u0432\u043e\u0438\u0445 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445;<\/li>\n<li> \u0437\u0430\u0442\u0435\u043c \u0441\u0435\u0442\u044c \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a <a href=\"http:\/\/www.jmlr.org\/papers\/volume11\/vincent10a\/vincent10a.pdf\">\u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0439 \u0430\u0432\u0442\u043e\u0435\u043d\u043a\u043e\u0434\u0435\u0440<\/a>, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440, \u0438 \u043e\u043d \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043d\u0435 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u044b\u0439 \u043e\u0431\u0440\u0430\u0437; \u044d\u0442\u043e\u0442 \u0448\u0430\u0433 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f fine turning;<\/li>\n<li> \u0432 \u043a\u043e\u043d\u0446\u0435 \u043a\u043e\u043d\u0446\u043e\u0432, \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u0430\u0432\u0442\u043e\u0435\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043a\u043e\u043c\u044b\u043c \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u043c \u0445\u044d\u0448\u0435\u043c \u043e\u0442 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043e\u0431\u0440\u0430\u0437\u0430.<\/li>\n<\/ul>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/67f\/aea\/b54\/67faeab541464e3cb8a5c1545890c0f6.png\" width=\"640\"\/><\/p>\n<p>  \u041c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u044d\u0442\u043e \u0433\u0435\u043d\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0438 \u044f \u0440\u0435\u0448\u0438\u043b, \u0447\u0442\u043e \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0448\u0435\u043d\u0430, \u0441\u043f\u0430\u0441\u0438\u0431\u043e \u0425\u0438\u043d\u0442\u043e\u043d\u0443. \u042f \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 NVIDIA Tesla K20, \u043f\u043e\u0434\u043e\u0436\u0434\u0430\u043b \u043f\u0430\u0440\u0443 \u0434\u043d\u0435\u0439, \u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0432\u0441\u0435 \u043d\u0435 \u0442\u0430\u043a \u0440\u0430\u0434\u0443\u0436\u043d\u043e, \u043a\u0430\u043a \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0425\u0438\u043d\u0442\u043e\u043d. \u0422\u043e \u043b\u0438 \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0442\u043e \u043b\u0438 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b gaussian-bernoulli rbm, \u0430 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f poisson-bernoulli rbm, \u0442\u043e \u043b\u0438 \u0438\u0437-\u0437\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u0432\u043e\u043e\u0431\u0449\u0435, \u044f \u043c\u0430\u043b\u043e \u043e\u0431\u0443\u0447\u0430\u043b. \u041d\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u0436\u0434\u0430\u0442\u044c \u043c\u043d\u0435 \u043a\u0430\u043a-\u0442\u043e \u043d\u0435 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c. \u0418 \u0442\u0443\u0442 \u044f \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043b \u0441\u043e\u0432\u0435\u0442 <a href=\"http:\/\/www.milakov.org\/\">\u041c\u0430\u043a\u0441\u0438\u043c\u0430 \u041c\u0438\u043b\u0430\u043a\u043e\u0432\u0430<\/a> \u2014 \u044e\u0437\u0430\u0439 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0442\u0435\u0440\u043c\u0438\u043d transfer learning \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u0435\u0433\u043e \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438. \u0411\u044b\u043b\u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u043e\u0442 \u0441\u0436\u0430\u0442\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0446\u0432\u0435\u0442\u043e\u0432, \u0434\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0438\u0445 \u0432 <a href=\"http:\/\/en.wikipedia.org\/wiki\/Bag-of-words_model_in_computer_vision\">bag of visual words<\/a>. \u041d\u043e \u0440\u0430\u0437 \u0432\u0441\u0442\u0443\u043f\u0438\u0432 \u043d\u0430 \u0442\u0440\u043e\u043f\u0443 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043d\u0435 \u0442\u0430\u043a-\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441 \u043d\u0435\u0435 \u0441\u0432\u0435\u0440\u043d\u0443\u0442\u044c, \u0434\u0430 \u0438 \u0431\u043e\u043d\u0443\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u0435\u0449\u0430\u0435\u0442 transfer learning (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438), \u043c\u0435\u043d\u044f \u043f\u0440\u0435\u043b\u044c\u0441\u0442\u0438\u043b\u0438.<\/p>\n<p>  \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u0430\u044f \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0433\u0440\u0443\u043f\u043f\u0430 VGG, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0430 \u0432 2014 \u0433\u043e\u0434\u0443 \u0432 \u043a\u043e\u043d\u043a\u0443\u0440\u0441\u0435 ImageNet, \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0430 \u0441\u0432\u043e\u044e \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c <a href=\"http:\/\/www.robots.ox.ac.uk\/~vgg\/research\/very_deep\/\">\u0432 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/a>, \u0442\u0430\u043a \u0447\u0442\u043e \u0447\u0438\u0441\u0442\u043e \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u0446\u0435\u043b\u044f\u0445 \u044f \u0435\u0435 \u0438 \u0441\u043a\u0430\u0447\u0430\u043b.<\/p>\n<p>  \u0412\u043e\u043e\u0431\u0449\u0435, <a href=\"http:\/\/www.image-net.org\/\">ImageNet<\/a> \u2014 \u044d\u0442\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043d\u043a\u0443\u0440\u0441, \u043d\u043e \u0438 \u0431\u0430\u0437\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0432 \u0441\u0435\u0431\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u043c \u0431\u043e\u043b\u0435\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u043e \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u0437 1000 \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u041d\u0430\u0431\u043e\u0440 \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 1000 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043d\u0430 \u043e\u0434\u0438\u043d \u043a\u043b\u0430\u0441\u0441. \u041f\u0430\u0440\u043d\u0438 \u0438\u0437 \u041e\u043a\u0441\u0444\u043e\u0440\u0434\u0430 \u0432\u044b\u0438\u0433\u0440\u0430\u043b\u0438 \u0432 \u043d\u043e\u043c\u0438\u043d\u0430\u0446\u0438\u0438 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f. \u0422\u0430\u043a \u043a\u0430\u043a \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u0445 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043e\u0434\u043d\u043e\u0433\u043e, \u0442\u043e \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e \u0442\u043e\u043c\u0443, \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043b\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0432 \u0442\u043e\u043f-5 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u043f\u043e \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u043d\u0438\u0436\u0435 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u0445 \u0438\u0437 imagenet. \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0437\u0430\u0431\u0430\u0432\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u0441 \u0434\u0430\u043b\u043c\u0430\u0442\u0438\u043d\u0446\u0435\u043c, \u043c\u043e\u0434\u0435\u043b\u044c, \u043a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043d\u0435 \u043d\u0430\u0448\u043b\u0430 \u0442\u0430\u043c \u0432\u0438\u0448\u043d\u044e.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/623\/f02\/5fe\/623f025fee03434993daefcee57417cc.png\"\/><\/p>\n<p>  \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u0433\u0434\u0435-\u0442\u043e \u0432 \u0441\u0435\u0442\u0438 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438 \u0440\u0435\u0448\u0430\u0435\u0442, \u043a \u043a\u0430\u043a\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435. \u0425\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0434\u043e\u0441\u0442\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c, \u043e\u0442\u0434\u0435\u043b\u0438\u0442\u044c \u0435\u0433\u043e \u043e\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u0438 \u043f\u043e\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u0435\u043d\u043a\u043e\u0434\u0435\u0440\u0430 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0445\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438.<\/p>\n<p>  \u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c VGG \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0430 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 <a href=\"http:\/\/caffe.berkeleyvision.org\/\">Caffe<\/a>. \u041e\u0447\u0435\u043d\u044c \u043a\u0440\u0443\u0442\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2014 \u043b\u0435\u0433\u043a\u0430\u044f \u0432 \u043e\u0441\u0432\u043e\u0435\u043d\u0438\u0438, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f. \u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0442\u0440\u0435\u043f\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u0442\u044c VGG, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f caffe, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043c\u0435\u043b\u044c\u043a\u043e\u043c \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u0441\u0430\u043c\u043e\u0439 \u0441\u0435\u0442\u044c\u044e. \u0415\u0441\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438, \u0442\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u2014 <a href=\"http:\/\/arxiv.org\/pdf\/1409.1556.pdf\">Very Deep Convolutional Networks for Large-Scale Image Recognition<\/a> (\u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0443\u0436\u0435 \u043a\u0430\u043a \u0431\u044b \u043d\u0430\u043c\u0435\u043a\u0430\u0435\u0442 \u043d\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0441\u0435\u0442\u0438). \u0410 \u0442\u0435\u043c, \u043a\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0437\u043d\u0430\u043a\u043e\u043c \u0441\u043e \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/ru.wikipedia.org\/wiki\/\u0421\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u0430\u044f_\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f_\u0441\u0435\u0442\u044c\">\u0440\u0443\u0441\u0441\u043a\u0443\u044e \u0432\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044e<\/a>, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435, \u044d\u0442\u043e \u043d\u0435 \u0437\u0430\u0439\u043c\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 5-10 \u043c\u0438\u043d\u0443\u0442 (\u0438\u043b\u0438 \u0436\u0435 <a href=\"http:\/\/geektimes.ru\/post\/74326\/\">\u0435\u0441\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435<\/a>).<\/p>\n<p>  \u0418\u0442\u0430\u043a, \u0434\u043b\u044f \u0441\u0442\u0430\u0442\u044c\u0438 \u0438 \u043a\u043e\u043d\u043a\u0443\u0440\u0441\u0430 \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439:<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/acf\/d11\/c68\/acfd11c68f9843ea99f1a163073e7528.png\" width=\"640\"\/><\/p>\n<p>  \u041d\u0430 \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u043e\u043d\u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b D \u0438 E. \u041c\u044b \u0434\u043b\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0432\u043e\u0437\u044c\u043c\u0435\u043c 19-\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 E, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0435\u0440\u0432\u044b\u0435 16 \u0441\u043b\u043e\u0435\u0432 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0435, \u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0442\u0440\u0438 \u2014 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0435. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0442\u0440\u0438 \u0441\u043b\u043e\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b \u043a \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0442\u0430\u043a \u0447\u0442\u043e \u0434\u043b\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u043d\u0435\u0434\u043e\u043b\u0433\u043e \u0434\u0443\u043c\u0430\u044f, \u044f \u0432\u044b\u043a\u0438\u043d\u0443\u043b \u0438\u0445 \u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u043b \u043f\u0435\u0440\u0432\u044b\u0435 16 \u0441\u043b\u043e\u0435\u0432, \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0432, \u0447\u0442\u043e \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u044f \u0443\u0434\u0430\u043b\u0438\u043b.<\/p>\n<p>  \u0412 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 caffe \u0434\u043b\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0433\u0443\u0433\u043b\u043e\u0432\u0441\u043a\u0438\u0439 <a href=\"https:\/\/github.com\/google\/protobuf\/\">Protocol Buffers<\/a>, \u0438 \u043f\u043e\u043b\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u0435\u0442\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c. <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">19-layer model<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"javascript\">name: &quot;VGG_ILSVRC_19_layers&quot; input: &quot;data&quot; input_dim: 10 input_dim: 3 input_dim: 224 input_dim: 224 layers {   bottom: &quot;data&quot;   top: &quot;conv1_1&quot;   name: &quot;conv1_1&quot;   type: CONVOLUTION   convolution_param {     num_output: 64     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv1_1&quot;   top: &quot;conv1_1&quot;   name: &quot;relu1_1&quot;   type: RELU } layers {   bottom: &quot;conv1_1&quot;   top: &quot;conv1_2&quot;   name: &quot;conv1_2&quot;   type: CONVOLUTION   convolution_param {     num_output: 64     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv1_2&quot;   top: &quot;conv1_2&quot;   name: &quot;relu1_2&quot;   type: RELU } layers {   bottom: &quot;conv1_2&quot;   top: &quot;pool1&quot;   name: &quot;pool1&quot;   type: POOLING   pooling_param {     pool: MAX     kernel_size: 2     stride: 2   } } layers {   bottom: &quot;pool1&quot;   top: &quot;conv2_1&quot;   name: &quot;conv2_1&quot;   type: CONVOLUTION   convolution_param {     num_output: 128     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv2_1&quot;   top: &quot;conv2_1&quot;   name: &quot;relu2_1&quot;   type: RELU } layers {   bottom: &quot;conv2_1&quot;   top: &quot;conv2_2&quot;   name: &quot;conv2_2&quot;   type: CONVOLUTION   convolution_param {     num_output: 128     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv2_2&quot;   top: &quot;conv2_2&quot;   name: &quot;relu2_2&quot;   type: RELU } layers {   bottom: &quot;conv2_2&quot;   top: &quot;pool2&quot;   name: &quot;pool2&quot;   type: POOLING   pooling_param {     pool: MAX     kernel_size: 2     stride: 2   } } layers {   bottom: &quot;pool2&quot;   top: &quot;conv3_1&quot;   name: &quot;conv3_1&quot;   type: CONVOLUTION   convolution_param {     num_output: 256     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv3_1&quot;   top: &quot;conv3_1&quot;   name: &quot;relu3_1&quot;   type: RELU } layers {   bottom: &quot;conv3_1&quot;   top: &quot;conv3_2&quot;   name: &quot;conv3_2&quot;   type: CONVOLUTION   convolution_param {     num_output: 256     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv3_2&quot;   top: &quot;conv3_2&quot;   name: &quot;relu3_2&quot;   type: RELU } layers {   bottom: &quot;conv3_2&quot;   top: &quot;conv3_3&quot;   name: &quot;conv3_3&quot;   type: CONVOLUTION   convolution_param {     num_output: 256     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv3_3&quot;   top: &quot;conv3_3&quot;   name: &quot;relu3_3&quot;   type: RELU } layers {   bottom: &quot;conv3_3&quot;   top: &quot;conv3_4&quot;   name: &quot;conv3_4&quot;   type: CONVOLUTION   convolution_param {     num_output: 256     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv3_4&quot;   top: &quot;conv3_4&quot;   name: &quot;relu3_4&quot;   type: RELU } layers {   bottom: &quot;conv3_4&quot;   top: &quot;pool3&quot;   name: &quot;pool3&quot;   type: POOLING   pooling_param {     pool: MAX     kernel_size: 2     stride: 2   } } layers {   bottom: &quot;pool3&quot;   top: &quot;conv4_1&quot;   name: &quot;conv4_1&quot;   type: CONVOLUTION   convolution_param {     num_output: 512     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv4_1&quot;   top: &quot;conv4_1&quot;   name: &quot;relu4_1&quot;   type: RELU } layers {   bottom: &quot;conv4_1&quot;   top: &quot;conv4_2&quot;   name: &quot;conv4_2&quot;   type: CONVOLUTION   convolution_param {     num_output: 512     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv4_2&quot;   top: &quot;conv4_2&quot;   name: &quot;relu4_2&quot;   type: RELU } layers {   bottom: &quot;conv4_2&quot;   top: &quot;conv4_3&quot;   name: &quot;conv4_3&quot;   type: CONVOLUTION   convolution_param {     num_output: 512     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv4_3&quot;   top: &quot;conv4_3&quot;   name: &quot;relu4_3&quot;   type: RELU } layers {   bottom: &quot;conv4_3&quot;   top: &quot;conv4_4&quot;   name: &quot;conv4_4&quot;   type: CONVOLUTION   convolution_param {     num_output: 512     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv4_4&quot;   top: &quot;conv4_4&quot;   name: &quot;relu4_4&quot;   type: RELU } layers {   bottom: &quot;conv4_4&quot;   top: &quot;pool4&quot;   name: &quot;pool4&quot;   type: POOLING   pooling_param {     pool: MAX     kernel_size: 2     stride: 2   } } layers {   bottom: &quot;pool4&quot;   top: &quot;conv5_1&quot;   name: &quot;conv5_1&quot;   type: CONVOLUTION   convolution_param {     num_output: 512     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv5_1&quot;   top: &quot;conv5_1&quot;   name: &quot;relu5_1&quot;   type: RELU } layers {   bottom: &quot;conv5_1&quot;   top: &quot;conv5_2&quot;   name: &quot;conv5_2&quot;   type: CONVOLUTION   convolution_param {     num_output: 512     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv5_2&quot;   top: &quot;conv5_2&quot;   name: &quot;relu5_2&quot;   type: RELU } layers {   bottom: &quot;conv5_2&quot;   top: &quot;conv5_3&quot;   name: &quot;conv5_3&quot;   type: CONVOLUTION   convolution_param {     num_output: 512     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv5_3&quot;   top: &quot;conv5_3&quot;   name: &quot;relu5_3&quot;   type: RELU } layers {   bottom: &quot;conv5_3&quot;   top: &quot;conv5_4&quot;   name: &quot;conv5_4&quot;   type: CONVOLUTION   convolution_param {     num_output: 512     pad: 1     kernel_size: 3   } } layers {   bottom: &quot;conv5_4&quot;   top: &quot;conv5_4&quot;   name: &quot;relu5_4&quot;   type: RELU } layers {   bottom: &quot;conv5_4&quot;   top: &quot;pool5&quot;   name: &quot;pool5&quot;   type: POOLING   pooling_param {     pool: MAX     kernel_size: 2     stride: 2   } } layers {   bottom: &quot;pool5&quot;   top: &quot;fc6&quot;   name: &quot;fc6&quot;   type: INNER_PRODUCT   inner_product_param {     num_output: 4096   } } layers {   bottom: &quot;fc6&quot;   top: &quot;fc6&quot;   name: &quot;relu6&quot;   type: RELU } layers {   bottom: &quot;fc6&quot;   top: &quot;fc6&quot;   name: &quot;drop6&quot;   type: DROPOUT   dropout_param {     dropout_ratio: 0.5   } } layers {   bottom: &quot;fc6&quot;   top: &quot;fc7&quot;   name: &quot;fc7&quot;   type: INNER_PRODUCT   inner_product_param {     num_output: 4096   } } layers {   bottom: &quot;fc7&quot;   top: &quot;fc7&quot;   name: &quot;relu7&quot;   type: RELU } layers {   bottom: &quot;fc7&quot;   top: &quot;fc7&quot;   name: &quot;drop7&quot;   type: DROPOUT   dropout_param {     dropout_ratio: 0.5   } } layers {   bottom: &quot;fc7&quot;   top: &quot;fc8&quot;   name: &quot;fc8&quot;   type: INNER_PRODUCT   inner_product_param {     num_output: 1000   } } layers {   bottom: &quot;fc8&quot;   top: &quot;prob&quot;   name: &quot;prob&quot;   type: SOFTMAX } <\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u0443\u044e \u0442\u0440\u0435\u043f\u0430\u043d\u0430\u0446\u0438\u044e, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0432\u0441\u0435 \u0441\u043b\u043e\u0438, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u043e\u0442 <b>fc6<\/b> (full connected \u0441\u043b\u043e\u0439). \u041d\u043e \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0442\u043e\u0433\u0434\u0430 \u0432\u044b\u0445\u043e\u0434 \u0441\u0435\u0442\u0438 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d \u0441\u0432\u0435\u0440\u0445\u0443, \u0442.\u043a. \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f <a href=\"http:\/\/en.wikipedia.org\/wiki\/Rectifier_(neural networks)\">rectified linear unit<\/a>:<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/64b\/98f\/0dd\/64b98f0dd17b4ddebfa36f7cb0d0649a.gif\"\/><\/p>\n<p>  \u0422\u0430\u043a\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0443\u0434\u043e\u0431\u043d\u043e \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0432\u0437\u044f\u0442\u0438\u0435\u043c <a href=\"http:\/\/en.wikipedia.org\/wiki\/Sigmoid_function\">\u0441\u0438\u0433\u043c\u043e\u0439\u0434\u0430<\/a> \u043e\u0442 \u0432\u044b\u0445\u043e\u0434\u0430 \u0441\u0435\u0442\u0438. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u0434\u0435\u044f\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u0431\u0443\u0434\u0443\u0442 \u043b\u0438\u0431\u043e 0, \u043b\u0438\u0431\u043e \u043a\u0430\u043a\u043e\u0435-\u043b\u0438\u0431\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u0441\u043b\u0435 \u0432\u0437\u044f\u0442\u0438\u044f \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0430 \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e \u0435\u0434\u0438\u043d\u0438\u0446 \u0438 0.5 (\u0441\u0438\u0433\u043c\u043e\u0438\u0434 \u043e\u0442 0 \u0440\u0430\u0432\u0435\u043d 0.5). \u0415\u0441\u043b\u0438 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u043a \u043e\u0442 0 \u0434\u043e 1, \u0442\u043e \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u0438\u0437 \u043d\u0438\u0445 \u0431\u0443\u0434\u0443\u0442 \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 \u043d\u0443\u043b\u044f \u043b\u0438\u0431\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u0430 \u0442\u0440\u0430\u043a\u0442\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u0442\u044c \u043b\u0438 \u043d\u0430 \u043d\u0435\u043c \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u043b\u0430\u0437).<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/6ce\/f51\/749\/6cef517499c54f108638661754479ba7.gif\"\/><\/p>\n<p>  \u0412\u043e\u0442 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0442\u0430\u043a\u043e\u0439 \u0441\u0435\u0442\u0438 \u0432 \u043c\u043e\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435:<\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043c\u043e\u0438\u0434 \u043e\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f<\/b><\/p>\n<div class=\"spoiler_text\">0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  1.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.994934<br \/>  0.0<br \/>  0.0<br \/>  0.999047<br \/>  0.829219<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.997255<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  0.999382<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.988762<br \/>  0.0<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  1.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.847886<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.957379<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  1.0<br \/>  0.999998<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  1.0<br \/>  0.999999<br \/>  0.0<br \/>  0.54814<br \/>  0.739735<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.912179<br \/>  0.0<br \/>  0.0<br \/>  0.78984<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.681776<br \/>  0.0<br \/>  0.0<br \/>  0.991501<br \/>  0.0<br \/>  0.999999<br \/>  0.999152<br \/>  0.0<br \/>  0.0<br \/>  1.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.999996<br \/>  1.0<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  0.880588<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.836756<br \/>  0.995515<br \/>  0.0<br \/>  0.999354<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  1.0<br \/>  1.0<br \/>  0.0<br \/>  0.999897<br \/>  0.0<br \/>  0.953126<br \/>  0.0<br \/>  0.0<br \/>  0.999857<br \/>  0.0<br \/>  0.0<br \/>  0.937695<br \/>  0.999983<br \/>  1.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  0.0<br \/>  1.0<br \/>  0.0<br \/>  0.0<br \/>  0.0  <\/div>\n<\/div>\n<p>  \u0412 caffe \u0442\u0430\u043a\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<pre><code class=\"javascript\"> layers {    bottom: &quot;pool5&quot;    top: &quot;sigmoid1&quot;    name: &quot;sigmoid1&quot;    type: SIGMOID } <\/code><\/pre>\n<p>  \u0412 caffe \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u043e\u0431\u0435\u0440\u0442\u043a\u0430 \u043d\u0430 \u043f\u0438\u0442\u043e\u043d\u0435, \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043a\u043e\u0434 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0441\u0435\u0442\u044c \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0443:<\/p>\n<pre><code class=\"python\">caffe.set_mode_gpu() net = caffe.Classifier('deploy.prototxt', 'VGG_ILSVRC_19_layers.caffemodel',                        channel_swap=(2,1,0),                        raw_scale=255,                        image_dims=(options.width, options.height))  #..................  out = net.forward_all(**{net.inputs[0]: caffe_in}) out = out['sigmoid1'].reshape(out['sigmoid1'].shape[0], np.prod(out['sigmoid1'].shape[1:])) out = (out - 0.5)\/0.5 <\/code><\/pre>\n<p>  \u0418\u0442\u0430\u043a, \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0443 \u043d\u0430\u0441 \u043d\u0430 \u0440\u0443\u043a\u0430\u0445 \u0435\u0441\u0442\u044c \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 (\u043d\u0443 \u0438\u043b\u0438 \u043f\u043e\u0447\u0442\u0438) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0432 \u043c\u043e\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 4608, \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043e\u0431\u0443\u0447\u0438\u0442\u044c Deep Befief Network \u0434\u043b\u044f \u0441\u0436\u0430\u0442\u0438\u044f \u044d\u0442\u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439. \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0430\u043b\u0430 \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u0441\u0435\u0442\u044c\u044e. \u041d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u044f\u0441\u044c, \u043f\u043e\u043a\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043d\u0435\u0439 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f DBN, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u043d\u0430 \u043f\u043e\u0438\u0441\u043a: \u0431\u0443\u0434\u0435\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438 \u0434\u043b\u044f \u043d\u0435\u0433\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445, \u0432 \u0441\u043c\u044b\u0441\u043b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0425\u044d\u043c\u043c\u0438\u043d\u0433\u0430. \u0417\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u044d\u0442\u043e \u0432\u0441\u0435 \u043d\u0430 \u0441\u044b\u0440\u044b\u0445 \u0444\u0438\u0447\u0430\u0445, \u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0431\u0435\u0437 \u0432\u0441\u044f\u043a\u043e\u0433\u043e \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<p>  \u041f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f: \u043f\u0435\u0440\u0432\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u2014 \u044d\u0442\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0437\u0430\u043f\u0440\u043e\u0441, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0438\u0437 \u0431\u0430\u0437\u044b; \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u2014 \u044d\u0442\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u043a \u043d\u0435\u0439.<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/af0\/113\/3cd\/af01133cd2454eeab38261c10163c201.png\"\/><\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0432 \u0441\u043f\u043e\u0439\u043b\u0435\u0440\u0435<\/b><\/p>\n<div class=\"spoiler_text\"><img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/bf0\/715\/dbe\/bf0715dbef10421f811feeac61f67a4b.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/ded\/6df\/aff\/ded6dfaff3a44965a03765562518974e.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/8c5\/aff\/7af\/8c5aff7afc3d4b759bb7b202a24d851b.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/f88\/60d\/f0a\/f8860df0ad484ca48744b6ba73d95ae5.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/26f\/397\/b31\/26f397b312ac41c08791323cce4a56b7.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/68d\/2b5\/bf9\/68d2b5bf925145f6806e533d57b1973a.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/715\/eae\/643\/715eae6439324bdd961aa63344f481a0.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/452\/e22\/01d\/452e2201d2c94a30a9473b01dc6b3eb0.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/c48\/065\/92e\/c4806592ea3943289dce2739d93c599e.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/c23\/d0a\/5b3\/c23d0a5b3f0b4f558540d00ff53377fe.png\"\/>  <\/p>\n<hr\/>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/83d\/d1f\/650\/83dd1f6506b342b3ae4c9d28f757b95a.png\"\/>  <\/div>\n<\/div>\n<h1>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0438 \u0441\u0441\u044b\u043b\u043a\u0438<\/h1>\n<p>  \u042f \u0434\u0443\u043c\u0430\u044e, \u0432\u044b \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043b\u043e\u0438, \u043d\u043e \u0438 \u043d\u0430\u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u0442\u0435 \u0438\u0445 \u043f\u043e-\u0441\u0432\u043e\u0435\u043c\u0443. \u0421\u043a\u0430\u0436\u0435\u043c, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0441\u0432\u043e\u0435\u0439 \u0441\u0435\u0442\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0434\u0440\u0443\u0433\u0443\u044e \u0441\u0435\u0442\u044c, \u0430 \u0437\u0430\u0442\u0435\u043c \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u043a\u043b\u0430\u0441\u0441\u0430\u0445. <\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/b5b\/7db\/a7d\/b5b7dba7da6946c4a90fdc0ec9252729.png\" width=\"480\"\/><\/p>\n<p>  \u0410 \u0435\u0441\u043b\u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0443, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c\u0443 \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438? \u041f\u043e\u0436\u0430\u043b\u0443\u0439\u0441\u0442\u0430: <a href=\"http:\/\/ai.stanford.edu\/~ang\/papers\/nips09-AudioConvolutionalDBN.pdf\">\u0432\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u0442\u0430\u0442\u044c\u0438<\/a>, \u0433\u0434\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f convolutional deep belief networks \u0434\u043b\u044f \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438\u0437 \u0430\u0443\u0434\u0438\u043e\u0441\u0438\u0433\u043d\u0430\u043b\u043e\u0432. \u041f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u0435\u0440\u0442\u043a\u0438 \u0434\u043b\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0435\u0441\u043e\u0432 cDBN? \u0427\u0435\u043c \u0442\u0430\u043a\u0430\u044f \u0432\u043e\u0442 \u0441\u043f\u0435\u043a\u0442\u0440\u043e\u0433\u0440\u0430\u043c\u0430 \u043d\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u043d\u0435\u0439:<\/p>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/ecb\/02c\/953\/ecb02c953ea74781a1ee5e0831678be7.png\" width=\"480\"\/> <\/p>\n<p>  \u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c transfer learning, \u0442\u043e <a href=\"http:\/\/arxiv.org\/pdf\/1502.01710v1.pdf\">\u0432\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u041b\u0435\u041a\u0443\u043d\u0430<\/a> \u0434\u043b\u044f \u0441\u0442\u0430\u0440\u0442\u0430. \u0418 \u0434\u0430, \u0442\u0430\u043c \u0442\u043e\u0436\u0435 \u0442\u0435\u043a\u0441\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p>  \u0412 \u043e\u0431\u0449\u0435\u043c, transfer learning \u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u0430\u044f \u0448\u0442\u0443\u043a\u0430, \u0430 <a href=\"http:\/\/caffe.berkeleyvision.org\/\">caffe<\/a> \u2014 \u043a\u0440\u0443\u0442\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>  \u0421\u0441\u044b\u043b\u043e\u043a \u043c\u043d\u043e\u0433\u043e \u0432 \u0442\u0435\u043a\u0441\u0442\u0435, \u043f\u0440\u0438\u0432\u0435\u0434\u0443 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437 \u043d\u0438\u0445 \u0442\u0443\u0442:  <\/p>\n<ul>\n<li> <a href=\"http:\/\/spectrum.ieee.org\/consumer-electronics\/portable-devices\/loser-tongue-vision\">Tongue Vision<\/a><\/li>\n<li> <a href=\"http:\/\/www.cs.stanford.edu\/people\/ang\/\/papers\/icml07-selftaughtlearning.pdf\">Self-taught Learning: Transfer Learning from Unlabeled Data<\/a><\/li>\n<li> <a href=\"http:\/\/ftp.cs.wisc.edu\/machine-learning\/shavlik-group\/torrey.handbook09.pdf\">Transfer Learning<\/a><\/li>\n<li> <a href=\"http:\/\/image-net.org\/challenges\/LSVRC\/2014\/index\">Large Scale Visual Recognition Challenge 2014 (ILSVRC2014)<\/a><\/li>\n<li> <a href=\"http:\/\/www.joostrekveld.net\/?p=383\">electricity for eyes<\/a><\/li>\n<li> <a href=\"http:\/\/ftp.cs.nyu.edu\/~fergus\/papers\/zeilerECCV2014.pdf\">Visualizing and Understanding Convolutional Networks<\/a><\/li>\n<li> <a href=\"http:\/\/www.jmlr.org\/papers\/volume11\/vincent10a\/vincent10a.pdf\">Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion<\/a><\/li>\n<li> <a href=\"http:\/\/www.cs.toronto.edu\/~fritz\/absps\/sh.pdf\">Semantic Hashing<\/a><\/li>\n<li> <a href=\"http:\/\/www.robots.ox.ac.uk\/~vgg\/\">Visual Geometry Group<\/a><\/li>\n<li> <a href=\"http:\/\/www.robots.ox.ac.uk\/~vgg\/research\/very_deep\/\">Very Deep Convolutional Networks for Large-Scale Visual Recognition (model)<\/a><\/li>\n<li> <a href=\"http:\/\/caffe.berkeleyvision.org\/\">Caffe<\/a><\/li>\n<li> <a href=\"http:\/\/arxiv.org\/pdf\/1409.1556.pdf\">Very Deep Convolutional Networks for Large-Scale Visual Recognition (article)<\/a><\/li>\n<li> <a href=\"http:\/\/www.qualcomm.com\/media\/documents\/files\/research-ar-lecture-series-slides-learning-better-image-features.pdf\">Image representations for large-scale visual recognition (A. Vedaldi from VGG)<\/a><\/li>\n<\/ul>\n<div class=\"clear\"><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"http:\/\/habrahabr.ru\/post\/252965\/\"> http:\/\/habrahabr.ru\/post\/252965\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>     \t<img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/5e6\/c14\/474\/5e6c14474d2c47a28d1688a28ab00c6f.jpg\" align=\"right\" width=\"320\"\/> \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440, \u0434\u0430\u0432\u043d\u043e \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0438\u0441\u044c. \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u043c\u043d\u0435 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u0442\u0430\u043a\u043e\u043c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u043e\u0432\u043e\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043a\u0430\u043a <a href=\"http:\/\/en.wikipedia.org\/wiki\/Inductive_transfer\">transfer learning<\/a>. \u0422\u0430\u043a \u043a\u0430\u043a \u044f \u043d\u0435 \u043d\u0430\u0448\u0435\u043b \u043a\u0430\u043a\u043e\u0433\u043e-\u043b\u0438\u0431\u043e \u0443\u0441\u0442\u043e\u044f\u0432\u0448\u0435\u0433\u043e\u0441\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u044d\u0442\u043e\u0433\u043e \u0442\u0435\u0440\u043c\u0438\u043d\u0430, \u0442\u043e \u0438 \u0432 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0438 \u043f\u043e\u0441\u0442\u0430 \u0444\u0438\u0433\u0443\u0440\u0438\u0440\u0443\u0435\u0442 \u0445\u043e\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u043e\u0439, \u043d\u043e \u0431\u043b\u0438\u0437\u043a\u0438\u0439 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0442\u0435\u0440\u043c\u0438\u043d, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u0430\u043a \u0431\u044b \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u0438\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u043e\u0439 \u043a \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043e\u0440\u0438\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0437\u043d\u0430\u043d\u0438\u0439 \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a \u0434\u0440\u0443\u0433\u043e\u0439. \u0418\u0442\u0430\u043a, \u043f\u043b\u0430\u043d \u0442\u0430\u043a\u043e\u0439: \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u0438\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u0438; \u043f\u043e\u0441\u043b\u0435 \u043a\u043e\u0441\u043d\u0435\u043c\u0441\u044f \u043e\u0442\u043b\u0438\u0447\u0438\u044f transfer learning \u043e\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u0438\u0434\u0435\u0438 <a href=\"http:\/\/habrahabr.ru\/post\/163819\/\">\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438<\/a>; \u0430 \u0432 \u043a\u043e\u043d\u0446\u0435 \u043e\u0431\u0441\u0443\u0434\u0438\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0445\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u0440\u043e\u043c\u043d\u0438\u0447\u0430\u0442\u044c \u0438 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0433\u043b\u0443\u0431\u043e\u043a\u0443\u044e (19 \u0441\u043b\u043e\u0435\u0432) \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u0435\u0439 \u043a\u043e\u043d\u043a\u0443\u0440\u0441\u0430 <a href=\"http:\/\/image-net.org\/challenges\/LSVRC\/2014\/results#clsloc\">imagenet 2014 \u0433\u043e\u0434\u0430<\/a> \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u00ab\u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u00bb (<a href=\"http:\/\/www.robots.ox.ac.uk\/~vgg\/research\/very_deep\/\">Visual Geometry Group<\/a>, University of Oxford), \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0435\u0439 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0442\u0440\u0435\u043f\u0430\u043d\u0430\u0446\u0438\u044e, \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0435\u0432 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438\u0445 \u0432 \u0441\u0432\u043e\u0438\u0445 \u0446\u0435\u043b\u044f\u0445. \u041f\u043e\u0435\u0445\u0430\u043b\u0438.  <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-253449","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/253449","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=253449"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/253449\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=253449"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=253449"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=253449"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}