{"id":159909,"date":"2012-12-08T17:25:04","date_gmt":"2012-12-08T13:25:04","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=159909"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=159909","title":{"rendered":"<span class=\"post_title\">\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f Restricted Boltzmann machine \u043d\u0430 c#<\/span>"},"content":{"rendered":"<div class=\"content html_format\">   \t\u041f\u0440\u0438\u0432\u0435\u0442. \u0417\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0441\u044f <a href=\"https:\/\/class.coursera.org\/neuralnets-2012-001\/\">\u043a\u0443\u0440\u0441 \u043f\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c \u0441\u0435\u0442\u044f\u043c<\/a>. \u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u043a\u0443\u0440\u0441, \u043d\u043e \u043c\u0430\u043b\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438. \u0422\u0430\u043a \u0447\u0442\u043e \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u0438 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u043c <a href=\"http:\/\/en.wikipedia.org\/wiki\/Restricted_Boltzmann_machine\">\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u0430\u0448\u0438\u043d\u0443 \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430<\/a> \u2014 <a href=\"http:\/\/ru.wikipedia.org\/wiki\/\u0421\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439\">\u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e<\/a>, <a href=\"http:\/\/en.wikipedia.org\/wiki\/Generative_model\">\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e<\/a> \u043c\u043e\u0434\u0435\u043b\u044c <a href=\"http:\/\/ru.wikipedia.org\/wiki\/\u0418\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f_\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f_\u0441\u0435\u0442\u044c\">\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438<\/a>. \u041e\u0431\u0443\u0447\u0438\u043c \u0435\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <a href=\"http:\/\/deeplearning.net\/tutorial\/rbm.html#contrastive-divergence-cd-k\">Contrastive Divergence (CD-k)<\/a>, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u043e\u0440\u043e\u043c <a href=\"http:\/\/www.cs.toronto.edu\/~hinton\/\">\u0414\u0436\u0435\u0444\u0444\u0440\u0438 \u0425\u0438\u043d\u0442\u043e\u043d\u043e\u043c<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u0441\u0442\u0430\u0442\u0438 \u0438 \u0432\u0435\u0434\u0435\u0442 \u0442\u043e\u0442 \u043a\u0443\u0440\u0441. \u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 \u043f\u0435\u0447\u0430\u0442\u043d\u044b\u0445 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0431\u0443\u043a\u0432. \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u043f\u043e\u0441\u0442\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438, \u0438 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0435\u0441\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0430\u0448\u0438\u043d\u044b \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430. \u041a\u0442\u043e \u043d\u0435 \u0431\u043e\u0438\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u043a \u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u043d\u0435\u0439 \u0442\u0435\u043a\u0441\u0442\u0430, \u043f\u0440\u043e\u0448\u0443 \u043f\u043e\u0434 \u043a\u0430\u0442.<\/p>\n<p>  <a name=\"habracut\"><\/a><\/p>\n<h4>\u041e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0442\u043a\u0438\u0439 \u044d\u043a\u0441\u043a\u0443\u0440\u0441 \u0432 \u0438\u0441\u0442\u043e\u0440\u0438\u044e<\/h4>\n<p>  \u042f \u043d\u0435 \u0431\u0443\u0434\u0443 \u043e\u0441\u043e\u0431\u043e \u0437\u0430\u043e\u0441\u0442\u0440\u044f\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u044b \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430 (RBM), \u0443\u043f\u043e\u043c\u044f\u043d\u0443 \u043b\u0438\u0448\u044c, \u0447\u0442\u043e \u043d\u0430\u0447\u0430\u043b\u043e\u0441\u044c \u0432\u0441\u0435 \u0441 <a href=\"http:\/\/en.wikipedia.org\/wiki\/Recurrent_neural_network\">\u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f \u0441\u0435\u0442\u0438 \u0441 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u044c\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u0440\u0430\u0439\u043d\u0435 \u0442\u0440\u0443\u0434\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c. \u0412 \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0437\u0430\u0442\u0440\u0443\u0434\u043d\u0435\u043d\u0438\u044f \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043d\u0430\u0440\u043e\u0434 \u0441\u0442\u0430\u043b \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 <i>\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435<\/i> \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0442\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u044b\u043b\u0430 <a href=\"http:\/\/en.wikipedia.org\/wiki\/Hopfield_network\">\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0425\u043e\u043f\u0444\u0438\u043b\u0434\u0430<\/a>, \u0438 \u043e\u043d \u0436\u0435 \u0432\u0432\u0435\u043b \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0441\u0435\u0442\u0438, \u0441\u0440\u0430\u0432\u043d\u0438\u0432 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u0443\u044e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0443 \u0441 \u0442\u0435\u0440\u043c\u043e\u0434\u0438\u043d\u0430\u043c\u0438\u043a\u043e\u0439:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+E+%3D+-%5Cfrac%7B1%7D%7B2%7D%5Csum_%7Bij%7Dw_%7Bij%7Ds_i+s_j+%2B+%5Csum_i+b_i+s_i\" alt=\"image\"\/>  <\/p>\n<ul>\n<li><i>w<\/i> \u2014 \u0432\u0435\u0441 \u043c\u0435\u0436\u0434\u0443 \u043d\u0435\u0439\u0440\u043e\u043d\u0430\u043c\u0438<\/li>\n<li><i>b<\/i> \u2014 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u0430<\/li>\n<li><i>s<\/i> \u2014 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u0430<\/li>\n<\/ul>\n<p>  \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0448\u0430\u0433\u043e\u043c \u043d\u0430 \u043f\u0443\u0442\u0438 \u043a RBM \u0431\u044b\u043b\u0438 \u043e\u0431\u044b\u043a\u043d\u043e\u0432\u0435\u043d\u043d\u044b\u0435 <a href=\"http:\/\/en.wikipedia.org\/wiki\/Boltzmann_machine\">\u043c\u0430\u0448\u0438\u043d\u044b \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430<\/a>, \u043e\u043d\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u0441\u0435\u0442\u0438 \u0425\u043e\u043f\u0444\u0438\u043b\u0434\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e \u0438\u043c\u0435\u044e\u0442 <a href=\"http:\/\/ru.wikipedia.org\/wiki\/\u0421\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439\">\u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043f\u0440\u0438\u0440\u043e\u0434\u0443<\/a>, \u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u043f\u043e\u0434\u0435\u043b\u0435\u043d\u044b \u043d\u0430 \u0434\u0432\u0435 \u0433\u0440\u0443\u043f\u043f\u044b, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0438\u0435 \u043e\u0431\u043e\u0437\u0440\u0435\u0432\u0430\u0435\u043c\u044b\u0435 \u0438 \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f (\u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441\u043e <a href=\"http:\/\/en.wikipedia.org\/wiki\/Hidden_Markov_model\">\u0441\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u041c\u0430\u0440\u043a\u043e\u0432\u0430<\/a>, \u043a\u0441\u0442\u0430\u0442\u0438 \u0425\u0438\u043d\u0442\u043e\u043d \u043f\u0440\u0438\u0437\u043d\u0430\u0435\u0442\u0441\u044f \u0432 \u043b\u0435\u043a\u0446\u0438\u044f\u0445, \u0447\u0442\u043e \u043e\u0442\u0442\u0443\u0434\u0430 \u0438 \u043f\u043e\u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0441\u043b\u043e\u0432\u043e \u00ab\u0441\u043a\u0440\u044b\u0442\u044b\u0439\u00bb). \u042d\u043d\u0435\u0440\u0433\u0438\u044f \u0432 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 \u0431\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430 \u0432\u044b\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+E+%3D+-%5Csum_%7Bi+%3C+j%7Dw_%7Bij%7Ds_i+s_j+-+%5Csum_i+b_i+s_i\" alt=\"image\"\/><\/p>\n<p>  \u041c\u0430\u0448\u0438\u043d\u0430 \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u043d\u0435 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0444, \u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043b\u044e\u0431\u044b\u0435 \u0434\u0432\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430. <br \/>  <img decoding=\"async\" src=\"http:\/\/upload.wikimedia.org\/wikipedia\/commons\/thumb\/7\/7a\/Boltzmannexamplev1.png\/220px-Boltzmannexamplev1.png\" alt=\"image\"\/><\/p>\n<p>  \u041d\u043e \u0435\u0441\u043b\u0438 \u0443\u0431\u0440\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0433\u0440\u0443\u043f\u043f\u044b, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f <a href=\"http:\/\/en.wikipedia.org\/wiki\/Bipartite_graph\">\u0434\u0432\u0443\u0434\u043e\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0444<\/a>, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 RBM.<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/upload.wikimedia.org\/wikipedia\/commons\/thumb\/e\/e8\/Restricted_Boltzmann_machine.svg\/220px-Restricted_Boltzmann_machine.svg.png\" alt=\"image\"\/><\/p>\n<p>  \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u0438 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u043e\u0434\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b, \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u0431\u0443\u0434\u0443\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430. \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0442\u0435\u043e\u0440\u0438\u0438, \u0433\u0434\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438\u0433\u0440\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e.<\/p>\n<h4>\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u0438 \u0446\u0435\u043b\u044c<\/h4>\n<p>  RBM \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u041c\u0430\u0440\u043a\u043e\u0432\u0430. \u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0440\u044f\u0434 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c (\u0432\u0438\u0434\u0438\u043c\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u044b) \u0438 \u0440\u044f\u0434 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043a\u0440\u044b\u0442\u044b, \u0438 \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u043d\u0430 \u043f\u0440\u044f\u043c\u0443\u044e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0438\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 (\u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u044b). \u041d\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c. \u041e\u0431\u0443\u0447\u0438\u0432 \u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u044b \u0442\u0430\u043a \u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u044b \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0438\u0434\u0438\u043c\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u0437\u043d\u0430\u044f \u0441\u043a\u0440\u044b\u0442\u044b\u0435 (<a href=\"http:\/\/en.wikipedia.org\/wiki\/Bayes%27_theorem\">\u0442\u0435\u043e\u0440\u0435\u043c\u0443 \u0411\u0430\u0439\u0435\u0441\u0430<\/a> \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u043b =), \u0438 \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0442\u043e\u0433\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>  \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438: \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0431\u044b\u043b \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043e\u043a \u043a \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0443. \u041f\u043e\u0434 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c \u0438\u0437 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u043c \u0432\u044b\u0432\u043e\u0434\u043e\u043c \u0438\u0437 \u043e\u0431\u043e\u0437\u0440\u0435\u0432\u0430\u0435\u043c\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u0442.\u0435. \u0438\u0437 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430.<\/p>\n<h4>\u0422\u0435\u043e\u0440\u0438\u044f<\/h4>\n<p>  \u0412\u0432\u0435\u0434\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:  <\/p>\n<ul>\n<li><i>w_ij<\/i> \u2014 \u0432\u0435c \u043c\u0435\u0436\u0434\u0443 i-\u044b\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u043c <\/li>\n<li><i>a_i<\/i> \u2014 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u0430<\/li>\n<li><i>b_j<\/i> \u2014 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u0430<\/li>\n<li><i>v_i<\/i> \u2014 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u0430<\/li>\n<li><i>h_j<\/i> \u2014 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u0430<\/li>\n<\/ul>\n<p>  \u041c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0438\u0437 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043d\u043e \u044d\u0442\u043e \u043b\u0435\u0433\u043a\u043e \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0438\u0437 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 n \u0432\u0438\u0434\u0438\u043c\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u0438 m \u0441\u043a\u0440\u044b\u0442\u044b\u0445. \u0412\u0432\u0435\u0434\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0434\u043b\u044f RBM:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+E%28v%2C+h%29+%3D+-%5Csum_i%5En+a_i+v_i+-+%5Csum_j%5Em+b_j+h_j+-+%5Csum_i%5En+%5Csum_j%5Em+w_%7Bij%7D+v_i+h_j\" alt=\"image\"\/><\/p>\n<p>  \u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u0430\u0440 <i>v<\/i> \u0438 <i>h<\/i> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+p%28v%2C+h%29+%3D+%5Cfrac%7B1%7D%7BZ%7D+e%5E%7B-E%28v%2C+h%29%7D\" alt=\"image\"\/><\/p>\n<p>  \u0433\u0434\u0435 <i>Z<\/i> \u2014 \u044d\u0442\u043e \u0441\u0442\u0430\u0442\u0441\u0443\u043c\u043c\u0430 \u0438\u043b\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440 (<a href=\"http:\/\/en.wikipedia.org\/wiki\/Partition_function_(statistical_mechanics)\">partition function<\/a>) \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430 (\u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u043e N \u043e\u0431\u0440\u0430\u0437\u043e\u0432 v, \u0438 M \u043e\u0431\u0440\u0430\u0437\u043e\u0432 h):<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+Z+%3D+%5Csum_r%5EN+%5Csum_t%5EM+e%5E%7B-E%28v%5E%7B%28r%29%7D%2C+h%5E%7B%28t%29%7D%29%7D%7D\" alt=\"image\"\/><\/p>\n<p>  \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 <i>v<\/i> \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c\u0441\u044f \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u043e \u0432\u0441\u0435\u043c <i>h<\/i>:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+p%28v%29+%3D+%5Csum_t%5EM+P%28v%2C+h%5E%7B%28t%29%7D%29+%3D+%5Cfrac%7B1%7D%7BZ%7D+%5Csum_t%5EM+e%5E%7B-E%28v%2C+h%5E%7B%28t%29%7D%29%7D\" alt=\"image\"\/><\/p>\n<p>  \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u0440\u0438 \u0434\u0430\u043d\u043d\u043e\u043c <i>v<\/i> \u043e\u0434\u043d\u043e \u0438\u0437 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 <i>h_k = 1<\/i>. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u043e\u0434\u0438\u043d \u043d\u0435\u0439\u0440\u043e\u043d, \u0442\u043e\u0433\u0434\u0430 \u044d\u043d\u0435\u0440\u0433\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u0440\u0438 1 \u0431\u0443\u0434\u0435\u0442 E1, \u0430 \u043f\u0440\u0438 0 \u0431\u0443\u0434\u0435\u0442 E0, \u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c 1 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u0430 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u0430 \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043e\u0431\u043e\u0437\u0440\u0435\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435\u043c:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+P%28h_k+%3D+1+%7C+v%29+%3D+%5Cfrac%7Be%5E%7B-E_1%7D%7D%7Be%5E%7B-E_1%7D+%2B+e%5E%7B-E_0%7D%7D+%3D+%5Cfrac%7B1%7D%7B1+%2B+e%5E%7BE_1+-+E_0%7D%7D+%3D+%5Cfrac%7B1%7D%7B1+%2B+e%5E%7B-b-%5Csum_i%5En+v_i+w_%7Bik%7D%7D%7D+%3D+%5Csigma+%5Cleft%28+-b-%5Csum_i%5En+v_i+w_%7Bik%7D+%5Cright%29\" alt=\"image\"\/><\/p>\n<p>  \u0410 \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u0438 \u0434\u0430\u043d\u043d\u043e\u043c <i>v<\/i> \u0432\u0441\u0435 <i>h_k<\/i> \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430, \u0442\u043e:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+P%28h+%7C+v%29+%3D+%5Cprod_j%5Em+P%28h_j+%7C+v%29\" alt=\"image\"\/><\/p>\n<p>  \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0438 \u0434\u043b\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 <i>v<\/i> \u043f\u0440\u0438 \u0434\u0430\u043d\u043d\u043e\u043c <i>h<\/i>. <\/p>\n<p>  \u041a\u0430\u043a \u043c\u044b \u043f\u043e\u043c\u043d\u0438\u043c, \u0446\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0431\u044b\u043b \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043e\u043a \u043a \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0443, \u0438\u043b\u0438 \u0436\u0435, \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c <i>p(v)<\/i>. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u0447\u0430\u0441\u0442\u043d\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<ul>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+E%28v%2C+h%29%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+-v_i+h_j\" alt=\"image\"\/>  <\/li>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+E%28v%2C+h%29%7D%7B%5Cpartial+a_i%7D+%3D+-v_i\" alt=\"image\"\/>  <\/li>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+E%28v%2C+h%29%7D%7B%5Cpartial+b_j%7D+%3D+-h_i\" alt=\"image\"\/>  <\/li>\n<\/ul>\n<p>  \u0422\u0430\u043a\u0436\u0435 \u043d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043e\u0442 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u044d\u043d\u0435\u0440\u0433\u0438\u0438:  <\/p>\n<ul>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+e%5E%7B-E%28v%2C+h%29%7D%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+e%5E%7B-E%28v%2C+h%29%7D+%5Cfrac%7B%5Cpartial+%5Cleft%28-E%28v%2C+h%29%5Cright%29%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+v_i+h_j+e%5E%7B-E%28v%2C+h%29%7D\" alt=\"image\"\/>  <\/li>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+e%5E%7B-E%28v%2C+h%29%7D%7D%7B%5Cpartial+a_%7Bi%7D%7D+%3D+v_i+e%5E%7B-E%28v%2C+h%29%7D\" alt=\"image\"\/>  <\/li>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+e%5E%7B-E%28v%2C+h%29%7D%7D%7B%5Cpartial+b_%7Bj%7D%7D+%3D+h_j+e%5E%7B-E%28v%2C+h%29%7D\" alt=\"image\"\/>  <\/li>\n<\/ul>\n<p>  \u041f\u0440\u043e\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c \u0441\u0442\u0430\u0442\u0441\u0443\u043c\u043c\u0443:<\/p>\n<ul>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+Z%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+%5Csum_r%5EN+%5Csum_t%5EM+%5Cfrac%7B%5Cpartial+e%5E%7B-E%28v%5E%7B%28r%29%7D%2C+h%5E%7B%28t%29%7D%29%7D%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+%5Csum_r%5EN+%5Csum_t%5EM+v_%7Bi%7D%5E%7B%28r%29%7D+h_j%5E%7B%28t%29%7D+e%5E%7B-E%28v%5E%7B%28r%29%7D%2C+h%5E%7B%28t%29%7D%29%7D\" alt=\"image\"\/>  <\/li>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+Z%7D%7B%5Cpartial+a_i%7D+%3D+%5Csum_r%5EN+%5Csum_t%5EM+v_%7Bi%7D%5E%7B%28r%29%7D+e%5E%7B-E%28v%5E%7B%28r%29%7D%2C+h%5E%7B%28t%29%7D%29%7D\" alt=\"image\"\/><\/li>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+Z%7D%7B%5Cpartial+b_j%7D+%3D+%5Csum_r%5EN+%5Csum_t%5EM+h_%7Bj%7D%5E%7B%28t%29%7D+e%5E%7B-E%28v%5E%7B%28r%29%7D%2C+h%5E%7B%28t%29%7D%29%7D\" alt=\"image\"\/><\/li>\n<\/ul>\n<p>  \u041c\u044b \u043f\u043e\u0447\u0442\u0438 \u0443 \u0446\u0435\u043b\u0438 -) \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0447\u0430\u0441\u0442\u043d\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 <i>v<\/i> \u043f\u043e \u0432\u0435\u0441\u0430\u043c:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+P%28v%5E%7B%28k%29%7D%29%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+%5Cfrac%7B1%7D%7BZ%5E2%7D+%5Cleft%28+Z+%5Cleft%28+%5Csum_t%5EM+v_i%5E%7B%28k%29%7D+h_j%5E%7B%28t%29%7D+e%5E%7B-E%28v%5E%7B%28k%29%7D%2C+h%5E%7B%28t%29%7D%29%7D%7D+%5Cright%29+-+%5Cleft%28+%5Csum_t%5EM++e%5E%7B-E%28v%5E%7B%28k%29%7D%2C+h%5E%7B%28t%29%7D%29%7D+%5Cright%29+%5Cleft%28+%5Csum_r%5EN+%5Csum_t%5EM+%5Cright%29+v_i%5E%7B%28r%29%7D+h_j%5E%7B%28t%29%7D+e%5E%7B-E%28v%5E%7B%28r%29%7D%2C+h%5E%7B%28t%29%7D%29%7D%7D+%5Cright%29\" alt=\"image\"\/><\/p>\n<p>  \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u044d\u0442\u043e\u0442 \u0442\u0440\u044e\u043a \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0439\u0442\u0438 \u043a \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044e. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u043f\u043e \u0432\u0435\u0441\u0443:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+%5Cln+P%28v%5E%7B%28k%29%7D%29%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+%5Cfrac%7B1%7D%7BP%28v%5E%7B%28k%29%7D%29%7D+%5Cfrac%7B%5Cpartial+P%28v%5E%7B%28k%29%7D%29%7D%7B%5Cpartial+w_%7Bij%7D%7D\" alt=\"image\"\/><\/p>\n<p>  \u041e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044f \u0434\u0432\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+%5Cln+P%28v%5E%7B%28k%29%7D%29%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+%5Cfrac%7BZ%7D%7B%5Csum_t%5EM+e%5E%7B-E%28v%5E%7B%28k%29%7D%2C+h%5E%7B%28t%29%7D%29%7D%7D+%5Cfrac%7B1%7D%7BZ%5E2%7D+%5Cleft%28+Z+%5Cleft%28+%5Csum_t%5EM+v_i%5E%7B%28k%29%7D+h_j%5E%7B%28t%29%7D+e%5E%7B-E%28v%5E%7B%28k%29%7D%2C+h%5E%7B%28t%29%7D%29%7D%7D+%5Cright%29+-+\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+-%5Cleft%28+%5Csum_t%5EM++e%5E%7B-E%28v%5E%7B%28k%29%7D%2C+h%5E%7B%28t%29%7D%29%7D+%5Cright%29+%5Cleft%28+%5Csum_r%5EN+%5Csum_t%5EM+%5Cright%29+v_i%5E%7B%28r%29%7D+h_j%5E%7B%28t%29%7D+e%5E%7B-E%28v%5E%7B%28r%29%7D%2C+h%5E%7B%28t%29%7D%29%7D%7D+%5Cright%29+%3D\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%3D+%5Cfrac%7B%5Csum_t%5EM+v_j%5E%7B%28k%29%7D+h_j%5E%7B%28t%29%7D+e%5E%7B-E%28v%5E%7B%28k%29%7D+h%5E%7B%28t%29%7D%29%7D%7D%7B%5Csum_t%5EM+e%5E%7B-E%28v%5E%7B%28k%29%7D+h%5E%7B%28t%29%7D%29%7D%7D+-+P%28v%5E%7B%28k%29%7D%29%5Cfrac%7B%5Csum_r%5EN+%5Csum_t%5EM+v_i%5E%7B%28r%29%7D+h_j%5E%7B%28t%29%7D+e%5E%7B-E%28v%5E%7B%28r%29%7D+h%5E%7B%28t%29%7D%29%7D%7D%7B%5Csum_t%5EM+e%5E%7B-E%28v%5E%7B%28k%29%7D+h%5E%7B%28t%29%7D%29%7D%7D\" alt=\"image\"\/><\/p>\n<p>  \u0414\u043e\u043c\u043d\u043e\u0436\u0438\u0432 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e \u043d\u0430 <i>Z<\/i> \u0438, \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0432 \u0434\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+%5Cln+P%28v%5E%7B%28k%29%7D%29%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+%5Csum_t%5EM+v_i%5E%7B%28k%29%7D+h_j%5E%7B%28t%29%7D+P%28h%5E%7B%28t%29%7D+%7C+v%5E%7B%28k%29%7D%29+-+%5Csum_r%5EN+%5Csum_t%5EM+v_i%5E%7B%28r%29%7D+h_j%5E%7B%28t%29%7D+P%28h%5E%7B%28t%29%7D%2C+v%5E%7B%28k%29%7D%29\" alt=\"image\"\/><\/p>\n<p>  \u0410 \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e <a href=\"http:\/\/ru.wikipedia.org\/wiki\/\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435_\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\">\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f<\/a> \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 (M \u043f\u0435\u0440\u0435\u0434 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u043a\u043e\u0431\u043a\u043e\u0439 \u2014 \u044d\u0442\u043e \u0437\u043d\u0430\u043a \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f):<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+%5Cln+P%28v%5E%7B%28k%29%7D%29%7D%7B%5Cpartial+w_%7Bij%7D%7D+%3D+M%5Cleft%5B+v_i%5E%7B%28k%29%7D+h_j+%5Cright%5D_%7B%5Ctext%7Bdata%7D%7D+-+M%5Cleft%5B+v_i+h_j+%5Cright%5D_%7B%5Ctext%7Bmodel%7D%7D\" alt=\"image\"\/><\/p>\n<p>  \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043f\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432:<\/p>\n<ul>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+%5Cln+P%28v%5E%7B%28k%29%7D%29%7D%7B%5Cpartial+a_%7Bi%7D%7D+%3D+v%5E%7B%28k%29%7D+-+%5Csum_r+v%5E%7B%28k%29%7D_i+P%28v%5E%7B%28r%29%7D+%7C+h%5E%7B%28t%29%7D%29+%3D+v%5E%7Bk%7D_i+-+M%5Cleft%5Bv_i%5Cright%5D_%7B%5Ctext%7Bmodel%7D%7D\" alt=\"image\"\/>  <\/li>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5Cfrac%7B%5Cpartial+%5Cln+P%28v%5E%7B%28k%29%7D%29%7D%7B%5Cpartial+b_%7Bj%7D%7D+%3D+%5Csum_t+h%5E%7B%28t%29%7D_j+P%28h%5E%7B%28t%29%7D+%7C+v%5E%7B%28k%29%7D%29+-+%5Csum_r+%5Csum_t+h%5E%7B%28t%29%7D+P%28v%5E%7B%28r%29%7D%2C+h%5E%7B%28t%29%7D%29+%3D+M%5Cleft%5Bh_j%5Cright%5D_%7B%5Ctext%7Bdata%7D%7D+-+M%5Cleft%5Bh_j%5Cright%5D_%7B%5Ctext%7Bmodel%7D%7D\" alt=\"image\"\/>  <\/li>\n<\/ul>\n<p>  \u0418 \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0442\u0440\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438, \u0433\u0434\u0435 <i>\u044d\u0442\u0430<\/i> \u2014 \u044d\u0442\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f:  <\/p>\n<ul>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5CDelta+w_%7Bij%7D+%3D+%5Ceta+%5Cleft%28+M%5Cleft%5Bv_i+h_j%5Cright%5D_%7B%5Ctext%7Bdata%7D%7D+-+M%5Cleft%5Bv_i+h_j%5Cright%5D_%7B%5Ctext%7Bmodel%7D%7D+%5Cright%29\" alt=\"image\"\/>  <\/li>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5CDelta+a_%7Bi%7D+%3D+%5Ceta+%5Cleft%28+v_i+-+M%5Cleft%5Bv_i%5Cright%5D_%7B%5Ctext%7Bmodel%7D%7D+%5Cright%29\" alt=\"image\"\/>  <\/li>\n<li><img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5CDelta+b_%7Bj%7D+%3D+%5Ceta+%5Cleft%28+M%5Cleft%5Bh_j%5Cright%5D_%7B%5Ctext%7Bdata%7D%7D+-+M%5Cleft%5Bh_j%5Cright%5D_%7B%5Ctext%7Bmodel%7D%7D+%5Cright%29\" alt=\"image\"\/>  <\/li>\n<\/ul>\n<p>  <i>PS \u043c\u043e\u0433 \u043e\u0448\u0438\u0431\u0438\u0442\u044c\u0441\u044f \u043c\u0430\u043b\u044c\u043a\u0430 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0445, \u043d\u0430 \u0445\u0430\u0431\u0440\u0435 \u0436\u0435 \u043d\u0435\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5CTeX\" alt=\"image\"\/> \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0430 =) <\/i><\/p>\n<h4>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Contrastive Divergence<\/h4>\n<p>  \u042d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u043e\u0440\u043e\u043c \u0425\u0438\u043d\u0442\u043e\u043d\u043e\u043c \u0432 2002 \u0433\u043e\u0434\u0443, \u0438 \u043e\u043d \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u0435\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u043e\u0439. \u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0437\u0430\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432\u043f\u043e\u043b\u043d\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438. \u0412\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f (Gibbs sampling, \u0447\u0442\u043e\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0430\u0441\u0441\u043e\u0446\u0438\u0430\u0446\u0438\u044e, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c <a href=\"http:\/\/en.wikipedia.org\/wiki\/Gibbs_measure\">\u0441\u044e\u0434\u0430<\/a>). \u041f\u0440\u043e\u0446\u0435\u0441\u0441 CD-k \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:   <\/p>\n<ol>\n<li>\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0432\u0438\u0434\u0438\u043c\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a \u0432\u0445\u043e\u0434\u043d\u043e\u043c\u0443 \u043e\u0431\u0440\u0430\u0437\u0443<\/li>\n<li>\u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f<\/li>\n<li>\u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043d\u0435\u0439\u0440\u043e\u043d\u0443 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u00ab1\u00bb \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e, \u0440\u0430\u0432\u043d\u043e\u0439 \u0435\u0433\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e<\/li>\n<li>\u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e<\/li>\n<li>\u0435\u0441\u043b\u0438 \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f \u043c\u0435\u043d\u044c\u0448\u0435 k, \u0442\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0442 \u043a \u0448\u0430\u0433\u0443 2<\/li>\n<li>\u0432\u044b\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f<\/li>\n<\/ol>\n<p>  \u0412 \u043b\u0435\u043a\u0446\u0438\u044f\u0445 \u0443 \u0425\u0438\u043d\u0442\u043e\u043d\u0430 \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/storage2\/34a\/65f\/7f7\/34a65f7f7c22b642cb6264efd3a96f8e.png\"\/><\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5CDelta+w_%7Bij%7D+%3D+%5Ceta+%5Cleft%28+M%5Cleft%5B+v_i+h_j+%5Cright%5D%5E%7B%280%29%7D+-+M%5Cleft%5B+v_i+h_j+%5Cright%5D%5E%7B%28%5Cinfty%29%7D+%5Cright%29\" alt=\"image\"\/><\/p>\n<p>  \u0422.\u0435. \u0447\u0435\u043c \u0434\u043e\u043b\u044c\u0448\u0435 \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433, \u0442\u0435\u043c \u0442\u043e\u0447\u043d\u0435\u0435 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0448 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442. \u0412 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u043e\u0440 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u0434\u043b\u044f CD-1 (\u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0430) \u0443\u0436\u0435 \u0432\u043f\u043e\u043b\u043d\u0435 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f. \u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <b>\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0444\u0430\u0437\u043e\u0439<\/b>, \u0430 \u0432\u0442\u043e\u0440\u043e\u0435 \u0441\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u043c\u0438\u043d\u0443\u0441 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <b>\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0444\u0430\u0437\u043e\u0439<\/b>.<\/p>\n<h4>Talk is cheap. Show me the code.<\/h4>\n<p>  \u041a\u0430\u043a \u0438 \u0432 <a href=\"http:\/\/habrahabr.ru\/post\/154369\/\">\u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438<\/a>, \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u043f\u043e\u0447\u0442\u0438 \u0442\u0435 \u0436\u0435 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u044b. \u0422\u0430\u043a \u0447\u0442\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u0438\u043d\u0435\u0440\u0446\u0438\u0438.<\/p>\n<p>  <code>public void Train(IMultilayerNeuralNetwork network, IList&lt;DataItem&lt;double&gt;&gt; data)<\/code><\/p>\n<p>  \u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u043a\u043b\u0430\u0441\u0441 \u0441 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u044e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u042f \u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043e\u0442\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0438\u0442\u044c \u0432\u0441\u0435 \u0432 \u043a\u043e\u0434\u0435, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u0432\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0432 \u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u0441\u0442\u0430. <\/p>\n<pre><code class=\"cs\">LearningAlgorithmConfig config = new LearningAlgorithmConfig()     {         BatchSize = 10, \/\/\u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430         MaxEpoches = 1000, \/\/\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043f\u043e\u0445 \u0434\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430         GibbsSamplingChainLength = 30, \/\/\u043a\u0430\u043a \u0440\u0430\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 k \u0438\u0437 CD-k          LearningRate = 0.01, \/\/\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f         CostFunctionRecalculationStep = 1, \/\/\u043a\u0430\u043a \u0447\u0430\u0441\u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f         Momentum = 0.9, \/\/\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043c\u043e\u043c\u0435\u043d\u0442\u0430         MinError = 0, \/\/ \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0434\u043b\u044f \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430         MinErrorChange = 0, \/\/\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0434\u043b\u044f \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430         UseBiases = true \/\/\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u0438 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f     }; <\/code><\/pre>\n<p>  \u041f\u0435\u0440\u0435\u0434 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u0446\u0438\u043a\u043b\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"cs\">ILayer visibleLayer = network.Layers[0]; \/\/\u0441\u0435\u0442\u044c RBM \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0435\u0432, \u043e\u0434\u0438\u043d \u044d\u0442\u043e \u0432\u0438\u0434\u0438\u043c\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f  ILayer hiddenLayer = network.Layers[1];  \/\/\u0438 \u043e\u0434\u0438\u043d \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f  if (!_config.UseBiases) \/\/\u0441\u043b\u0443\u0447\u0430\u0439 \u043a\u043e\u0433\u0434\u0430 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0443\u0447\u0430\u0432\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 {     for (int i = 0; i &lt; visibleLayer.Neurons.Length; i++)     {         visibleLayer.Neurons[i].Bias = 0d;     }     for (int i = 0; i &lt; hiddenLayer.Neurons.Length; i++)     {         hiddenLayer.Neurons[i].Bias = 0d;     } }  \/\/init momentum \/\/\u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0443 \u0434\u0430\u043b\u0435\u0435 \u043f\u0440\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u0432\u0435\u0441\u043e\u0432 double[,] momentumSpeedWeights = new double[visibleLayer.Neurons.Length, hiddenLayer.Neurons.Length]; double[] momentumSpeedVisibleBiases = new double[visibleLayer.Neurons.Length]; double[] momentumSpeedHiddenBiases = new double[hiddenLayer.Neurons.Length];  \/\/init stop factors bool stopFlag = false; double lastError = Double.MaxValue; \/\/\u043c\u043d\u043e\u0433\u0438\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0438\u043c\u0435\u044e\u0442 \u0433\u043e\u0432\u043e\u0440\u044f\u0449\u0438\u0435 \u0438\u043c\u0435\u043d\u0430, \u0442\u0430\u043a \u0447\u0442\u043e \u043f\u0440\u043e\u043f\u0443\u0449\u0443 \u0438\u0445 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 double lastErrorChange = double.MaxValue; double learningRate = _config.LearningRate;  int currentEpoche = 0; BatchEnumerator&lt;DataItem&lt;double&gt;&gt; batchEnumerator = new BatchEnumerator&lt;DataItem&lt;double&gt;&gt;(data, _config.BatchSize, true);  <\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0422\u0435\u043a\u0441\u0442 BatchEnumerator&#8217;\u0430 <a href=\"https:\/\/docs.google.com\/open?id=0B4bl7YMqDnViYnJkS0xjbC1SM1U\">\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u0443\u0442<\/a>, \u0430 \u043f\u0440\u043e \u0431\u0430\u0442\u0447\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u043e <a href=\"http:\/\/habrahabr.ru\/post\/154369\/\">\u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u043f\u043e\u0441\u0442\u0435<\/a>.<\/p>\n<p>  \u0414\u0430\u043b\u0435\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0446\u0438\u043a\u043b \u043f\u043e \u044d\u043f\u043e\u0445\u0430\u043c:<\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0446\u0438\u043a\u043b<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"cs\">do {      DateTime dtStart = DateTime.Now;                       \/\/start batch processing     foreach (IList&lt;DataItem&lt;double&gt;&gt; batch in batchEnumerator)     {          \/\/batch gradient         \/\/\u043a\u0430\u043a \u0438 \u0432 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438, \u0432 \u043d\u0430\u0431\u043b\u0435 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432\/\u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0439 \u043d\u0430 \u043e\u0434\u0438\u043d \u0431\u0430\u0442\u0447         double[,] nablaWeights = new double[visibleLayer.Neurons.Length, hiddenLayer.Neurons.Length];         double[] nablaHiddenBiases = new double[hiddenLayer.Neurons.Length];         double[] nablaVisibleBiases = new double[visibleLayer.Neurons.Length];          #region iterate through batch         \/\/...         #endregion             #region compute mean of wights nabla, and update them         \/\/...         #endregion     }      #region Logging and error calculation     \/\/...     #endregion      \/\/\u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430     currentEpoche++;                     if (currentEpoche &gt;= _config.MaxEpoches)     {         stopFlag = true;         Logger.Instance.Log(&quot;Stop: currentEpoche:&quot; + currentEpoche + &quot; &gt;= _config.MaxEpoches:&quot; + _config.MaxEpoches);     }     else if (_config.MinError &gt;= lastError)     {         stopFlag = true;         Logger.Instance.Log(&quot;Stop: _config.MinError:&quot; + _config.MinError + &quot; &gt;= lastError:&quot; + lastError);     }     else if (_config.MinErrorChange &gt;= lastErrorChange)     {         stopFlag = true;         Logger.Instance.Log(&quot;Stop: _config.MinErrorChange:&quot; + _config.MinErrorChange + &quot; &gt;= lastErrorChange:&quot; + lastErrorChange);     } } while (!stopFlag);  <\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u044d\u0442\u043e \u043a\u0430\u043a \u0440\u0430\u0437 Gibbs sampling, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0438 \u0430\u043a\u043a\u0443\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c.<\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">#region iterate through batch<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"cs\">\/\/\u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043c \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0430 foreach (DataItem&lt;double&gt; dataItem in batch) {     \/\/init visible layer states     \/\/\u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u043c \u043e\u0431\u043e\u0437\u0440\u0438\u043c\u044b\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e\/\u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0438\u0437 \u0431\u0430\u0442\u0447\u0430     for (int i = 0; i &lt; dataItem.Input.Length; i++)     {         visibleLayer.Neurons[i].LastState = dataItem.Input[i];     }      #region Gibbs sampling     for (int k = 0; k &lt;= _config.GibbsSamplingChainLength; k++)     {         \/\/calculate hidden states probabilities         \/\/\u0441\u043a\u0440\u044b\u0442\u044b\u0439 \u0441\u043b\u043e\u0439 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u0441\u0432\u043e\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0431\u043e\u0437\u0440\u0438\u043c\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438         hiddenLayer.Compute();          #region accumulate negative phase         \/\/\u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0435\u0441\u043b\u0438 \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0430 - \u044d\u0442\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f, \u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430         if (k == _config.GibbsSamplingChainLength)         {             for (int i = 0; i &lt; visibleLayer.Neurons.Length; i++)             {                 for (int j = 0; j &lt; hiddenLayer.Neurons.Length; j++)                 {                     \/\/\u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u0432\u0438\u0434\u0438\u043c\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043d\u0430 \u0441\u043a\u0440\u044b\u0442\u044b\u0435                     nablaWeights[i, j] -= visibleLayer.Neurons[i].LastState *                                             hiddenLayer.Neurons[j].LastState;                 }             }             if (_config.UseBiases)             {                 for (int i = 0; i &lt; hiddenLayer.Neurons.Length; i++)                 {                     nablaHiddenBiases[i] -= hiddenLayer.Neurons[i].LastState;                 }                 for (int i = 0; i &lt; visibleLayer.Neurons.Length; i++)                 {                     nablaVisibleBiases[i] -= visibleLayer.Neurons[i].LastState;                 }             }              break;         }         #endregion          \/\/sample hidden states         \/\/\u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u044b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f, \u0438\u043d\u0430\u0447\u0435 \u043c\u044b \u0431\u044b \u0443\u0436\u0435 \u0432\u044b\u0448\u043b\u0438 \u0438\u0437 \u0446\u0438\u043a\u043b\u0430 Gibbs sampling         for (int i = 0; i &lt; hiddenLayer.Neurons.Length; i++)         {             hiddenLayer.Neurons[i].LastState = _r.NextDouble() &lt;= hiddenLayer.Neurons[i].LastState ? 1d : 0d;         }          #region accumulate positive phase         \/\/\u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f, \u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430         if (k == 0)         {             for (int i = 0; i &lt; visibleLayer.Neurons.Length; i++)             {                 for (int j = 0; j &lt; hiddenLayer.Neurons.Length; j++)                 {                     nablaWeights[i, j] += visibleLayer.Neurons[i].LastState*                                             hiddenLayer.Neurons[j].LastState;                 }             }             if (_config.UseBiases)             {                 for (int i = 0; i &lt; hiddenLayer.Neurons.Length; i++)                 {                     nablaHiddenBiases[i] += hiddenLayer.Neurons[i].LastState;                 }                 for (int i = 0; i &lt; visibleLayer.Neurons.Length; i++)                 {                     nablaVisibleBiases[i] += visibleLayer.Neurons[i].LastState;                 }             }         }         #endregion          \/\/calculate visible probs         \/\/\u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e \u0441\u043b\u043e\u044f         visibleLayer.Compute();          \/\/\u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e \u0441\u043b\u043e\u044f, \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u0443 \u0425\u0438\u043d\u0442\u043e\u043d\u0430 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0447\u0442\u043e \u0435\u0433\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f, \u043d\u043e \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043c\u0435\u0441\u0442\u0435; \u043c\u043e\u0438 \u043e\u043f\u044b\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0447\u0442\u043e \u0431\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435         \/\/todo: may be not do sampling, like in 3.2 of http:\/\/www.cs.toronto.edu\/~hinton\/absps\/guideTR.pdf         \/\/sample visible         \/\/for (int i = 0; i &lt; visibleLayer.Neurons.Length; i++)         \/\/{         \/\/    visibleLayer.Neurons[i].LastState = _r.NextDouble() &lt;= visibleLayer.Neurons[i].LastState ? 1d : 0d;         \/\/}      }     #endregion  } <\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u041c\u044b \u0432\u044b\u0448\u043b\u0438 \u0438\u0437 \u0446\u0438\u043a\u043b\u0430 \u043f\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u0438\u0437 \u0431\u0430\u0442\u0447\u0430, \u0438 \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u0432\u0435\u0441\u0430. \u041c\u043e\u043c\u0435\u043d\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u043f\u0440\u043e\u0448\u043b\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u0443\u044e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 (<i>\u043c\u044e<\/i>) \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u0442\u0435\u043a\u0443\u0449\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c. \u0417\u0430\u0442\u0435\u043c \u0441\u0443\u043c\u043c\u0430 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/www.forkosh.com\/mathtex.cgi?formdata=%5CLarge+%5CDelta+w_%7Bij%7D%28t%29+%3D+%5Ceta+%5Cleft%28+%5Cmu+%5CDelta+w_%7Bij%7D%28t+-+1%29+%2B+%5Cnabla+w_%7Bij%7D+%5Cright%29\" alt=\"image\"\/><\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">#region compute mean of wights nabla, and update them<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"cs\">for (int i = 0; i &lt; visibleLayer.Neurons.Length; i++) {     for (int j = 0; j &lt; hiddenLayer.Neurons.Length; j++)     {         \/\/\u0437\u0430\u043f\u0438\u0441\u044c \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u0430 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u043f\u0440\u043e\u0448\u043b\u043e\u0433\u043e, \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438         momentumSpeedWeights[i, j] = _config.Momentum*momentumSpeedWeights[i, j] +                                         nablaWeights[i, j]\/batch.Count;         \/\/\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u0430 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f         visibleLayer.Neurons[i].Weights[j] += learningRate * momentumSpeedWeights[i, j];         hiddenLayer.Neurons[j].Weights[i] = visibleLayer.Neurons[i].Weights[j];     } } if (_config.UseBiases) {     for (int i = 0; i &lt; hiddenLayer.Neurons.Length; i++)     {         momentumSpeedHiddenBiases[i] = _config.Momentum*momentumSpeedHiddenBiases[i] +                                         nablaHiddenBiases[i]\/batch.Count;         hiddenLayer.Neurons[i].Bias += learningRate * momentumSpeedHiddenBiases[i];     }     for (int i = 0; i &lt; visibleLayer.Neurons.Length; i++)     {         momentumSpeedVisibleBiases[i] = _config.Momentum*momentumSpeedVisibleBiases[i] +                                         nablaVisibleBiases[i]\/batch.Count;         visibleLayer.Neurons[i].Bias += learningRate * momentumSpeedVisibleBiases[i];     } } <\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u043a\u0430\u043a\u0443\u044e-\u043b\u0438\u0431\u043e \u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u0412 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0435\u0436\u0438\u0442 \u044d\u043d\u0435\u0440\u0433\u0438\u044f, \u043d\u043e \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e<i> \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\/\u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438<\/i>, \u043c\u044b \u0432\u0435\u0434\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435, \u043a\u0430\u043a \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439. \u0415\u0441\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431: \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0415\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0430\u0434\u0430\u0442\u044c \u043d\u0435 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e, \u0430 \u0447\u0430\u0441\u0442\u0435\u043d\u044c\u043a\u043e \u043e\u0441\u0446\u0438\u043b\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u043e \u0432 \u0446\u0435\u043b\u043e\u043c \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0443 \u043f\u0440\u0438\u043c\u0435\u0440 \u043b\u043e\u0433\u0430.<\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">#region Logging and error calculation<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"cs\">string msg = &quot;Epoche #&quot; + currentEpoche;  #region calculate error  if (currentEpoche % _config.CostFunctionRecalculationStep == 0) {                          #region calculating squared error with reconstruction      IMetrics&lt;double&gt; sed = MetricsCreator.SquareEuclideanDistance();     double d = 0;     foreach (DataItem&lt;double&gt; dataItem in data)     {         d += sed.Calculate(dataItem.Input, network.ComputeOutput(dataItem.Input));     }     msg += &quot;; SqDist is &quot; + d;      lastErrorChange = Math.Abs(lastError - d);     lastError = d;      #endregion  }  #endregion  msg += &quot;; Time: &quot; + (DateTime.Now - dtStart).Duration().ToString(); Logger.Instance.Log(msg); <\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0418\u0441\u0445\u043e\u0434\u043d\u0438\u043a <a href=\"https:\/\/docs.google.com\/open?id=0B4bl7YMqDnViVnhKc2N1d2w2TWs\">\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u0443\u0442<\/a>.<\/p>\n<h4>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b RBM<\/h4>\n<p>  \u0421\u0432\u043e\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u044f \u0434\u0435\u043b\u0430\u043b \u043d\u0430 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0430 \u044f \u0432\u044b\u0431\u0440\u0430\u043b \u043f\u0440\u043e\u0441\u0442\u043e\u0435, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0431\u0443\u043a\u0432, \u0447\u0442\u043e \u0431\u044b \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0448\u0443\u043c\u043e\u0432 (\u0432\u0441\u0435\u0433\u043e 260 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a 29 \u043d\u0430 29 \u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439): <a href=\"https:\/\/docs.google.com\/open?id=0B4bl7YMqDnViXzAwY1NBZm5uNjg\">\u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0430 \u043c\u043e\u0436\u043d\u043e \u0442\u0443\u0442<\/a>.<\/p>\n<p>  \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438:<\/p>\n<p>  LearningAlgorithmConfig: <br \/>   LearningRate = 0.01<br \/>   BatchSize = 10<br \/>   RegularizationFactor = 0<br \/>   MaxEpoches = 1000<br \/>   MinError = 0<br \/>   MinErrorChange = 0<br \/>   CostFunctionRecalculationStep = 1<br \/>   ErrorFunction = <br \/>   Momentum = 0.9<br \/>   NeuronLocalGainLimit: not setted<br \/>   GibbsSamplingChainLength = 30<br \/>   UseBiases = True<\/p>\n<p>  \u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u043c \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0431\u044b\u043b\u043e 1000 \u044d\u043f\u043e\u0445. \u0422.\u043a. \u0431\u0430\u0442\u0447 \u0440\u0430\u0432\u0435\u043d 10, \u0442\u043e \u0437\u0430 \u043e\u0434\u043d\u0443 \u044d\u043f\u043e\u0445\u0443 \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e 26 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u0432\u0435\u0441\u043e\u0432, \u0430 \u0432 \u043e\u0431\u0449\u0435\u043c 26000 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439. \u041b\u043e\u0433 <a href=\"https:\/\/docs.google.com\/open?id=0B4bl7YMqDnViZE5EN0NYWGhKYWs\">\u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0442\u0443\u0442<\/a>. <\/p>\n<p>  \u041f\u043e \u043b\u043e\u0433\u0443 \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0439 \u044d\u043f\u043e\u0445\u0438 (26 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432) \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u0415\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e 13128, \u0430 \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0443\u0436\u0435 76.<\/p>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0433\u043b\u044f\u043d\u0435\u043c \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a (\u0441\u043b\u0435\u0432\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b, \u0441\u043f\u0440\u0430\u0432\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0435):<br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/storage2\/69f\/477\/e5c\/69f477e5c7616c4f71a7d6ad1f091de5.png\"\/><\/p>\n<p>  \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0434\u043d\u043e \u0438\u0437 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u043e \u043a\u0440\u0443\u043f\u043d\u0435\u0435:<br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/storage2\/53f\/5b9\/945\/53f5b9945c6717c2beeddbe279659b00.png\"\/><\/p>\n<p>  \u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e \u043f\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435, \u0434\u0430\u0436\u0435 \u0448\u0443\u043c\u044b \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e (\u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u043f\u043e\u043d\u044f\u0442\u0438\u0438 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f RBM).<\/p>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u0437\u0430\u0434\u0430\u0434\u0438\u043c\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c, \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u043a\u0430\u043a-\u0442\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u043d\u0430\u0439\u0434\u0435\u043d\u044b \u0441\u0435\u0442\u044c\u044e. \u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0435\u0441\u0442\u044c 841 (29*29) \u0432\u0435\u0441 \u0438 \u043e\u0434\u043d\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435. \u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435, \u0442\u043e \u0438\u0437 841 \u0432\u0435\u0441\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 29 \u043d\u0430 29 \u043f\u0438\u043a\u0441\u0435\u043b\u0435\u0439, \u0438 \u044d\u0442\u043e \u043a\u0430\u043a \u0440\u0430\u0437 \u0431\u0443\u0434\u0443\u0442 \u043d\u0443\u0436\u043d\u044b\u0435 \u043d\u0430\u043c \u0448\u0430\u0431\u043b\u043e\u043d\u044b, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u044c\u044e. \u0410 \u0432\u0435\u0434\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0448\u0430\u0431\u043b\u043e\u043d\u0430 \u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u043f\u043b\u044e\u0441 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435, \u0438 \u0432\u0437\u044f\u0442\u0430\u044f \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0438 \u0431\u0443\u0434\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0430\u043a\u0442\u0438\u0432\u0435\u043d \u043d\u0435\u0439\u0440\u043e\u043d \u0438\u043b\u0438 \u043d\u0435\u0442. \u0412\u043e\u0442 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430:<\/p>\n<p>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/storage2\/5da\/32e\/cfa\/5da32ecfaaefcc8616fa43caec70eed6.png\"\/><\/p>\n<p>  \u0410 \u0432\u043e\u0442 \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u044d\u0442\u0430 \u0436\u0435 \u043a\u0430\u0440\u0442\u0430 \u0443 <a href=\"http:\/\/deeplearning.net\/\">\u043a\u0440\u0443\u0442\u044b\u0445 \u043f\u0430\u0446\u0430\u043d\u043e\u0432<\/a> \u043d\u0430 <a href=\"http:\/\/yann.lecun.com\/exdb\/mnist\/\">\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0440\u0443\u043a\u043e\u043f\u0438\u0441\u043d\u044b\u0445 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 MNIST<\/a>: <a href=\"http:\/\/deeplearning.net\/tutorial\/_images\/filters_at_epoch_14.png\">http:\/\/deeplearning.net\/tutorial\/_images\/filters_at_epoch_14.png<\/a>. \u0422\u0430\u043a \u0447\u0442\u043e \u043c\u043d\u0435 \u0435\u0449\u0435 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043d\u043e \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u043a \u044f \u043d\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043f\u0443\u0442\u0438 =)<\/p>\n<p>  \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u043f\u043e\u0441\u0442\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 RBM \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u0430 \u0441\u0435\u0442\u0438 \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043f\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n<h4>\u0421\u0441\u044b\u043b\u043a\u0438<\/h4>\n<p>  <\/p>\n<ul>\n<li><a href=\"https:\/\/class.coursera.org\/neuralnets-2012-001\/\">https:\/\/class.coursera.org\/neuralnets-2012-001\/<\/a><\/li>\n<li><a href=\"http:\/\/www.cs.toronto.edu\/~hinton\/absps\/guideTR.pdf\">http:\/\/www.cs.toronto.edu\/~hinton\/absps\/guideTR.pdf<\/a> <\/li>\n<li><a href=\"http:\/\/deeplearning.net\/tutorial\/rbm.html#contrastive-divergence-cd-k\">http:\/\/deeplearning.net\/tutorial\/rbm.html#contrastive-divergence-cd-k<\/a> <\/li>\n<li> <a href=\"http:\/\/www.iro.umontreal.ca\/~lisa\/twiki\/bin\/view.cgi\/Public\/DBNEquations\">http:\/\/www.iro.umontreal.ca\/~lisa\/twiki\/bin\/view.cgi\/Public\/DBNEquations<\/a><\/li>\n<li><a href=\"http:\/\/www.cs.toronto.edu\/~kriz\/learning-features-2009-TR.pdf\">http:\/\/www.cs.toronto.edu\/~kriz\/learning-features-2009-TR.pdf<\/a> <\/li>\n<li>\u043d\u0443 \u0438 \u043f\u0435\u0434\u0438\u0432\u0438\u043a\u0438\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u043e <\/li>\n<\/ul>\n<p>  PS \u0440\u0435\u0441\u043f\u0435\u043a\u0442 \u0438 \u0443\u0432\u0430\u0436\u0443\u0445\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e <a href=\"http:\/\/habrahabr.ru\/users\/ambikontur\/\" class=\"user_link\">ambikontur<\/a> \u0437\u0430 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u0443\u044e \u043f\u043e\u043c\u043e\u0449\u044c \u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u0444\u043e\u0440\u043c\u0443\u043b \u0438 \u0442\u0435\u043a\u0441\u0442\u0430!    \t   \t<\/p>\n<div class=\"clear\"><\/div>\n<\/p><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"http:\/\/habrahabr.ru\/post\/159909\/\"> http:\/\/habrahabr.ru\/post\/159909\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div class=\"content html_format\">   \t\u041f\u0440\u0438\u0432\u0435\u0442. \u0417\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0441\u044f <a href=\"https:\/\/class.coursera.org\/neuralnets-2012-001\/\">\u043a\u0443\u0440\u0441 \u043f\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c \u0441\u0435\u0442\u044f\u043c<\/a>. \u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u043a\u0443\u0440\u0441, \u043d\u043e \u043c\u0430\u043b\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438. \u0422\u0430\u043a \u0447\u0442\u043e \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u0438 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u043c <a href=\"http:\/\/en.wikipedia.org\/wiki\/Restricted_Boltzmann_machine\">\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u0430\u0448\u0438\u043d\u0443 \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430<\/a> \u2014 <a href=\"http:\/\/ru.wikipedia.org\/wiki\/\u0421\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439\">\u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e<\/a>, <a href=\"http:\/\/en.wikipedia.org\/wiki\/Generative_model\">\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e<\/a> \u043c\u043e\u0434\u0435\u043b\u044c <a href=\"http:\/\/ru.wikipedia.org\/wiki\/\u0418\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f_\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f_\u0441\u0435\u0442\u044c\">\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438<\/a>. \u041e\u0431\u0443\u0447\u0438\u043c \u0435\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <a href=\"http:\/\/deeplearning.net\/tutorial\/rbm.html#contrastive-divergence-cd-k\">Contrastive Divergence (CD-k)<\/a>, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u043e\u0440\u043e\u043c <a href=\"http:\/\/www.cs.toronto.edu\/~hinton\/\">\u0414\u0436\u0435\u0444\u0444\u0440\u0438 \u0425\u0438\u043d\u0442\u043e\u043d\u043e\u043c<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u0441\u0442\u0430\u0442\u0438 \u0438 \u0432\u0435\u0434\u0435\u0442 \u0442\u043e\u0442 \u043a\u0443\u0440\u0441. \u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 \u043f\u0435\u0447\u0430\u0442\u043d\u044b\u0445 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 \u0431\u0443\u043a\u0432. \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u043f\u043e\u0441\u0442\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438, \u0438 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0435\u0441\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0430\u0448\u0438\u043d\u044b \u0411\u043e\u043b\u044c\u0446\u043c\u0430\u043d\u0430. \u041a\u0442\u043e \u043d\u0435 \u0431\u043e\u0438\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u043a \u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u043d\u0435\u0439 \u0442\u0435\u043a\u0441\u0442\u0430, \u043f\u0440\u043e\u0448\u0443 \u043f\u043e\u0434 \u043a\u0430\u0442.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-159909","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/159909","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=159909"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/159909\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=159909"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=159909"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=159909"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}