{"id":269913,"date":"2015-12-08T20:29:02","date_gmt":"2015-12-08T17:29:02","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=269913"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=269913","title":{"rendered":"\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043d\u0430 Python, \u0447\u0430\u0441\u0442\u044c 2: \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a"},"content":{"rendered":"<p>       <i><a href=\"http:\/\/habrahabr.ru\/post\/271563\/\">\u0427\u0430\u0441\u0442\u044c 1<\/a><\/i><\/p>\n<h4>\u0414\u0430\u0432\u0430\u0439 \u0441\u0440\u0430\u0437\u0443 \u043a\u043e\u0434!<\/h4>\n<p>  <\/p>\n<pre><code class=\"python\">import numpy as np X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ]) y = np.array([[0,1,1,0]]).T alpha,hidden_dim = (0.5,4) synapse_0 = 2*np.random.random((3,hidden_dim)) - 1 synapse_1 = 2*np.random.random((hidden_dim,1)) - 1 for j in xrange(60000):     layer_1 = 1\/(1+np.exp(-(np.dot(X,synapse_0))))     layer_2 = 1\/(1+np.exp(-(np.dot(layer_1,synapse_1))))     layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))     layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))     synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))     synapse_0 -= (alpha * X.T.dot(layer_1_delta)) <\/code><\/pre>\n<h4>\u0427\u0430\u0441\u0442\u044c 1: \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f<\/h4>\n<p>  \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u044f \u043e\u043f\u0438\u0441\u0430\u043b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u044b \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u0421\u0435\u0442\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0430 \u043d\u0430\u043c \u043f\u043e\u043c\u0435\u0440\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0432\u0435\u0441\u043e\u0432 \u0441\u0435\u0442\u0438 \u0432\u043d\u043e\u0441\u0438\u0442 \u0441\u0432\u043e\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u043e\u0448\u0438\u0431\u043a\u0443. \u0418 \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u043d\u0430\u043c \u043c\u0435\u043d\u044f\u0442\u044c \u0432\u0435\u0441\u0430 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u2014 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430.<\/p>\n<p>  \u0421\u0443\u0442\u044c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043d\u0435 \u0432\u043d\u043e\u0441\u0438\u0442 \u0432 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u0435\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e. \u041e\u043d\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0435\u0442 \u043d\u0435\u0432\u0435\u0440\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0441 \u043a\u043e\u043d\u0446\u0430 \u0441\u0435\u0442\u0438 \u043d\u0430 \u0432\u0441\u0435 \u0432\u0435\u0441\u0430 \u0432\u043d\u0443\u0442\u0440\u0438, \u0447\u0442\u043e\u0431\u044b \u0434\u0440\u0443\u0433\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0443\u0436\u0435 \u0441\u043c\u043e\u0433 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0432\u0435\u0441\u0430 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u043d\u0430\u0448\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u043c. \u041d\u043e \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, \u0443 \u043d\u0430\u0441 \u0432 \u0438\u0437\u043e\u0431\u0438\u043b\u0438\u0438 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c:<br \/>  <a name=\"habracut\"><\/a><br \/>  \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438:  <\/p>\n<ul>\n<li> <a href=\"http:\/\/www.heatonresearch.com\/articles\/9\">Annealing<\/a><\/li>\n<li> <a href=\"https:\/\/en.wikipedia.org\/wiki\/Stochastic_gradient_descent\">Stochastic Gradient Descent<\/a><\/li>\n<li> <a href=\"http:\/\/arxiv.org\/pdf\/1506.09016v1.pdf\">AW-SGD <\/a>(new!)<\/li>\n<li> <a href=\"http:\/\/jmlr.org\/proceedings\/papers\/v28\/sutskever13.pdf\">Momentum <\/a>(SGD)<\/li>\n<li> <a href=\"http:\/\/jmlr.org\/proceedings\/papers\/v28\/sutskever13.pdf\">Nesterov Momentum <\/a>(SGD)<\/li>\n<li> <a href=\"http:\/\/www.magicbroom.info\/Papers\/DuchiHaSi10.pdf\">AdaGrad<\/a><\/li>\n<li> <a href=\"http:\/\/arxiv.org\/abs\/1212.5701\">AdaDelta<\/a><\/li>\n<li> <a href=\"http:\/\/arxiv.org\/abs\/1412.6980\">ADAM<\/a><\/li>\n<li> <a href=\"https:\/\/en.wikipedia.org\/wiki\/Broyden%E2%80%93Fletcher%E2%80%93Goldfarb%E2%80%93Shanno_algorithm\">BFGS<\/a><\/li>\n<li> <a href=\"https:\/\/en.wikipedia.org\/wiki\/Limited-memory_BFGS\">LBFGS<\/a><\/li>\n<\/ul>\n<p>  \u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u044b:  <\/p>\n<ul>\n<li> <a href=\"http:\/\/cs.stanford.edu\/people\/karpathy\/convnetjs\/demo\/trainers.html\">ConvNet.js<\/a><\/li>\n<li> <a href=\"http:\/\/www.robertsdionne.com\/bouncingball\/\">RobertsDionne<\/a><\/li>\n<\/ul>\n<p>  \u0420\u0430\u0437\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0438 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u043e\u0433\u0443\u0442 \u0434\u0430\u0436\u0435 \u0431\u044b\u0442\u044c \u0441\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b. \u0412 \u044d\u0442\u043e\u043c \u0443\u0440\u043e\u043a\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u2013 \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0445 \u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u043c \u043d\u0430\u0448\u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0430\u0446\u0438\u044e.<\/p>\n<h4>\u0427\u0430\u0441\u0442\u044c 2: \u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a<\/h4>\n<p>  \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u0432\u0430\u0441 \u0432 \u043a\u0440\u0443\u0433\u043b\u043e\u0439 \u043a\u043e\u0440\u0437\u0438\u043d\u0435 \u0435\u0441\u0442\u044c \u043a\u0440\u0430\u0441\u043d\u044b\u0439 \u043c\u044f\u0447 (\u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u0441\u043d\u0438\u0437\u0443). \u041c\u044f\u0447 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0434\u043d\u043e. \u042d\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044f\u0447 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0441\u0432\u043e\u044e \u043f\u043e\u0437\u0438\u0446\u0438\u044e, \u0441\u043b\u0435\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043e, \u0432 \u043f\u043e\u0438\u0441\u043a\u0430\u0445 \u043d\u0438\u0436\u0430\u0439\u0448\u0435\u0439 \u0442\u043e\u0447\u043a\u0438 \u0432 \u0432\u0435\u0434\u0440\u0435.<\/p>\n<p>  \u0423 \u043c\u044f\u0447\u0430 \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u2013 \u0432\u043b\u0435\u0432\u043e \u0438\u043b\u0438 \u0432\u043f\u0440\u0430\u0432\u043e. \u0426\u0435\u043b\u044c \u2013 \u0437\u0430\u043d\u044f\u0442\u044c \u043f\u043e\u0437\u0438\u0446\u0438\u044e \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043d\u0438\u0436\u0435. \u0415\u0441\u043b\u0438 \u0432\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0438 \u0431\u044b \u043c\u044f\u0447\u043e\u043c \u0441 \u043a\u043b\u0430\u0432\u0438\u0430\u0442\u0443\u0440\u044b, \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043d\u0430\u0436\u0438\u043c\u0430\u0442\u044c \u043a\u043d\u043e\u043f\u043a\u0438 \u0432\u043b\u0435\u0432\u043e \u0438 \u0432\u043f\u0440\u0430\u0432\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/aa9\/58f\/875\/aa958f875e7a42b16a71447144abac73.png\" alt=\"image\"\/><\/p>\n<p>  \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043c\u044f\u0447\u0443 \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u043a\u043b\u043e\u043d \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0432\u0435\u0434\u0440\u0430 \u043d\u0430 \u0435\u0433\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 (\u043a\u0430\u0441\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043a \u0441\u0442\u0435\u043d\u0435, \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0451\u043d\u043d\u0430\u044f \u0441\u0438\u043d\u0438\u043c \u0446\u0432\u0435\u0442\u043e\u043c). \u0417\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0443\u043a\u043b\u043e\u043d \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u043c\u044f\u0447\u0443 \u043d\u0443\u0436\u043d\u043e \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0432\u043f\u0440\u0430\u0432\u043e. \u0415\u0441\u043b\u0438 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u2013 \u0432\u043b\u0435\u0432\u043e. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u044d\u0442\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432\u043f\u043e\u043b\u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u0434\u043d\u043e \u0432\u0435\u0434\u0440\u0430 \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439. \u0422\u0430\u043a\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/358\/47e\/f34\/35847ef346fa511f0fe7147db6f6a0fc.png\" alt=\"image\"\/><\/p>\n<p>  \u041f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u0413\u0421:  <\/p>\n<ul>\n<li>\u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0443\u043a\u043b\u043e\u043d \u0432 \u043d\u0430\u0448\u0435\u0439 \u0442\u043e\u0447\u043a\u0435<\/li>\n<li>\u0435\u0441\u043b\u0438 \u043e\u043d \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u0434\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0432\u043f\u0440\u0430\u0432\u043e<\/li>\n<li>\u0435\u0441\u043b\u0438 \u043e\u043d \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439, \u0434\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0432\u043b\u0435\u0432\u043e<\/li>\n<li>\u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043c, \u043f\u043e\u043a\u0430 \u0443\u043a\u043b\u043e\u043d \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d 0<\/li>\n<\/ul>\n<p>  \u0412\u043e\u043f\u0440\u043e\u0441 \u0432 \u0442\u043e\u043c, \u043d\u0430 \u043a\u0430\u043a\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u044f\u0447 \u0434\u043e\u043b\u0436\u0435\u043d \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435. \u0418\u0437 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0447\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u043d \u043e\u0442 \u0434\u043d\u0430, \u0442\u0435\u043c \u043a\u0440\u0443\u0447\u0435 \u0443\u043a\u043b\u043e\u043d. \u0423\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u0443\u0435\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043f\u043e\u043b\u044c\u0437\u0443\u044f\u0441\u044c \u044d\u0442\u0438\u043c \u0437\u043d\u0430\u043d\u0438\u0435\u043c. \u0422\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043c, \u0447\u0442\u043e \u0432\u0435\u0434\u0440\u043e \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043e \u043d\u0430 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438 (\u0445, \u0443). \u0417\u043d\u0430\u0447\u0438\u0442, \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u044f\u0447\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043e\u0439 \u0445. \u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0445 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044e \u043c\u044f\u0447\u0430 \u0432\u043f\u0440\u0430\u0432\u043e.<\/p>\n<p>  \u041f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a:  <\/p>\n<ul>\n<li>\u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0443\u043a\u043b\u043e\u043d slope \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0445<\/li>\n<li>\u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0445 \u043d\u0430 slope (x = x \u2014 slope)<\/li>\n<li>\u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c, \u043f\u043e\u043a\u0430 slope \u043d\u0435 \u0441\u0442\u0430\u043d\u0435\u0442 \u0440\u0430\u0432\u0435\u043d 0<\/li>\n<\/ul>\n<p>  \u042d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0443\u0436\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d, \u0438\u0431\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0443\u043a\u043b\u043e\u043d\u0430 \u043c\u044b \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0434\u0432\u0438\u0433\u0438, \u0430 \u0434\u043b\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0443\u043a\u043b\u043e\u043d\u043e\u0432 \u0434\u0435\u043b\u0430\u0435\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u0434\u0432\u0438\u0433. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u0440\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043a \u0434\u043d\u0443 \u043a\u043e\u0440\u0437\u0438\u043d\u044b \u043c\u044f\u0447 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0435\u0442 \u0432\u0441\u0451 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043a\u043e\u043b\u0435\u0431\u0430\u043d\u0438\u044f, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0435\u0442 \u0442\u043e\u0447\u043a\u0438 \u0441 \u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0443\u043a\u043b\u043e\u043d\u043e\u043c. \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u0447\u043a\u0430 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<h4>\u0427\u0430\u0441\u0442\u044c 3: \u0418\u043d\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u043d\u0435 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442<\/h4>\n<p>  \u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u043d\u0435\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0435\u043d. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0435\u0433\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438 \u0442\u043e, \u043a\u0430\u043a \u043b\u044e\u0434\u0438 \u0438\u0445 \u043e\u0431\u0445\u043e\u0434\u044f\u0442.<\/p>\n<h5>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 1: \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0443\u043a\u043b\u043e\u043d<\/h5>\n<p>  \u041d\u0430\u0448 \u0448\u0430\u0433 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0443\u043a\u043b\u043e\u043d\u0430. \u0415\u0441\u043b\u0438 \u043e\u043d \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u043f\u0440\u044b\u0433\u043d\u0443\u0442\u044c \u043d\u0443\u0436\u043d\u0443\u044e \u043d\u0430\u043c \u0442\u043e\u0447\u043a\u0443. \u0415\u0441\u043b\u0438 \u043c\u044b \u043f\u0435\u0440\u0435\u043f\u0440\u044b\u0433\u043d\u0435\u043c \u0435\u0451 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e, \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e. \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043f\u0440\u044b\u0433\u043d\u0443\u0442\u044c \u0435\u0451 \u0442\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e, \u0447\u0442\u043e \u043c\u044b \u043e\u043a\u0430\u0436\u0435\u043c\u0441\u044f \u0434\u0430\u0436\u0435 \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u0442 \u043d\u0435\u0451, \u0447\u0435\u043c \u0431\u044b\u043b\u0438 \u0434\u043e \u044d\u0442\u043e\u0433\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a66\/c31\/338\/a66c31338247485c019155d7d8fc9158.png\" alt=\"image\"\/><\/p>\n<p>  \u0410 \u0443\u0436\u0435 \u0442\u0430\u043c \u043c\u044b, \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043d\u0430\u0439\u0434\u0451\u043c \u0435\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0443\u043a\u043b\u043e\u043d, \u043f\u0440\u044b\u0433\u043d\u0435\u043c \u0435\u0449\u0451 \u0434\u0430\u043b\u044c\u0448\u0435, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0440\u0430\u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c.<\/p>\n<h5>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 1: \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043c \u0443\u043a\u043b\u043e\u043d\u044b<\/h5>\n<p>  \u041f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043c\u043d\u043e\u0436\u0438\u043c \u0438\u0445 \u043d\u0430 \u0447\u0438\u0441\u043b\u043e \u043e\u0442 0 \u0434\u043e 1 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 0,01). \u041d\u0430\u0437\u043e\u0432\u0451\u043c \u044d\u0442\u0443 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443 alpha. \u041f\u043e\u0441\u043b\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u0448\u0430 \u0441\u0435\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f, \u0438\u0431\u043e \u043c\u044b \u0443\u0436\u0435 \u043d\u0435 \u043f\u0435\u0440\u0435\u043f\u0440\u044b\u0433\u043d\u0435\u043c \u043d\u0443\u0436\u043d\u0443\u044e \u0442\u043e\u0447\u043a\u0443 \u0442\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/358\/47e\/f34\/35847ef346fa511f0fe7147db6f6a0fc.png\" alt=\"image\"\/><\/p>\n<p>  \u0423\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a:<\/p>\n<p>  alpha = 0.1 (\u0438\u043b\u0438 \u043b\u044e\u0431\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043e\u0442 0 \u0434\u043e 1)  <\/p>\n<ul>\n<li> \u041f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0443\u043a\u043b\u043e\u043d \u00abslope\u00bb \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u00abx\u00bb <\/li>\n<li> x = x \u2014 (alpha*slope)<\/li>\n<li> (\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 slope == 0)<\/li>\n<\/ul>\n<h5>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 2: \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u044b<\/h5>\n<p>  \u0418\u043d\u043e\u0433\u0434\u0430 \u0443 \u0432\u0435\u0434\u0440\u0430 \u043e\u0447\u0435\u043d\u044c \u0445\u0438\u0442\u0440\u0430\u044f \u0444\u043e\u0440\u043c\u0430, \u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430 \u0443\u043a\u043b\u043e\u043d\u043e\u043c \u043d\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u0442 \u0432\u0430\u0441 \u043a \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u043c\u0443 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/0a2\/e43\/9eb\/0a2e439ebacbf0ea5233a00170deacc9.png\" alt=\"image\"\/><\/p>\n<p>  \u042d\u0442\u043e \u0441\u0430\u043c\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0435\u0451 \u043e\u0431\u0445\u043e\u0434\u0430. \u041e\u0431\u044b\u0447\u043d\u043e \u0432 \u043d\u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a, \u043f\u0440\u043e\u0431\u0443\u044e\u0449\u0438\u0439 \u0440\u0430\u0437\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438 \u0432\u0435\u0434\u0440\u0430.<\/p>\n<h5>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 2: \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u044b\u0435 \u0442\u043e\u0447\u043a\u0438<\/h5>\n<p>  \u0425\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u0435\u0441\u043b\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430, \u0437\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439? \u041c\u043e\u0436\u0435\u0442, \u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c?<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/fda\/317\/f61\/fda317f6112705ed758671903adba574.png\" alt=\"image\"\/><\/p>\n<p>  \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u044d\u0442\u043e\u0442 \u0433\u0440\u0430\u0444\u0438\u043a. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0440\u0430\u0437\u043c\u0435\u0441\u0442\u0438\u043b\u0438 \u043d\u0430 \u043b\u0438\u043d\u0438\u0438 100 \u043c\u044f\u0447\u0435\u0439 \u0438 \u043d\u0430\u0447\u0430\u043b\u0438 \u0438\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043e\u043d\u0438 \u043e\u043a\u0430\u0436\u0443\u0442\u0441\u044f \u043d\u0430 5 \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u0445, \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0446\u0432\u0435\u0442\u043d\u044b\u043c\u0438 \u043a\u0440\u0443\u0436\u043a\u0430\u043c\u0438. \u0426\u0432\u0435\u0442\u043d\u044b\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u0432\u043b\u0430\u0434\u0435\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0435\u0441\u043b\u0438 \u043c\u044f\u0447 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u0433\u043e\u043b\u0443\u0431\u0443\u044e \u043e\u0431\u043b\u0430\u0441\u0442\u044c, \u043e\u043d \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432 \u0441\u0438\u043d\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0435. \u0422\u043e \u0435\u0441\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0451 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c 5 \u043c\u0435\u0441\u0442. \u042d\u0442\u043e \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043d\u0430 \u043b\u0438\u043d\u0438\u0438.<\/p>\n<p>  \u041a\u0430\u0441\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0447\u044c, \u0437\u0430\u0434\u0430\u0432 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0443\u0440\u043e\u0432\u043d\u0438. \u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u043a\u0440\u044b\u0442\u044b\u0439 \u0443\u0437\u0435\u043b \u0432 \u0443\u0440\u043e\u0432\u043d\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0432 \u0441\u0432\u043e\u0451\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438. \u0422\u043e\u0433\u0434\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0443\u0437\u0435\u043b \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043a\u0430\u043a\u043e\u043c\u0443-\u0442\u043e \u0441\u0432\u043e\u0435\u043c\u0443 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e. \u0418\u0445 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u0441\u0435\u0442\u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0442\u044b\u0441\u044f\u0447\u0438, \u0438\u043b\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b, \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u0432 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0441\u0435\u0442\u0438.<\/p>\n<p>  \u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435 1: \u044d\u0442\u0438\u043c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0438 \u0432\u044b\u0433\u043e\u0434\u043d\u044b. \u0423 \u043d\u0438\u0445 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044b\u0441\u043a\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e, \u043d\u0435 \u043f\u0440\u043e\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0435\u0433\u043e \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u0431\u044b\u0441\u043a\u0430\u0442\u044c \u0432\u0441\u044e \u0447\u0451\u0440\u043d\u0443\u044e \u043b\u0438\u043d\u0438\u044e \u043d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u0432\u0432\u0435\u0440\u0445\u0443, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0432\u0441\u0435\u0433\u043e 5 \u043c\u044f\u0447\u0435\u0439 \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439. \u041f\u043e\u0438\u0441\u043a \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0433\u0440\u0443\u0431\u043e\u0439 \u0441\u0438\u043b\u044b \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b \u0431\u044b \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<p>  \u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435 2: \u043f\u044b\u0442\u043b\u0438\u0432\u044b\u0439 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c \u0441\u043f\u0440\u043e\u0441\u0438\u0442: \u00ab\u0417\u0430\u0447\u0435\u043c \u0436\u0435 \u043d\u0430\u043c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0442\u044c \u043a\u0443\u0447\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0437\u043b\u043e\u0432 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0442\u043e\u0447\u043a\u0435? \u042d\u0442\u043e \u0436\u0435 \u0442\u0440\u0430\u0442\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439!\u00bb. \u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u0415\u0441\u0442\u044c \u0438 \u0442\u0430\u043a\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u0438\u0437\u0431\u0435\u0433\u0430\u044e\u0449\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0443\u0437\u043b\u043e\u0432 \u2013 \u044d\u0442\u043e Dropout \u0438 Drop-Connect, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0441\u044c \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u043e\u0437\u0434\u043d\u0435\u0435.<\/p>\n<p>  \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 3: \u0443\u043a\u043b\u043e\u043d\u044b \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u044b<\/p>\n<p>  \u0418\u043d\u043e\u0433\u0434\u0430 \u0443\u043a\u043b\u043e\u043d\u044b \u0431\u044b\u0432\u0430\u044e\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u044b. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0430\u043a\u043e\u0439 \u0433\u0440\u0430\u0444\u0438\u043a.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/80b\/433\/9d9\/80b4339d93dced481381b66f45a95db4.png\" alt=\"image\"\/><\/p>\n<p>  \u041d\u0430\u0448 \u043c\u044f\u0447 \u0437\u0430\u0441\u0442\u0440\u044f\u043b. \u042d\u0442\u043e \u0441\u043b\u0443\u0447\u0438\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 alpha \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e\u0439. \u041e\u043d \u0441\u0440\u0430\u0437\u0443 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0438 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435. \u0418, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435, \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u043c\u0435\u043b\u043a\u0438\u043c\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f\u043c\u0438 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0437\u0430\u0439\u043c\u0451\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/35d\/295\/203\/35d295203b8dbc3849f64eccfe23896b.png\" alt=\"image\"\/><\/p>\n<h5>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 3: \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c alpha<\/h5>\n<p>  \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c alpha, \u0438 \u0434\u0430\u0436\u0435 \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u043d\u0430\u0448\u0438 \u0434\u0435\u043b\u044c\u0442\u044b \u043d\u0430 \u0447\u0438\u0441\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c 1. \u042d\u0442\u043e \u0440\u0435\u0434\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u043d\u043e \u0431\u044b\u0432\u0430\u0435\u0442.<\/p>\n<h5>\u0427\u0430\u0441\u0442\u044c 4: \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0432 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445<\/h5>\n<p>  \u0422\u0430\u043a \u043a\u0430\u043a \u0436\u0435 \u044d\u0442\u0438 \u043c\u044f\u0447\u0438 \u0438 \u043b\u0438\u043d\u0438\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438 \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c? \u042d\u0442\u0430 \u0442\u0435\u043c\u0430 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435 \u0432\u0430\u0436\u043d\u0430, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438 \u0441\u043b\u043e\u0436\u043d\u0430.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/0a2\/e43\/9eb\/0a2e439ebacbf0ea5233a00170deacc9.png\" alt=\"image\"\/><\/p>\n<p>  \u0412 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043c\u044b \u0441\u0442\u0430\u0440\u0430\u0435\u043c\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044e \u043a \u0432\u0435\u0441\u0430\u043c. \u041b\u0438\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0443 \u0441\u0435\u0442\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0432\u0435\u0441\u043e\u0432. \u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u043e\u0448\u0438\u0431\u043a\u0443 \u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0432\u0435\u0441\u043e\u0432, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u044b\u043b \u0431\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0442\u0430\u043a\u043e\u0439 \u043b\u0438\u043d\u0438\u0435\u0439. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u0431\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 (\u0441\u0430\u043c\u0430\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0447\u0430\u0441\u0442\u044c \u043a\u0440\u0438\u0432\u043e\u0439). \u042f \u0433\u043e\u0432\u043e\u0440\u044e \u2013 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0435\u0441\u0430, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043d\u0430\u0448 \u0433\u0440\u0430\u0444\u0438\u043a \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u044b\u0439. \u0445 \u2013 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430, \u0430 \u0443 \u2013 \u044d\u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0432 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u0432\u0435\u0441 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 \u0445.<\/p>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0434\u0432\u0443\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438.<\/p>\n<pre><code class=\"python\">import numpy as np  # \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0443 def sigmoid(x):     output = 1\/(1+np.exp(-x))     return output  # \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 def sigmoid_output_to_derivative(output):     return output*(1-output)      # \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 X = np.array([  [0,1],                 [0,1],                 [1,0],                 [1,0] ])      # \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435       y = np.array([[0,0,1,1]]).T  # \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 np.random.seed(1)  # \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c 0 synapse_0 = 2*np.random.random((2,1)) - 1  for iter in xrange(10000):      # \u043f\u0440\u044f\u043c\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435     layer_0 = X     layer_1 = sigmoid(np.dot(layer_0,synapse_0))      # \u043a\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c?     layer_1_error = layer_1 - y      # \u0443\u043c\u043d\u043e\u0436\u0438\u043c \u043e\u0448\u0438\u0431\u043a\u0443 \u043d\u0430 \u0443\u043a\u043b\u043e\u043d \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b      # \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 l1     layer_1_delta = layer_1_error * sigmoid_output_to_derivative(layer_1)     synapse_0_derivative = np.dot(layer_0.T,layer_1_delta)      # \u043e\u0431\u043d\u043e\u0432\u0438\u043c \u0432\u0435\u0441\u0430     synapse_0 -= synapse_0_derivative  print &quot;\u0412\u044b\u0432\u043e\u0434 \u043f\u043e\u0441\u043b\u0435 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438:&quot; print layer_1 <\/code><\/pre>\n<p>  \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u043d\u0430 \u0432\u044b\u0432\u043e\u0434\u0435, \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c\u0430\u044f \u0432 \u0441\u0442\u0440\u043e\u043a\u0435 35 (layer_1_error = layer_1 \u2014 y). \u0422\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0430\u0441 2 \u0432\u0435\u0441\u0430, \u0442\u043e \u0433\u0440\u0430\u0444\u0438\u043a \u0441 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d \u0432 \u0442\u0440\u0451\u0445\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e (x,y,z), \u0433\u0434\u0435 \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u0438 \u0438\u0434\u0443\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u0430 \u0445 \u0438 \u0443 \u2013 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0432 syn0.<\/p>\n<p>  \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043d\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043e\u043a \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u043a \u043c\u044b \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u043e\u0448\u0438\u0431\u043a\u0443 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432? \u042d\u0442\u043e\u0442 \u043f\u043e\u0434\u0441\u0447\u0451\u0442 \u0438\u0434\u0451\u0442 \u0432 \u0441\u0442\u0440\u043e\u043a\u0430\u0445 31, 32 \u0438 35:<\/p>\n<pre><code class=\"python\">layer_0 = X layer_1 = sigmoid(np.dot(layer_0,synapse_0)) layer_1_error = layer_1 - y <\/code><\/pre>\n<p>  \u0415\u0441\u043b\u0438 \u043c\u044b \u043d\u0430\u0440\u0438\u0441\u0443\u0435\u043c \u043e\u0431\u0449\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432 (\u043e\u0442 -10 \u0434\u043e 10 \u0434\u043b\u044f \u0445 \u0438 \u0443), \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043d\u0435\u0447\u0442\u043e \u0432\u0440\u043e\u0434\u0435 \u044d\u0442\u043e\u0433\u043e:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/83f\/750\/9e6\/83f7509e6aa35d699b1790af2b38412b.gif\" alt=\"image\"\/><\/p>\n<p>  \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0432\u0441\u0451 \u043f\u0440\u043e\u0441\u0442\u043e \u2013 \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 \u0432\u0435\u0441\u043e\u0432, \u0438 \u043e\u0448\u0438\u0431\u043a\u0443, \u0432\u044b\u0434\u0430\u0432\u0430\u0435\u043c\u0443\u044e \u0441\u0435\u0442\u044c\u044e \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u043e\u0432. \u0445 \u2013 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0435\u0441 synapse_0, \u0430 y \u2013 \u0432\u0442\u043e\u0440\u043e\u0439 \u0432\u0435\u0441 synapse_0. z \u2013 \u043e\u0448\u0438\u0431\u043a\u0430. \u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0442 \u0441 \u043f\u0435\u0440\u0432\u044b\u043c \u0432\u0445\u043e\u0434\u043d\u044b\u043c \u043d\u0430\u0431\u043e\u0440\u043e\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0448\u0438\u0431\u043a\u0430 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430, \u043a\u043e\u0433\u0434\u0430 \u0445 \u0431\u043e\u043b\u044c\u0448\u043e\u0439. \u0410 \u0447\u0442\u043e \u043d\u0430\u0441\u0447\u0451\u0442 \u0443? \u041a\u043e\u0433\u0434\u0430 \u043e\u043d \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u0435\u043d?<\/p>\n<h5>\u041a\u0430\u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0448\u0430 \u0434\u0432\u0443\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f \u0441\u0435\u0442\u044c?<\/h5>\n<p>  \u0417\u043d\u0430\u0447\u0438\u0442, \u0435\u0441\u043b\u0438 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 3 \u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043e\u0448\u0438\u0431\u043a\u0443, \u0442\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0441\u0435\u0442\u044c \u0434\u043b\u044f \u0435\u0451 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f. \u0422\u0443\u0442 \u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a.<\/p>\n<pre><code class=\"python\">layer_1_delta = layer_1_error * sigmoid_output_to_derivative(layer_1) synapse_0_derivative = np.dot(layer_0.T,layer_1_delta) synapse_0 -= synapse_0_derivative <\/code><\/pre>\n<p>  \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u043d\u0430\u0448 \u043f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434:  <\/p>\n<ul>\n<li>\u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0443\u043a\u043b\u043e\u043d slope \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0445<\/li>\n<li>\u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0445 \u043d\u0430 slope (x = x \u2014 slope)<\/li>\n<li>\u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c, \u043f\u043e\u043a\u0430 slope \u043d\u0435 \u0441\u0442\u0430\u043d\u0435\u0442 \u0440\u0430\u0432\u0435\u043d 0<\/li>\n<\/ul>\n<p>  \u042d\u0442\u043e \u043e\u043d \u0438 \u0435\u0441\u0442\u044c. \u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c 2 \u0432\u0435\u0441\u0430, \u0430 \u043d\u0435 \u043e\u0434\u0438\u043d. \u041b\u043e\u0433\u0438\u043a\u0430 \u0432\u0441\u0451 \u0442\u0430 \u0436\u0435.<\/p>\n<h4>\u0427\u0430\u0441\u0442\u044c 5: \u0423\u043b\u0443\u0447\u0448\u0430\u0435\u043c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c<\/h4>\n<p>  <\/p>\n<h5>\u0423\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 1: \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0438 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c \u0430\u043b\u044c\u0444\u0443<\/h5>\n<p>  \u0427\u0442\u043e \u0435\u0441\u0442\u044c \u0430\u043b\u044c\u0444\u0430? \u041a\u0430\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0432\u044b\u0448\u0435, \u044d\u0442\u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f. \u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u043f\u0435\u0440\u0435\u0434 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0432\u0435\u0441\u043e\u0432, \u043c\u044b \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430 alpha (\u043e\u0431\u044b\u0447\u043d\u043e \u043c\u0435\u0436\u0434\u0443 0 \u0438 1). \u0418 \u0442\u0430\u043a\u043e\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u0434\u0430 \u0441\u0438\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0435\u0433\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p>  \u0412\u0435\u0440\u043d\u0451\u043c\u0441\u044f \u043a \u043d\u0430\u0448\u0435\u0439 \u0442\u0440\u0451\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0439 \u0441\u0435\u0442\u0438 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0430\u043b\u044c\u0444\u0430 \u0432 \u043d\u0443\u0436\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0431 alpha \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c.<\/p>\n<ul>\n<li> \u041f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0443\u043a\u043b\u043e\u043d \u00abslope\u00bb \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u00abx\u00bb <\/li>\n<li> \u0423\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0445 \u043d\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0443\u043a\u043b\u043e\u043d\u0430, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 alpha x = x \u2014 (alpha*slope)<\/li>\n<li> (\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 slope == 0)<\/li>\n<\/ul>\n<pre><code class=\"python\">import numpy as np  alphas = [0.001,0.01,0.1,1,10,100,1000]  # \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0443 def sigmoid(x):     output = 1\/(1+np.exp(-x))     return output  # \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 def sigmoid_output_to_derivative(output):     return output*(1-output)      X = np.array([[0,0,1],             [0,1,1],             [1,0,1],             [1,1,1]])                  y = np.array([[0], \t\t\t[1], \t\t\t[1], \t\t\t[0]])  for alpha in alphas:     print &quot;\\n\u0422\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043f\u0440\u0438 Alpha:&quot; + str(alpha)     np.random.seed(1)      # \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c 0     synapse_0 = 2*np.random.random((3,4)) - 1     synapse_1 = 2*np.random.random((4,1)) - 1      for j in xrange(60000):          # \u041f\u0440\u044f\u043c\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c 0, 1 \u0438 2         layer_0 = X         layer_1 = sigmoid(np.dot(layer_0,synapse_0))         layer_2 = sigmoid(np.dot(layer_1,synapse_1))          # \u043a\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c?         layer_2_error = layer_2 - y          if (j% 10000) == 0:             print &quot;\u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 &quot;+str(j)+&quot; \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:&quot; + str(np.mean(np.abs(layer_2_error)))          # \u0432 \u043a\u0430\u043a\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u044c?         # \u0443\u0432\u0435\u0440\u0435\u043d\u044b \u043b\u0438 \u043c\u044b? \u0415\u0441\u043b\u0438 \u0434\u0430, \u0442\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439         layer_2_delta = layer_2_error*sigmoid_output_to_derivative(layer_2)          # \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0436\u0434\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0437 l1 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0443 \u0432 l2 (\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438)?         layer_1_error = layer_2_delta.dot(synapse_1.T)          # \u0432 \u043a\u0430\u043a\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u044c l1?         # \u0443\u0432\u0435\u0440\u0435\u043d\u044b \u043b\u0438 \u043c\u044b? \u0415\u0441\u043b\u0438 \u0434\u0430, \u0442\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439         layer_1_delta = layer_1_error * sigmoid_output_to_derivative(layer_1)          synapse_1 -= alpha * (layer_1.T.dot(layer_2_delta))         synapse_0 -= alpha * (layer_0.T.dot(layer_1_delta)) <\/code><\/pre>\n<pre><code class=\"bash\">\u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:0.001 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496410031903 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.495164025493 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.493596043188 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.491606358559 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.489100166544 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.485977857846  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:0.01 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496410031903 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.457431074442 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.359097202563 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.239358137159 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.143070659013 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0985964298089  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:0.1 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496410031903 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0428880170001 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0240989942285 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0181106521468 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0149876162722 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0130144905381  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:1 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496410031903 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00858452565325 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00578945986251 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00462917677677 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00395876528027 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00351012256786  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:10 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496410031903 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00312938876301 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00214459557985 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00172397549956 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00147821451229 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00131274062834  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:100 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496410031903 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.125476983855 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.125330333528 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.125267728765 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.12523107366 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.125206352756  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:1000 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496410031903 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 <\/code><\/pre>\n<p>  \u041a\u0430\u043a\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u044b \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d alpha?<\/p>\n<p>  <b>Alpha = 0.001<\/b><br \/>  \u041f\u0440\u0438 \u043e\u0447\u0435\u043d\u044c \u043d\u0438\u0437\u043a\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 \u0441\u0435\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f. \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u044b. \u041c\u0430\u043b\u043e \u0447\u0442\u043e \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c \u0434\u0430\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 60000 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439. \u042d\u0442\u043e \u043d\u0430\u0448\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u21163: \u043a\u043e\u0433\u0434\u0430 \u0443\u043a\u043b\u043e\u043d\u044b \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u044b.<\/p>\n<p>  <b>Alpha = 0.01<\/b><br \/>  \u041d\u0435\u043f\u043b\u043e\u0445\u043e\u0435 \u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435, \u043f\u043b\u0430\u0432\u043d\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0432\u0448\u0435\u0435 \u0437\u0430 60000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439, \u043d\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0435 \u0441\u043e\u0448\u043b\u043e\u0441\u044c \u0442\u0430\u043a \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0446\u0435\u043b\u0438, \u043a\u0430\u043a \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0438. \u0422\u0430 \u0436\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u21163.<\/p>\n<p>  <b>Alpha = 0.1<\/b><br \/>  \u0412\u043d\u0430\u0447\u0430\u043b\u0435 \u0448\u043b\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e, \u043d\u043e \u0437\u0430\u0442\u0435\u043c \u0437\u0430\u043c\u0435\u0434\u043b\u0438\u043b\u0438\u0441\u044c. \u042d\u0442\u043e \u0432\u0441\u0451 \u0435\u0449\u0451 3-\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430.<\/p>\n<p>  <b>Alpha = 1<\/b><br \/>  \u041f\u044b\u0442\u043b\u0438\u0432\u044b\u0439 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c \u0437\u0430\u043c\u0435\u0442\u0438\u0442, \u0447\u0442\u043e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a\u0430\u044f \u0436\u0435, \u043a\u0430\u043a \u0435\u0441\u043b\u0438 \u0431\u044b \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0430\u043b\u044c\u0444\u044b \u043d\u0435 \u0431\u044b\u043b\u043e. \u041c\u044b \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u043d\u0430 1.<\/p>\n<p>  <b>Alpha = 10<\/b><br \/>  \u0421\u044e\u0440\u043f\u0440\u0438\u0437 \u2013 \u0430\u043b\u044c\u0444\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u043f\u0440\u0438\u0432\u0435\u043b\u0430 \u043a \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0432\u0441\u0435\u0433\u043e \u0437\u0430 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439. \u0417\u043d\u0430\u0447\u0438\u0442, \u043d\u0430\u0448\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u0431\u044b\u043b\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u044b\u043c. \u0417\u043d\u0430\u0447\u0438\u0442, \u0432\u0435\u0441\u0430 \u0434\u0432\u0438\u0433\u0430\u043b\u0438\u0441\u044c \u0432 \u043d\u0443\u0436\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438, \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043e\u043d\u0438 \u0434\u0432\u0438\u0433\u0430\u043b\u0438\u0441\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e.<\/p>\n<p>  <b>Alpha = 100<\/b><br \/>  \u0421\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0440\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438. \u0428\u0430\u0433\u0438 \u0441\u0435\u0442\u0438 \u0442\u0430\u043a\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435, \u0447\u0442\u043e \u043e\u043d\u0430 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0439\u0442\u0438 \u043d\u0438\u0436\u043d\u044e\u044e \u0442\u043e\u0447\u043a\u0443 \u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u043e\u0448\u0438\u0431\u043e\u043a. \u042d\u0442\u043e \u043d\u0430\u0448\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u21161. \u0421\u0435\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u044b\u0433\u0430\u0435\u0442 \u0442\u0443\u0434\u0430-\u0441\u044e\u0434\u0430 \u043f\u043e \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u0438 \u043d\u0438\u0433\u0434\u0435 \u043d\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043c\u0438\u043d\u0438\u043c\u0443\u043c.<\/p>\n<p>  <b>Alpha = 1000<\/b><br \/>  \u041f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f, \u0438 \u043e\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 0,5. \u042d\u0442\u043e \u0431\u043e\u043b\u0435\u0435 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u21163.<\/p>\n<p>  \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0431\u043b\u0438\u0436\u0435<\/p>\n<pre><code class=\"python\">import numpy as np  alphas = [0.001,0.01,0.1,1,10,100,1000]  # \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0443 def sigmoid(x):     output = 1\/(1+np.exp(-x))     return output  # \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 def sigmoid_output_to_derivative(output):     return output*(1-output)      X = np.array([[0,0,1],             [0,1,1],             [1,0,1],             [1,1,1]])                  y = np.array([[0], \t\t\t[1], \t\t\t[1], \t\t\t[0]])  for alpha in alphas:     print &quot;\\n\u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:&quot; + str(alpha)     np.random.seed(1)      # \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c 0     synapse_0 = 2*np.random.random((3,4)) - 1     synapse_1 = 2*np.random.random((4,1)) - 1              prev_synapse_0_weight_update = np.zeros_like(synapse_0)     prev_synapse_1_weight_update = np.zeros_like(synapse_1)      synapse_0_direction_count = np.zeros_like(synapse_0)     synapse_1_direction_count = np.zeros_like(synapse_1)              for j in xrange(60000):          # \u041f\u0440\u044f\u043c\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c 0, 1 \u0438 2         layer_0 = X         layer_1 = sigmoid(np.dot(layer_0,synapse_0))         layer_2 = sigmoid(np.dot(layer_1,synapse_1))          # \u043a\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c?         layer_2_error = y - layer_2          if (j% 10000) == 0:             print &quot;Error:&quot; + str(np.mean(np.abs(layer_2_error)))          # \u0432 \u043a\u0430\u043a\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u044c?         # \u0443\u0432\u0435\u0440\u0435\u043d\u044b \u043b\u0438 \u043c\u044b? \u0415\u0441\u043b\u0438 \u0434\u0430, \u0442\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439         layer_2_delta = layer_2_error*sigmoid_output_to_derivative(layer_2)          # \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0436\u0434\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0437 l1 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0443 \u0432 l2 (\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438)?         layer_1_error = layer_2_delta.dot(synapse_1.T)          # \u0432 \u043a\u0430\u043a\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u044c l1?         # \u0443\u0432\u0435\u0440\u0435\u043d\u044b \u043b\u0438 \u043c\u044b? \u0415\u0441\u043b\u0438 \u0434\u0430, \u0442\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439         layer_1_delta = layer_1_error * sigmoid_output_to_derivative(layer_1)                  synapse_1_weight_update = (layer_1.T.dot(layer_2_delta))         synapse_0_weight_update = (layer_0.T.dot(layer_1_delta))                  if(j &gt; 0):             synapse_0_direction_count += np.abs(((synapse_0_weight_update &gt; 0)+0) - ((prev_synapse_0_weight_update &gt; 0) + 0))             synapse_1_direction_count += np.abs(((synapse_1_weight_update &gt; 0)+0) - ((prev_synapse_1_weight_update &gt; 0) + 0))                          synapse_1 += alpha * synapse_1_weight_update         synapse_0 += alpha * synapse_0_weight_update                  prev_synapse_0_weight_update = synapse_0_weight_update         prev_synapse_1_weight_update = synapse_1_weight_update          print &quot;Synapse 0&quot;     print synapse_0          print &quot;Synapse 0 Update Direction Changes&quot;     print synapse_0_direction_count          print &quot;Synapse 1&quot;     print synapse_1      print &quot;Synapse 1 Update Direction Changes&quot;     print synapse_1_direction_count <\/code><\/pre>\n<pre><code class=\"bash\">\u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:0.001 Error:0.496410031903 Error:0.495164025493 Error:0.493596043188 Error:0.491606358559 Error:0.489100166544 Error:0.485977857846 Synapse 0 [[-0.28448441  0.32471214 -1.53496167 -0.47594822]  [-0.7550616  -1.04593014 -1.45446052 -0.32606771]  [-0.2594825  -0.13487028 -0.29722666  0.40028038]] Synapse 0 Update Direction Changes [[ 0.  0.  0.  0.]  [ 0.  0.  0.  0.]  [ 1.  0.  1.  1.]] Synapse 1 [[-0.61957526]  [ 0.76414675]  [-1.49797046]  [ 0.40734574]] Synapse 1 Update Direction Changes [[ 1.]  [ 1.]  [ 0.]  [ 1.]]  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:0.01 Error:0.496410031903 Error:0.457431074442 Error:0.359097202563 Error:0.239358137159 Error:0.143070659013 Error:0.0985964298089 Synapse 0 [[ 2.39225985  2.56885428 -5.38289334 -3.29231397]  [-0.35379718 -4.6509363  -5.67005693 -1.74287864]  [-0.15431323 -1.17147894  1.97979367  3.44633281]] Synapse 0 Update Direction Changes [[ 1.  1.  0.  0.]  [ 2.  0.  0.  2.]  [ 4.  2.  1.  1.]] Synapse 1 [[-3.70045078]  [ 4.57578637]  [-7.63362462]  [ 4.73787613]] Synapse 1 Update Direction Changes [[ 2.]  [ 1.]  [ 0.]  [ 1.]]  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:0.1 Error:0.496410031903 Error:0.0428880170001 Error:0.0240989942285 Error:0.0181106521468 Error:0.0149876162722 Error:0.0130144905381 Synapse 0 [[ 3.88035459  3.6391263  -5.99509098 -3.8224267 ]  [-1.72462557 -5.41496387 -6.30737281 -3.03987763]  [ 0.45953952 -1.77301389  2.37235987  5.04309824]] Synapse 0 Update Direction Changes [[ 1.  1.  0.  0.]  [ 2.  0.  0.  2.]  [ 4.  2.  1.  1.]] Synapse 1 [[-5.72386389]  [ 6.15041318]  [-9.40272079]  [ 6.61461026]] Synapse 1 Update Direction Changes [[ 2.]  [ 1.]  [ 0.]  [ 1.]]  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:1 Error:0.496410031903 Error:0.00858452565325 Error:0.00578945986251 Error:0.00462917677677 Error:0.00395876528027 Error:0.00351012256786 Synapse 0 [[ 4.6013571   4.17197193 -6.30956245 -4.19745118]  [-2.58413484 -5.81447929 -6.60793435 -3.68396123]  [ 0.97538679 -2.02685775  2.52949751  5.84371739]] Synapse 0 Update Direction Changes [[ 1.  1.  0.  0.]  [ 2.  0.  0.  2.]  [ 4.  2.  1.  1.]] Synapse 1 [[ -6.96765763]  [  7.14101949]  [-10.31917382]  [  7.86128405]] Synapse 1 Update Direction Changes [[ 2.]  [ 1.]  [ 0.]  [ 1.]]  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:10 Error:0.496410031903 Error:0.00312938876301 Error:0.00214459557985 Error:0.00172397549956 Error:0.00147821451229 Error:0.00131274062834 Synapse 0 [[ 4.52597806  5.77663165 -7.34266481 -5.29379829]  [ 1.66715206 -7.16447274 -7.99779235 -1.81881849]  [-4.27032921 -3.35838279  3.44594007  4.88852208]] Synapse 0 Update Direction Changes [[  7.  19.   2.   6.]  [  7.   2.   0.  22.]  [ 19.  26.   9.  17.]] Synapse 1 [[ -8.58485788]  [ 10.1786297 ]  [-14.87601886]  [  7.57026121]] Synapse 1 Update Direction Changes [[ 22.]  [ 15.]  [  4.]  [ 15.]]  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:100 Error:0.496410031903 Error:0.125476983855 Error:0.125330333528 Error:0.125267728765 Error:0.12523107366 Error:0.125206352756 Synapse 0 [[-17.20515374   1.89881432 -16.95533155  -8.23482697]  [  5.70240659 -17.23785161  -9.48052574  -7.92972576]  [ -4.18781704  -0.3388181    2.82024759  -8.40059859]] Synapse 0 Update Direction Changes [[  8.   7.   3.   2.]  [ 13.   8.   2.   4.]  [ 16.  13.  12.   8.]] Synapse 1 [[  9.68285369]  [  9.55731916]  [-16.0390702 ]  [  6.27326973]] Synapse 1 Update Direction Changes [[ 13.]  [ 11.]  [ 12.]  [ 10.]]  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:1000 Error:0.496410031903 Error:0.5 Error:0.5 Error:0.5 Error:0.5 Error:0.5 Synapse 0 [[-56.06177241  -4.66409623  -5.65196179 -23.05868769]  [ -4.52271708  -4.78184499 -10.88770202 -15.85879101]  [-89.56678495  10.81119741  37.02351518 -48.33299795]] Synapse 0 Update Direction Changes [[ 3.  2.  4.  1.]  [ 1.  2.  2.  1.]  [ 6.  6.  4.  1.]] Synapse 1 [[  25.16188889]  [  -8.68235535]  [-116.60053379]  [  11.41582458]] Synapse 1 Update Direction Changes [[ 7.]  [ 7.]  [ 7.]  [ 3.]] <\/code><\/pre>\n<p>  \u0412 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u043c \u043a\u043e\u0434\u0435 \u044f \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u044e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043c\u0435\u043d\u044f\u0435\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u042d\u0442\u043e\u043c\u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u044b\u0432\u043e\u0434 \u00abUpdate Direction Changes\u00bb. \u0415\u0441\u043b\u0438 \u0443\u043a\u043b\u043e\u043d (\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f) \u043c\u0435\u043d\u044f\u0435\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0437\u043d\u0430\u0447\u0438\u0442, \u043c\u044b \u043f\u0440\u043e\u0448\u043b\u0438 \u043d\u0430\u0434 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u043c \u0438 \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f. \u0415\u0441\u043b\u0438 \u043e\u043d\u0430 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u044b, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0434\u0430\u043b\u0435\u043a\u043e \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u043b\u0438\u0441\u044c.<\/p>\n<p>  \u0427\u0442\u043e \u0432\u0438\u0434\u0438\u043c:  <\/p>\n<ul>\n<li>\u041a\u043e\u0433\u0434\u0430 \u0430\u043b\u044c\u0444\u0430 \u0431\u044b\u043b\u0430 \u043c\u0435\u043b\u043a\u043e\u0439, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043c\u0435\u043d\u044f\u043b\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f<\/li>\n<li>\u041a\u043e\u0433\u0434\u0430 \u0430\u043b\u044c\u0444\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e \u043c\u0435\u043d\u044f\u0435\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/li>\n<li>\u041a\u043e\u0433\u0434\u0430 \u0430\u043b\u044c\u0444\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0447\u0430\u0441\u0442\u043e \u043c\u0435\u043d\u044f\u0435\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/li>\n<li>\u041a\u043e\u0433\u0434\u0430 \u0430\u043b\u044c\u0444\u0430 \u043c\u0435\u043b\u043a\u0430\u044f, \u0432\u0435\u0441\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043c\u0435\u043b\u043a\u0438\u043c\u0438<\/li>\n<li>\u041a\u043e\u0433\u0434\u0430 \u0430\u043b\u044c\u0444\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f, \u0432\u0435\u0441\u0430 \u0442\u0430\u043a\u0436\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f<\/li>\n<\/ul>\n<h5>\u0423\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 2: \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f<\/h5>\n<p>  \u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u043e\u0432, \u043a \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u044b \u0441\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0438. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0430\u043a\u0443\u044e \u0441\u0435\u0442\u044c \u0438 \u0435\u0451 \u0432\u044b\u0432\u043e\u0434.<\/p>\n<pre><code class=\"python\">import numpy as np  alphas = [0.001,0.01,0.1,1,10,100,1000] hiddenSize = 32  # \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u0443 def sigmoid(x):     output = 1\/(1+np.exp(-x))     return output  # \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 def sigmoid_output_to_derivative(output):     return output*(1-output)      X = np.array([[0,0,1],             [0,1,1],             [1,0,1],             [1,1,1]])                  y = np.array([[0], \t\t\t[1], \t\t\t[1], \t\t\t[0]])  for alpha in alphas:     print &quot;\\n\u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:&quot; + str(alpha)     np.random.seed(1)      # randomly initialize our weights with mean 0     synapse_0 = 2*np.random.random((3,hiddenSize)) - 1     synapse_1 = 2*np.random.random((hiddenSize,1)) - 1      for j in xrange(60000):          # \u041f\u0440\u044f\u043c\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c 0, 1 \u0438 2         layer_0 = X         layer_1 = sigmoid(np.dot(layer_0,synapse_0))         layer_2 = sigmoid(np.dot(layer_1,synapse_1))          # \u043a\u0430\u043a \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c?         layer_2_error = layer_2 - y          if (j% 10000) == 0:             print &quot;\u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 &quot;+str(j)+&quot; \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:&quot; + str(np.mean(np.abs(layer_2_error)))          # \u0432 \u043a\u0430\u043a\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u044c?         # \u0443\u0432\u0435\u0440\u0435\u043d\u044b \u043b\u0438 \u043c\u044b? \u0415\u0441\u043b\u0438 \u0434\u0430, \u0442\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439         layer_2_delta = layer_2_error*sigmoid_output_to_derivative(layer_2)          # \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0436\u0434\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438\u0437 l1 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0443 \u0432 l2 (\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438)?         layer_1_error = layer_2_delta.dot(synapse_1.T)          # \u0432 \u043a\u0430\u043a\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u044c l1?         # \u0443\u0432\u0435\u0440\u0435\u043d\u044b \u043b\u0438 \u043c\u044b? \u0415\u0441\u043b\u0438 \u0434\u0430, \u0442\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439         layer_1_delta = layer_1_error * sigmoid_output_to_derivative(layer_1)          synapse_1 -= alpha * (layer_1.T.dot(layer_2_delta))         synapse_0 -= alpha * (layer_0.T.dot(layer_1_delta)) <\/code><\/pre>\n<pre><code class=\"bash\">\u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:0.001 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496439922501 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.491049468129 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.484976307027 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.477830678793 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.46903846539 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.458029258565  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:0.01 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496439922501 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.356379061648 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.146939845465 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0880156127416 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.065147819275 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0529658087026  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:0.1 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496439922501 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0305404908386 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0190638725334 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0147643907296 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0123892429905 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.0108421669738  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:1 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496439922501 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00736052234249 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00497251705039 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00396863978159 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00338641021983 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00299625684932  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:10 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496439922501 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00224922117381 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00153852153014 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00123717718456 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.00106119569132 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.000942641990774  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:100 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496439922501 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430 \u0441 alpha:1000 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 0 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.496439922501 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 10000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 20000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 30000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 40000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 \u041e\u0448\u0438\u0431\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 50000 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439:0.5 <\/code><\/pre>\n<p>  \u041d\u0430\u0438\u043b\u0443\u0447\u0448\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0441 32 \u0443\u0437\u043b\u0430\u043c\u0438 \u2014 0.0009, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0441 4 \u0441\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0443\u0437\u043b\u0430\u043c\u0438 \u2013 \u0442\u043e\u043b\u044c\u043a\u043e 0.0013. \u042d\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432\u0430\u0436\u043d\u043e. \u0414\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u043b\u0435\u0435 3 \u0443\u0437\u043b\u043e\u0432. \u041d\u043e \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0443 \u043d\u0430\u0441 \u0431\u044b\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0443\u0437\u043b\u043e\u0432, \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u043f\u043e\u0438\u0441\u043a \u0432 \u0431\u043e\u043b\u044c\u0448\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0438, \u0438 \u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043d\u0435\u0432\u0435\u043b\u0438\u043a\u0430, \u043d\u043e \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u043d\u0430\u0431\u043e\u0440\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u043e.       <\/p>\n<div class=\"clear\"><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"http:\/\/habrahabr.ru\/post\/272679\/\"> http:\/\/habrahabr.ru\/post\/272679\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>       <i><a href=\"http:\/\/habrahabr.ru\/post\/271563\/\">\u0427\u0430\u0441\u0442\u044c 1<\/a><\/i><\/p>\n<h4>\u0414\u0430\u0432\u0430\u0439 \u0441\u0440\u0430\u0437\u0443 \u043a\u043e\u0434!<\/h4>\n<p>  <\/p>\n<pre><code class=\"python\">import numpy as np X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ]) y = np.array([[0,1,1,0]]).T alpha,hidden_dim = (0.5,4) synapse_0 = 2*np.random.random((3,hidden_dim)) - 1 synapse_1 = 2*np.random.random((hidden_dim,1)) - 1 for j in xrange(60000):     layer_1 = 1\/(1+np.exp(-(np.dot(X,synapse_0))))     layer_2 = 1\/(1+np.exp(-(np.dot(layer_1,synapse_1))))     layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))     layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))     synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))     synapse_0 -= (alpha * X.T.dot(layer_1_delta)) <\/code><\/pre>\n<h4>\u0427\u0430\u0441\u0442\u044c 1: \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f<\/h4>\n<p>  \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u044f \u043e\u043f\u0438\u0441\u0430\u043b \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u044b \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u0421\u0435\u0442\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0430 \u043d\u0430\u043c \u043f\u043e\u043c\u0435\u0440\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0432\u0435\u0441\u043e\u0432 \u0441\u0435\u0442\u0438 \u0432\u043d\u043e\u0441\u0438\u0442 \u0441\u0432\u043e\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u043e\u0448\u0438\u0431\u043a\u0443. \u0418 \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u043d\u0430\u043c \u043c\u0435\u043d\u044f\u0442\u044c \u0432\u0435\u0441\u0430 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u2014 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430.<\/p>\n<p>  \u0421\u0443\u0442\u044c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0435\u0433\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043d\u0435 \u0432\u043d\u043e\u0441\u0438\u0442 \u0432 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u0435\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e. \u041e\u043d\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0435\u0442 \u043d\u0435\u0432\u0435\u0440\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0441 \u043a\u043e\u043d\u0446\u0430 \u0441\u0435\u0442\u0438 \u043d\u0430 \u0432\u0441\u0435 \u0432\u0435\u0441\u0430 \u0432\u043d\u0443\u0442\u0440\u0438, \u0447\u0442\u043e\u0431\u044b \u0434\u0440\u0443\u0433\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0443\u0436\u0435 \u0441\u043c\u043e\u0433 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0432\u0435\u0441\u0430 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u043d\u0430\u0448\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u043c. \u041d\u043e \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, \u0443 \u043d\u0430\u0441 \u0432 \u0438\u0437\u043e\u0431\u0438\u043b\u0438\u0438 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c:  <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-269913","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/269913","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=269913"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/269913\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=269913"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=269913"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=269913"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}