{"id":387011,"date":"2024-06-29T07:03:58","date_gmt":"2024-06-29T07:03:58","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=387011"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=387011","title":{"rendered":"<span>\u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439\u00a0PyTorch\u00a0\u0441 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u043e\u0439\u00a0Opacus<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/732\/0a9\/d99\/7320a9d9903abab0fd7aeef9cd57cb15.png\" alt=\"https:\/\/medium.com\/pytorch\/differential-privacy-series-part-1-dp-sgd-algorithm-explained-12512c3959a3\" title=\"https:\/\/medium.com\/pytorch\/differential-privacy-series-part-1-dp-sgd-algorithm-explained-12512c3959a3\" width=\"1140\" height=\"400\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/732\/0a9\/d99\/7320a9d9903abab0fd7aeef9cd57cb15.png\"\/><figcaption>https:\/\/medium.com\/pytorch\/differential-privacy-series-part-1-dp-sgd-algorithm-explained-12512c3959a3<\/figcaption><\/figure>\n<p>\u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u043e\u0441\u0438\u0442 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438 \u043d\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u0432\u0441\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438. \u0426\u0435\u043b\u044c\u00a0\u0441\u0442\u0430\u0442\u044c\u0438 &#8212; \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f \u0441 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u043e\u0439\u00a0Opacus\u00a0\u0438\u00a0\u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c,\u00a0\u043a\u0430\u043a \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<h3>\u0410\u043d\u043e\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430<\/h3>\n<p>\u041f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c &#8212; \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0432\u0435\u0449\u044c. <\/p>\n<p>\u041a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430\u00a0<a href=\"https:\/\/www.wired.com\/2007\/12\/why-anonymous-data-sometimes-isnt\/\" rel=\"noopener noreferrer nofollow\"><u>\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430\u00a0Netflix<\/u><\/a>\u00a0\u0432\u00a0\u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/Netflix_Prize\" rel=\"noopener noreferrer nofollow\"><u>Netflix\u00a0Prize<\/u><\/a>\u00a0\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0430\u043d\u043e\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438\u00a0\u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0\u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a95\/1c3\/138\/a951c3138542cb5fc7dce91156114dc9.png\" alt=\"https:\/\/paulisageek.com\/imdb-250-netflix\/\" title=\"https:\/\/paulisageek.com\/imdb-250-netflix\/\" width=\"536\" height=\"150\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a95\/1c3\/138\/a951c3138542cb5fc7dce91156114dc9.png\"\/><figcaption>https:\/\/paulisageek.com\/imdb-250-netflix\/<\/figcaption><\/figure>\n<p>Netflix\u00a0\u0430\u043d\u043e\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0441\u0432\u043e\u0438 \u0434\u0430\u043d\u043d\u044b\u0435\u00a0\u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0437\u0430\u043c\u0435\u043d\u0438\u0432 \u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438\u00a0\u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439\u00a0\u0441\u043c\u043e\u0433\u043b\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c,\u00a0\u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0\u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/Internet_Movie_Database\" rel=\"noopener noreferrer nofollow\"><u>IMDb<\/u><\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b\u0438\u0441\u044c \u0438\u043c\u0435\u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.\u00a0\u00a0<\/p>\n<p><a href=\"https:\/\/www.zdnet.com\/article\/strava-anonymized-fitness-tracking-data-government-opsec\/\" rel=\"noopener noreferrer nofollow\"><u>Strava\u00a0\u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043a\u0440\u044b\u043b\u0430 \u043c\u0438\u0440\u0443<\/u><\/a>, \u0447\u0442\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u043d \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439\u00a0\u043e\u0442\u043d\u044e\u0434\u044c\u00a0\u043d\u0435 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0430\u043d\u043e\u043d\u0438\u043c\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0432 \u0441\u0435\u0440\u0432\u0438\u0441 \u043f\u043e \u0441\u0431\u043e\u0440\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0441\u043f\u043e\u0440\u0442\u0441\u043c\u0435\u043d\u043e\u0432 \u043d\u0430 \u043a\u0430\u0440\u0442\u0435 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443,\u00a0\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0441\u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0432\u043e\u0435\u043d\u043d\u043e\u0439 \u0431\u0430\u0437\u044b\u00a0\u0432\u00a0\u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u0438.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/74a\/fc1\/ac1\/74afc1ac1a7f549beb9f8b2aa8b1b4dd.jpeg\" alt=\"\u0421\u0435\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0432 \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u0438 \u0431\u044b\u043b\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0430 \u043f\u043e \u0442\u0435\u043f\u043b\u043e\u0432\u044b\u043c \u043a\u0430\u0440\u0442\u0430\u043c \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0430 https:\/\/www.dailymail.co.uk\/news\/article-5324121\/Strava-data-reveals-secret-Australian-base-Pine-Gap.html\" title=\"\u0421\u0435\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0432 \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u0438 \u0431\u044b\u043b\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0430 \u043f\u043e \u0442\u0435\u043f\u043b\u043e\u0432\u044b\u043c \u043a\u0430\u0440\u0442\u0430\u043c \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0430 https:\/\/www.dailymail.co.uk\/news\/article-5324121\/Strava-data-reveals-secret-Australian-base-Pine-Gap.html\" width=\"634\" height=\"476\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/74a\/fc1\/ac1\/74afc1ac1a7f549beb9f8b2aa8b1b4dd.jpeg\" data-blurred=\"true\"\/><figcaption>\u0421\u0435\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0432 \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u0438 \u0431\u044b\u043b\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0430 \u043f\u043e \u0442\u0435\u043f\u043b\u043e\u0432\u044b\u043c \u043a\u0430\u0440\u0442\u0430\u043c \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0430 https:\/\/www.dailymail.co.uk\/news\/article-5324121\/Strava-data-reveals-secret-Australian-base-Pine-Gap.html<\/figcaption><\/figure>\n<p>\u00a0\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c,\u00a0\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e \u043e\u0431\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f.\u00a0\u0417\u043d\u0430\u0447\u0438\u0442 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0432\u0438\u0434\u0430:\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u0440\u0435\u043d\u0434 \u0441\u0440\u0435\u0434\u0438 \u0433\u0440\u0443\u043f\u043f\u044b, \u0438 \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u0439\u00a0\u0442\u0440\u0435\u043d\u0434\u00a0\u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438.\u00a0\u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0438\u0434\u0435\u044f \u0442\u0435\u0440\u043c\u0438\u043d\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c.\u00a0<\/p>\n<h3>\u041d\u0435\u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435\u00a0\u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438<\/h3>\n<p>\u041e\u0431\u0435\u0449\u0430\u043d\u0438\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 (\u0442\u043e\u0447\u043d\u0435\u0435,\u00a0\u03b5-\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c) \u2014 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u0431\u0430\u043b\u0430\u043d\u0441\u0430 \u043c\u0435\u0436\u0434\u0443\u00a0\u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c\u044e\u00a0\u0438\u00a0\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u043f\u0440\u0438 \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u0438 \u0432 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0<br \/>\u00a0<br \/>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0437\u0443\u043d\u043e\u043a \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438:\u00a0<br \/>\u0423\u0432\u043e\u0434\u0438\u0442\u0435 \u0435\u0433\u043e \u0432\u043b\u0435\u0432\u043e \u2014 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0435 \u043f\u043e\u043b\u043d\u0443\u044e \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c \u043b\u044e\u0434\u0435\u0439, \u0447\u044c\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043f\u0430\u043b\u0438 \u0432\u00a0\u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0448\u0443\u043c\u0430, \u0441\u043d\u0438\u0436\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438;\u00a0<\/p>\n<p>\u0423\u0432\u043e\u0434\u0438\u0442\u0435 \u0432\u043f\u0440\u0430\u0432\u043e \u2014 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438, \u043d\u043e \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0435 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043b\u044e\u0434\u044f\u0445 \u0438\u0437\u00a0\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/413\/662\/991\/413662991617574e78cc980e21dd396a.png\" alt=\"\u03b5 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043f\u043e\u0442\u0435\u0440\u044e \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 https:\/\/cltc.berkeley.edu\/2020\/08\/11\/new-video-on-differential-privacy-what-so-what-now-what\/\" title=\"\u03b5 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043f\u043e\u0442\u0435\u0440\u044e \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 https:\/\/cltc.berkeley.edu\/2020\/08\/11\/new-video-on-differential-privacy-what-so-what-now-what\/\" width=\"1024\" height=\"576\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/413\/662\/991\/413662991617574e78cc980e21dd396a.png\"\/><figcaption>\u03b5 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043f\u043e\u0442\u0435\u0440\u044e \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 https:\/\/cltc.berkeley.edu\/2020\/08\/11\/new-video-on-differential-privacy-what-so-what-now-what\/<\/figcaption><\/figure>\n<p>\u0421\u0443\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u043e\u043b\u0437\u0443\u043d\u043e\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u044c \u0432 \u043b\u044e\u0431\u0443\u044e \u0442\u043e\u0447\u043a\u0443 \u0448\u043a\u0430\u043b\u044b, \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044f \u0431\u0430\u043b\u0430\u043d\u0441 \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f.\u00a0<\/p>\n<h3>\u041a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443\u00a0Opacus\u00a0<\/h3>\n<p><a href=\"https:\/\/opacus.ai\/\" rel=\"noopener noreferrer nofollow\"><u>Opacus<\/u><\/a>\u00a0\u2014 \u044d\u0442\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438\u00a0PyTorch\u00a0\u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438.\u00a0\u041e\u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c\u0438 \u043a\u043e\u0434\u0430, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442\u00a0\u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c\u00a0\u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u043e\u043d\u043b\u0430\u0439\u043d\u00a0\u0431\u044e\u0434\u0436\u0435\u0442 \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438.\u00a0<\/p>\n<p>\u0423\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a \u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043b\u0438\u0448\u044c \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435, \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u0434\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u0435\u0441\u044c\u043c\u0430 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b. \u042d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a.\u00a0<\/p>\n<p>\u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f,\u00a0\u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043c\u0435\u043d\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0432 \u0432\u0430\u0448\u0435\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438, \u043d\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u00a0\u043f\u0440\u0438\u0432\u0430\u0442\u043d\u044b\u0439.\u00a0\u00a0<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c, \u043a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443, \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438\u00a0PyTorch\u00a0\u043d\u0430\u0431\u043e\u0440\u0443\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/MNIST_(%D0%B1%D0%B0%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85)\" rel=\"noopener noreferrer nofollow\"><u>MNIST<\/u><\/a>\u00a0\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c\u00a0<a href=\"https:\/\/bit.ly\/dp-sgd-algorithm-explained\" rel=\"noopener noreferrer nofollow\"><u>DP-SGD<\/u><\/a>.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e49\/196\/59f\/e4919659f81205b5389cbc3278358ceb.png\" width=\"1692\" height=\"1385\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e49\/196\/59f\/e4919659f81205b5389cbc3278358ceb.png\"\/><figcaption><\/figcaption><\/figure>\n<p><strong>\u0428\u0430\u0433 1<\/strong>: \u0418\u043c\u043f\u043e\u0440\u0442\u00a0PyTorch\u00a0\u0438\u00a0Opacus\u00a0<br \/><strong>\u0428\u0430\u0433 2<\/strong>: \u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 MNIST\u00a0<br \/><strong>\u0428\u0430\u0433 3<\/strong>: \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438\u00a0PyTorch\u00a0\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430\u00a0<br \/><strong>\u0428\u0430\u0433 4:<\/strong> \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0443\u00a0<br \/><strong>\u0428\u0430\u0433 5<\/strong>: \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<\/p>\n<p>\u00a0\u041d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f:\u00a0<\/p>\n<p>1. \u0418\u043c\u0435\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u00a0PyTorch\u00a0<br \/>2.\u00a0\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u00a0PyTorch\u00a0<br \/>3.\u00a0\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u00a0\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443\u00a0<a href=\"https:\/\/github.com\/pytorch\/opacus\" rel=\"noopener noreferrer nofollow\">PyTorch\u00a0Opacus\u00a0<\/a><\/p>\n<h4>\u0428\u0430\u0433 1: \u0418\u043c\u043f\u043e\u0440\u0442\u00a0PyTorch\u00a0\u0438\u00a0Opacus\u00a0<\/h4>\n<p>\u00a0\u0414\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0432 MNIST \u043d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u00a0PyTorch,\u00a0numpy, \u0438\u00a0Opacus. \u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f\u00a0tqdm, \u0447\u0442\u043e\u0431\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441.\u00a0<\/p>\n<p><code>import\u00a0torch\u00a0\u00a0<\/code><\/p>\n<p><code>from\u00a0torchvision\u00a0import\u00a0datasets,\u00a0transforms\u00a0<\/code><\/p>\n<p><code>import\u00a0numpy\u00a0as\u00a0np\u00a0<\/code><\/p>\n<p><code>from\u00a0opacus\u00a0import\u00a0PrivacyEngine\u00a0<\/code><\/p>\n<p><code>from\u00a0tqdm\u00a0import\u00a0tqdm<\/code>\u00a0<\/p>\n<h4>\u0428\u0430\u0433 2: \u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 MNIST\u00a0<\/h4>\n<p>\u00a0\u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435 MNIST \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e\u00a0DataLoader\u2019\u0430\u00a0\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0438\u0445 \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.\u00a0\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (0,1307) \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f (0,3081).\u00a0\u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043d\u0430\u0431\u043e\u0440 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d \u043d\u0430 \u043f\u0430\u043a\u0435\u0442\u044b \u043f\u043e 64 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u043a\u0430\u0436\u0434\u043e\u043c, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d \u043d\u0430 \u043f\u0430\u043a\u0435\u0442\u044b \u043f\u043e 1024 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u043a\u0430\u0436\u0434\u043e\u043c.\u00a0<\/p>\n<p><code>train_loader = torch.utils.data.DataLoader(datasets.MNIST('..\/mnist',\u00a0<br \/>train=True, download=True,\u00a0<br \/>transform=transforms.Compose([transforms.ToTensor(),\u00a0<br \/>transforms.Normalize((0.1307,), (0.3081,)),]),),\u00a0<br \/>batch_size=64, shuffle=True, num_workers=1,\u00a0<br \/>pin_memory=True)\u00a0<\/code><\/p>\n<p><code>test_loader\u00a0=\u00a0torch.utils.data.DataLoader(datasets.MNIST('..\/mnist',\u00a0<br \/>train=False,\u00a0<br \/>transform=transforms.Compose([transforms.ToTensor(),\u00a0<br \/>transforms.Normalize((0.1307,), (0.3081,)),]),),\u00a0<br \/>batch_size=1024, shuffle=True, num_workers=1,\u00a0<br \/>pin_memory=True)<\/code>\u00a0<\/p>\n<h4>\u0428\u0430\u0433 3: \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430\u00a0<\/h4>\n<p>\u00a0\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e\u00a0<a href=\"https:\/\/neurohive.io\/ru\/tutorial\/cnn-na-pytorch\/\" rel=\"noopener noreferrer nofollow\"><u>\u043c\u043e\u0434\u0435\u043b\u044c PyTorch<\/u><\/a>,\u00a0\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 MNIST.\u00a0\u041c\u044b \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0441\u0435\u0442\u044c, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u0438\u0437 2\u00a0\u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0445\u00a0\u0441\u043b\u043e\u0435\u0432, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0442 2\u00a0\u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0445\u00a0\u0441\u043b\u043e\u044f (\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440)\u00a0\u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441\u00a0ReLu\u00a0\u0441\u043b\u043e\u044f\u043c\u0438. \u041f\u0435\u0440\u0432\u044b\u0439 \u0441\u043b\u043e\u0439 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u00a0\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 (28 \u0445 28) \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u043b\u043e\u0439 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 1 \u0445 10\u00a0(\u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043a\u0430\u043a\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u043e\u0442 1 \u0434\u043e 9 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438). \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f SGD, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f 0,05.\u00a0\u00a0<\/p>\n<p><code>model = torch.nn.Sequential(torch.nn.Conv2d(1, 16, 8, 2, padding=3),\u00a0<br \/>torch.nn.ReLU(),\u00a0<br \/>torch.nn.MaxPool2d(2, 1),\u00a0\u00a0<br \/>torch.nn.Conv2d(16, 32, 4, 2),\u00a0\u00a0<br \/>torch.nn.ReLU(),\u00a0\u00a0<br \/>torch.nn.MaxPool2d(2, 1),\u00a0\u00a0<br \/>torch.nn.Flatten(),\u00a0\u00a0<br \/>torch.nn.Linear(32 * 4 * 4, 32),\u00a0\u00a0<br \/>torch.nn.ReLU(),\u00a0\u00a0<br \/>torch.nn.Linear(32, 10))<\/code>\u00a0<\/p>\n<p>\u00a0<code>optimizer\u00a0=\u00a0torch.optim.SGD(model.parameters(),\u00a0lr=0.05)<\/code>\u00a0<\/p>\n<h4>\u0428\u0430\u0433 4. \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0443\u00a0<\/h4>\n<p>\u041f\u043e\u043a\u0430 \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0441\u043e\u0437\u0434\u0430\u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438\u00a0PyTorch. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0435\u0451 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0439. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u00a0<a href=\"https:\/\/opacus.ai\/api\/privacy_engine.html\" rel=\"noopener noreferrer nofollow\">PrivacyEngine<\/a>\u00a0\u0438\u0437\u00a0\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438\u00a0Opacus.\u00a0\u00a0<\/p>\n<p><code>privacy_engine\u00a0=\u00a0PrivacyEngine(model,\u00a0\u00a0<\/code><\/p>\n<p><code>batch_size = 64,\u00a0\u00a0<\/code><\/p>\n<p><code>sample_size = 60000,\u00a0\u00a0<\/code><\/p>\n<p><code>alphas = range(2,32),\u00a0\u00a0<\/code><\/p>\n<p><code>noise_multiplier = 1.3,\u00a0\u00a0<\/code><\/p>\n<p><code>max_grad_norm = 1.0,)\u00a0<\/code><\/p>\n<p><code>privacy_engine.attach(optimizer)<\/code>\u00a0<\/p>\n<p><code>sample_size<\/code>\u00a0&#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438\u00a0<\/p>\n<p><code>alphas<\/code>\u00a0&#8212;\u00a0\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u00a0\u043f\u043e\u0442\u0435\u0440\u044c \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438\u00a0<\/p>\n<p><code>noise_multiplier<\/code>\u00a0&#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0430 \u0448\u0443\u043c\u0430\u00a0<\/p>\n<p><code>max_grad_norm<\/code>&#8212; \u0432\u0435\u0440\u0445\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u043e\u0442\u0435\u0440\u044c\u00a0<\/p>\n<h4>\u0428\u0430\u0433 5: \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<\/h4>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0447\u0430\u0441\u0442\u043d\u043e\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 SGD.\u00a0\u041c\u044b \u0445\u043e\u0442\u0438\u043c \u0441\u0432\u0435\u0441\u0442\u0438 \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u0435\u0440\u0435\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438.\u00a0<\/p>\n<p>\u0412 \u0440\u0430\u043c\u043a\u0430\u0445 \u043e\u0434\u043d\u043e\u0433\u043e \u044d\u0442\u0430\u043f\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043c \u0432\u0435\u0441\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439\u00a0\u043d\u0430\u0431\u043e\u0440\u00a0\u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u0440\u043e\u0441\u0438\u043c \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0\u041e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u044d\u0442\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u043e\u0442\u0435\u0440\u044e, \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f\u00a0<code>loss.backward().<\/code>\u00a0<\/p>\n<p>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u044e\u0449\u0438\u0445\u0441\u044f \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0431\u0440\u0435\u0437\u0430\u0435\u0442\u0441\u044f\u00a0\u0434\u043e\u00a0max_grad_norm.\u00a0\u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0440\u0435\u0432\u044b\u0441\u0438\u0442\u044c \u043f\u043e\u0440\u043e\u0433 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0438, \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c, \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u043f\u0430\u043a\u0435\u0442\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442\u0441\u044f, \u0438 \u043a \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0448\u0443\u043c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u00a0<code>noise_multiplier<\/code>.\u00a0\u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u043b\u0430 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438.\u00a0\u00a0<\/p>\n<p><code>def\u00a0train(model,\u00a0train_loader,\u00a0optimizer,\u00a0epoch,\u00a0device,\u00a0delta):\u00a0\u00a0<\/code><\/p>\n<p><code>model.train()\u00a0\u00a0<\/code><\/p>\n<p><code>criterion\u00a0=\u00a0torch.nn.CrossEntropyLoss()\u00a0\u00a0<\/code><\/p>\n<p><code>losses\u00a0= []\u00a0\u00a0<\/code><\/p>\n<p><code>for\u00a0_batch_idx, (data,\u00a0target)\u00a0in\u00a0enumerate(tqdm(train_loader)):\u00a0\u00a0<\/code><\/p>\n<p><code>data,\u00a0target\u00a0=\u00a0data.to(device), target.to(device)\u00a0<br \/>optimizer.zero_grad()\u00a0<br \/>output\u00a0=\u00a0model(data)\u00a0<br \/>loss\u00a0=\u00a0criterion(output,\u00a0target)\u00a0<br \/>loss.backward()\u00a0<br \/>optimizer.step()\u00a0<br \/>losses.append(loss.item())\u00a0<br \/>\u00a0<br \/>epsilon,\u00a0best_alpha\u00a0=\u00a0\u00a0<br \/>    optimizer.privacy_engine.get_privacy_spent(delta)\u00a0<br \/>\u00a0<br \/>print(\u00a0<br \/>f\"Train\u00a0Epoch: {epoch} \\t\"\u00a0<br \/>f\"Loss: {np.mean(losses):.6f} \"\u00a0<br \/>f\"(\u03b5 = {epsilon:.2f}, \u03b4 = {delta})\u00a0for\u00a0\u03b1 = {best_alpha}\")\u00a0<br \/>\u00a0<br \/>for\u00a0epoch\u00a0in\u00a0range(1, 11):\u00a0<br \/>train(model,\u00a0train_loader,\u00a0optimizer,\u00a0epoch,\u00a0device=\"cpu\",\u00a0delta=1e-5)<\/code>\u00a0<\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <code>epsilon<\/code> \u0438 <code>delta<\/code> \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u043d\u0430\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0444\u043e\u0440\u043c\u0443 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0448\u0443\u043c\u0430.\u00a0\u0412\u043c\u0435\u0441\u0442\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <code>epsilon<\/code>, <code>delta<\/code> \u0438 <code>\u03b1<\/code> \u0434\u0430\u044e\u0442 \u043d\u0430\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 (\u0438\u043b\u0438 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b\u0438).<\/p>\n<p>\u0412\u043e\u0442 \u0442\u0430\u043a \u043b\u0430\u043a\u043e\u043d\u0447\u0438\u043d\u043e Opacus \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u044c PyTorch. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f.<\/p>\n<p><a href=\"https:\/\/gist.github.com\/hydramst\/59718581b17fa6379bd39dd732ac3a4e\" rel=\"noopener noreferrer nofollow\"><strong>\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043a\u043e\u0434<\/strong><\/a><\/p>\n<p>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438:<\/p>\n<p><a href=\"https:\/\/opacus.ai\/tutorials\/\" rel=\"noopener noreferrer nofollow\">Opacus tutorials<\/a><\/p>\n<p><a href=\"https:\/\/ai.facebook.com\/blog\/introducing-opacus-a-high-speed-library-for-training-pytorch-models-with-differential-privacy\/\" rel=\"noopener noreferrer nofollow\">Introducing Opacus<\/a>, by Facebook AI<\/p>\n<p><a href=\"https:\/\/habr.com\/ru\/company\/vk\/blog\/496272\/\" rel=\"noopener noreferrer nofollow\">\u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c<\/a>, \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0442 VK<\/p>\n<p><a href=\"https:\/\/www.youtube.com\/watch?v=oNSelFJnPaM\" rel=\"noopener noreferrer nofollow\">DP-SGD \u0440\u0430\u0437\u0431\u043e\u0440 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u00a0<\/a><\/p>\n<p><a href=\"https:\/\/towardsdatascience.com\/an-intuitive-view-of-differential-privacy-261e3f1c30d9\" rel=\"noopener noreferrer nofollow\">\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0430 towards DS<\/a><\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/590531\/\"> https:\/\/habr.com\/ru\/articles\/590531\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><figcaption>https:\/\/medium.com\/pytorch\/differential-privacy-series-part-1-dp-sgd-algorithm-explained-12512c3959a3<\/figcaption><\/figure>\n<p>\u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u043e\u0441\u0438\u0442 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0438 \u043d\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u0432\u0441\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438. \u0426\u0435\u043b\u044c\u00a0\u0441\u0442\u0430\u0442\u044c\u0438 &#8212; \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f \u0441 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u043e\u0439\u00a0Opacus\u00a0\u0438\u00a0\u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c,\u00a0\u043a\u0430\u043a \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<h3>\u0410\u043d\u043e\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430<\/h3>\n<p>\u041f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c &#8212; \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0432\u0435\u0449\u044c. <\/p>\n<p>\u041a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430\u00a0<a href=\"https:\/\/www.wired.com\/2007\/12\/why-anonymous-data-sometimes-isnt\/\" rel=\"noopener noreferrer nofollow\"><u>\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430\u00a0Netflix<\/u><\/a>\u00a0\u0432\u00a0\u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/Netflix_Prize\" rel=\"noopener noreferrer nofollow\"><u>Netflix\u00a0Prize<\/u><\/a>\u00a0\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0430\u043d\u043e\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438\u00a0\u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0\u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.\u00a0<\/p>\n<figure class=\"full-width\"><figcaption>https:\/\/paulisageek.com\/imdb-250-netflix\/<\/figcaption><\/figure>\n<p>Netflix\u00a0\u0430\u043d\u043e\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0441\u0432\u043e\u0438 \u0434\u0430\u043d\u043d\u044b\u0435\u00a0\u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0437\u0430\u043c\u0435\u043d\u0438\u0432 \u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438\u00a0\u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439\u00a0\u0441\u043c\u043e\u0433\u043b\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c,\u00a0\u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0\u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/Internet_Movie_Database\" rel=\"noopener noreferrer nofollow\"><u>IMDb<\/u><\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b\u0438\u0441\u044c \u0438\u043c\u0435\u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.\u00a0\u00a0<\/p>\n<p><a href=\"https:\/\/www.zdnet.com\/article\/strava-anonymized-fitness-tracking-data-government-opsec\/\" rel=\"noopener noreferrer nofollow\"><u>Strava\u00a0\u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043a\u0440\u044b\u043b\u0430 \u043c\u0438\u0440\u0443<\/u><\/a>, \u0447\u0442\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u043d \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439\u00a0\u043e\u0442\u043d\u044e\u0434\u044c\u00a0\u043d\u0435 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0430\u043d\u043e\u043d\u0438\u043c\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0432 \u0441\u0435\u0440\u0432\u0438\u0441 \u043f\u043e \u0441\u0431\u043e\u0440\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0441\u043f\u043e\u0440\u0442\u0441\u043c\u0435\u043d\u043e\u0432 \u043d\u0430 \u043a\u0430\u0440\u0442\u0435 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443,\u00a0\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0441\u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0432\u043e\u0435\u043d\u043d\u043e\u0439 \u0431\u0430\u0437\u044b\u00a0\u0432\u00a0\u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u0438.\u00a0<\/p>\n<figure class=\"full-width\"><figcaption>\u0421\u0435\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0432 \u0410\u0432\u0441\u0442\u0440\u0430\u043b\u0438\u0438 \u0431\u044b\u043b\u0430 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0430 \u043f\u043e \u0442\u0435\u043f\u043b\u043e\u0432\u044b\u043c \u043a\u0430\u0440\u0442\u0430\u043c \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0430 https:\/\/www.dailymail.co.uk\/news\/article-5324121\/Strava-data-reveals-secret-Australian-base-Pine-Gap.html<\/figcaption><\/figure>\n<p>\u00a0\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c,\u00a0\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e \u043e\u0431\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f.\u00a0\u0417\u043d\u0430\u0447\u0438\u0442 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0432\u0438\u0434\u0430:\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u0440\u0435\u043d\u0434 \u0441\u0440\u0435\u0434\u0438 \u0433\u0440\u0443\u043f\u043f\u044b, \u0438 \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u0439\u00a0\u0442\u0440\u0435\u043d\u0434\u00a0\u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438.\u00a0\u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0438\u0434\u0435\u044f \u0442\u0435\u0440\u043c\u0438\u043d\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c.\u00a0<\/p>\n<h3>\u041d\u0435\u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435\u00a0\u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438<\/h3>\n<p>\u041e\u0431\u0435\u0449\u0430\u043d\u0438\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 (\u0442\u043e\u0447\u043d\u0435\u0435,\u00a0\u03b5-\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c) \u2014 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u0431\u0430\u043b\u0430\u043d\u0441\u0430 \u043c\u0435\u0436\u0434\u0443\u00a0\u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c\u044e\u00a0\u0438\u00a0\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u043f\u0440\u0438 \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u0438 \u0432 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0<br \/>\u00a0<br \/>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0437\u0443\u043d\u043e\u043a \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438:\u00a0<br \/>\u0423\u0432\u043e\u0434\u0438\u0442\u0435 \u0435\u0433\u043e \u0432\u043b\u0435\u0432\u043e \u2014 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0435 \u043f\u043e\u043b\u043d\u0443\u044e \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c \u043b\u044e\u0434\u0435\u0439, \u0447\u044c\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043f\u0430\u043b\u0438 \u0432\u00a0\u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0448\u0443\u043c\u0430, \u0441\u043d\u0438\u0436\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438;\u00a0<\/p>\n<p>\u0423\u0432\u043e\u0434\u0438\u0442\u0435 \u0432\u043f\u0440\u0430\u0432\u043e \u2014 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438, \u043d\u043e \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0435 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043b\u044e\u0434\u044f\u0445 \u0438\u0437\u00a0\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430.\u00a0<\/p>\n<figure class=\"full-width\"><figcaption>\u03b5 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043f\u043e\u0442\u0435\u0440\u044e \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 https:\/\/cltc.berkeley.edu\/2020\/08\/11\/new-video-on-differential-privacy-what-so-what-now-what\/<\/figcaption><\/figure>\n<p>\u0421\u0443\u0442\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u043e\u043b\u0437\u0443\u043d\u043e\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u044c \u0432 \u043b\u044e\u0431\u0443\u044e \u0442\u043e\u0447\u043a\u0443 \u0448\u043a\u0430\u043b\u044b, \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044f \u0431\u0430\u043b\u0430\u043d\u0441 \u043f\u043e\u0434 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f.\u00a0<\/p>\n<h3>\u041a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443\u00a0Opacus\u00a0<\/h3>\n<p><a href=\"https:\/\/opacus.ai\/\" rel=\"noopener noreferrer nofollow\"><u>Opacus<\/u><\/a>\u00a0\u2014 \u044d\u0442\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438\u00a0PyTorch\u00a0\u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438.\u00a0\u041e\u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c\u0438 \u043a\u043e\u0434\u0430, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442\u00a0\u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c\u00a0\u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u043e\u043d\u043b\u0430\u0439\u043d\u00a0\u0431\u044e\u0434\u0436\u0435\u0442 \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438.\u00a0<\/p>\n<p>\u0423\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a \u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043b\u0438\u0448\u044c \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435, \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u0434\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u0435\u0441\u044c\u043c\u0430 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b. \u042d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a.\u00a0<\/p>\n<p>\u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f,\u00a0\u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043c\u0435\u043d\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0432 \u0432\u0430\u0448\u0435\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438, \u043d\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u00a0\u043f\u0440\u0438\u0432\u0430\u0442\u043d\u044b\u0439.\u00a0\u00a0<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c, \u043a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443, \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438\u00a0PyTorch\u00a0\u043d\u0430\u0431\u043e\u0440\u0443\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/MNIST_(%D0%B1%D0%B0%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85)\" rel=\"noopener noreferrer nofollow\"><u>MNIST<\/u><\/a>\u00a0\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c\u00a0<a href=\"https:\/\/bit.ly\/dp-sgd-algorithm-explained\" rel=\"noopener noreferrer nofollow\"><u>DP-SGD<\/u><\/a>.\u00a0<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p><strong>\u0428\u0430\u0433 1<\/strong>: \u0418\u043c\u043f\u043e\u0440\u0442\u00a0PyTorch\u00a0\u0438\u00a0Opacus\u00a0<br \/><strong>\u0428\u0430\u0433 2<\/strong>: \u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 MNIST\u00a0<br \/><strong>\u0428\u0430\u0433 3<\/strong>: \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438\u00a0PyTorch\u00a0\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430\u00a0<br \/><strong>\u0428\u0430\u0433 4:<\/strong> \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0443\u00a0<br \/><strong>\u0428\u0430\u0433 5<\/strong>: \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<\/p>\n<p>\u00a0\u041d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f:\u00a0<\/p>\n<p>1. \u0418\u043c\u0435\u0442\u044c \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u00a0PyTorch\u00a0<br \/>2.\u00a0\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u00a0PyTorch\u00a0<br \/>3.\u00a0\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u00a0\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443\u00a0<a href=\"https:\/\/github.com\/pytorch\/opacus\" rel=\"noopener noreferrer nofollow\">PyTorch\u00a0Opacus\u00a0<\/a><\/p>\n<h4>\u0428\u0430\u0433 1: \u0418\u043c\u043f\u043e\u0440\u0442\u00a0PyTorch\u00a0\u0438\u00a0Opacus\u00a0<\/h4>\n<p>\u00a0\u0414\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0432 MNIST \u043d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u00a0PyTorch,\u00a0numpy, \u0438\u00a0Opacus. \u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f\u00a0tqdm, \u0447\u0442\u043e\u0431\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u00a0\u043f\u0440\u043e\u0446\u0435\u0441\u0441.\u00a0<\/p>\n<p><code>import\u00a0torch\u00a0\u00a0<\/code><\/p>\n<p><code>from\u00a0torchvision\u00a0import\u00a0datasets,\u00a0transforms\u00a0<\/code><\/p>\n<p><code>import\u00a0numpy\u00a0as\u00a0np\u00a0<\/code><\/p>\n<p><code>from\u00a0opacus\u00a0import\u00a0PrivacyEngine\u00a0<\/code><\/p>\n<p><code>from\u00a0tqdm\u00a0import\u00a0tqdm<\/code>\u00a0<\/p>\n<h4>\u0428\u0430\u0433 2: \u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 MNIST\u00a0<\/h4>\n<p>\u00a0\u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435 MNIST \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e\u00a0DataLoader\u2019\u0430\u00a0\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0438\u0445 \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.\u00a0\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (0,1307) \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f (0,3081).\u00a0\u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043d\u0430\u0431\u043e\u0440 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d \u043d\u0430 \u043f\u0430\u043a\u0435\u0442\u044b \u043f\u043e 64 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u043a\u0430\u0436\u0434\u043e\u043c, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d \u043d\u0430 \u043f\u0430\u043a\u0435\u0442\u044b \u043f\u043e 1024 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432 \u043a\u0430\u0436\u0434\u043e\u043c.\u00a0<\/p>\n<p><code>train_loader = torch.utils.data.DataLoader(datasets.MNIST('..\/mnist',\u00a0<br \/>train=True, download=True,\u00a0<br \/>transform=transforms.Compose([transforms.ToTensor(),\u00a0<br \/>transforms.Normalize((0.1307,), (0.3081,)),]),),\u00a0<br \/>batch_size=64, shuffle=True, num_workers=1,\u00a0<br \/>pin_memory=True)\u00a0<\/code><\/p>\n<p><code>test_loader\u00a0=\u00a0torch.utils.data.DataLoader(datasets.MNIST('..\/mnist',\u00a0<br \/>train=False,\u00a0<br \/>transform=transforms.Compose([transforms.ToTensor(),\u00a0<br \/>transforms.Normalize((0.1307,), (0.3081,)),]),),\u00a0<br \/>batch_size=1024, shuffle=True, num_workers=1,\u00a0<br \/>pin_memory=True)<\/code>\u00a0<\/p>\n<h4>\u0428\u0430\u0433 3: \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430\u00a0<\/h4>\n<p>\u00a0\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e\u00a0<a href=\"https:\/\/neurohive.io\/ru\/tutorial\/cnn-na-pytorch\/\" rel=\"noopener noreferrer nofollow\"><u>\u043c\u043e\u0434\u0435\u043b\u044c PyTorch<\/u><\/a>,\u00a0\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 MNIST.\u00a0\u041c\u044b \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0441\u0435\u0442\u044c, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u0438\u0437 2\u00a0\u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0445\u00a0\u0441\u043b\u043e\u0435\u0432, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0442 2\u00a0\u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0445\u00a0\u0441\u043b\u043e\u044f (\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440)\u00a0\u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441\u00a0ReLu\u00a0\u0441\u043b\u043e\u044f\u043c\u0438. \u041f\u0435\u0440\u0432\u044b\u0439 \u0441\u043b\u043e\u0439 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u00a0\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 (28 \u0445 28) \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0441\u043b\u043e\u0439 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 1 \u0445 10\u00a0(\u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043a\u0430\u043a\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u043e\u0442 1 \u0434\u043e 9 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438). \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f SGD, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f 0,05.\u00a0\u00a0<\/p>\n<p><code>model = torch.nn.Sequential(torch.nn.Conv2d(1, 16, 8, 2, padding=3),\u00a0<br \/>torch.nn.ReLU(),\u00a0<br \/>torch.nn.MaxPool2d(2, 1),\u00a0\u00a0<br \/>torch.nn.Conv2d(16, 32, 4, 2),\u00a0\u00a0<br \/>torch.nn.ReLU(),\u00a0\u00a0<br \/>torch.nn.MaxPool2d(2, 1),\u00a0\u00a0<br \/>torch.nn.Flatten(),\u00a0\u00a0<br \/>torch.nn.Linear(32 * 4 * 4, 32),\u00a0\u00a0<br \/>torch.nn.ReLU(),\u00a0\u00a0<br \/>torch.nn.Linear(32, 10))<\/code>\u00a0<\/p>\n<p>\u00a0<code>optimizer\u00a0=\u00a0torch.optim.SGD(model.parameters(),\u00a0lr=0.05)<\/code>\u00a0<\/p>\n<h4>\u0428\u0430\u0433 4. \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0443\u00a0<\/h4>\n<p>\u041f\u043e\u043a\u0430 \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0441\u043e\u0437\u0434\u0430\u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438\u00a0PyTorch. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0435\u0451 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0439. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u00a0<a href=\"https:\/\/opacus.ai\/api\/privacy_engine.html\" rel=\"noopener noreferrer nofollow\">PrivacyEngine<\/a>\u00a0\u0438\u0437\u00a0\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438\u00a0Opacus.\u00a0\u00a0<\/p>\n<p><code>privacy_engine\u00a0=\u00a0PrivacyEngine(model,\u00a0\u00a0<\/code><\/p>\n<p><code>batch_size = 64,\u00a0\u00a0<\/code><\/p>\n<p><code>sample_size = 60000,\u00a0\u00a0<\/code><\/p>\n<p><code>alphas = range(2,32),\u00a0\u00a0<\/code><\/p>\n<p><code>noise_multiplier = 1.3,\u00a0\u00a0<\/code><\/p>\n<p><code>max_grad_norm = 1.0,)\u00a0<\/code><\/p>\n<p><code>privacy_engine.attach(optimizer)<\/code>\u00a0<\/p>\n<p><code>sample_size<\/code>\u00a0&#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438\u00a0<\/p>\n<p><code>alphas<\/code>\u00a0&#8212;\u00a0\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u00a0\u043f\u043e\u0442\u0435\u0440\u044c \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438\u00a0<\/p>\n<p><code>noise_multiplier<\/code>\u00a0&#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0430 \u0448\u0443\u043c\u0430\u00a0<\/p>\n<p><code>max_grad_norm<\/code>&#8212; \u0432\u0435\u0440\u0445\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u043e\u0442\u0435\u0440\u044c\u00a0<\/p>\n<h4>\u0428\u0430\u0433 5: \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<\/h4>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0447\u0430\u0441\u0442\u043d\u043e\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 SGD.\u00a0\u041c\u044b \u0445\u043e\u0442\u0438\u043c \u0441\u0432\u0435\u0441\u0442\u0438 \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u0435\u0440\u0435\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438.\u00a0<\/p>\n<p>\u0412 \u0440\u0430\u043c\u043a\u0430\u0445 \u043e\u0434\u043d\u043e\u0433\u043e \u044d\u0442\u0430\u043f\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043c \u0432\u0435\u0441\u044c \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439\u00a0\u043d\u0430\u0431\u043e\u0440\u00a0\u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u0440\u043e\u0441\u0438\u043c \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0\u041e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u044d\u0442\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u043e\u0442\u0435\u0440\u044e, \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f\u00a0<code>loss.backward().<\/code>\u00a0<\/p>\n<p>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u044e\u0449\u0438\u0445\u0441\u044f \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0431\u0440\u0435\u0437\u0430\u0435\u0442\u0441\u044f\u00a0\u0434\u043e\u00a0max_grad_norm.\u00a0\u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0440\u0435\u0432\u044b\u0441\u0438\u0442\u044c \u043f\u043e\u0440\u043e\u0433 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0438, \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c, \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u043f\u0430\u043a\u0435\u0442\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442\u0441\u044f, \u0438 \u043a \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0448\u0443\u043c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u00a0<code>noise_multiplier<\/code>.\u00a0\u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u043b\u0430 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438.\u00a0\u00a0<\/p>\n<p><code>def\u00a0train(model,\u00a0train_loader,\u00a0optimizer,\u00a0epoch,\u00a0device,\u00a0delta):\u00a0\u00a0<\/code><\/p>\n<p><code>model.train()\u00a0\u00a0<\/code><\/p>\n<p><code>criterion\u00a0=\u00a0torch.nn.CrossEntropyLoss()\u00a0\u00a0<\/code><\/p>\n<p><code>losses\u00a0= []\u00a0\u00a0<\/code><\/p>\n<p><code>for\u00a0_batch_idx, (data,\u00a0target)\u00a0in\u00a0enumerate(tqdm(train_loader)):\u00a0\u00a0<\/code><\/p>\n<p><code>data,\u00a0target\u00a0=\u00a0data.to(device), target.to(device)\u00a0<br \/>optimizer.zero_grad()\u00a0<br \/>output\u00a0=\u00a0model(data)\u00a0<br \/>loss\u00a0=\u00a0criterion(output,\u00a0target)\u00a0<br \/>loss.backward()\u00a0<br \/>optimizer.step()\u00a0<br \/>losses.append(loss.item())\u00a0<br \/>\u00a0<br \/>epsilon,\u00a0best_alpha\u00a0=\u00a0\u00a0<br \/>    optimizer.privacy_engine.get_privacy_spent(delta)\u00a0<br \/>\u00a0<br \/>print(\u00a0<br \/>f\"Train\u00a0Epoch: {epoch} \\t\"\u00a0<br \/>f\"Loss: {np.mean(losses):.6f} \"\u00a0<br \/>f\"(\u03b5 = {epsilon:.2f}, \u03b4 = {delta})\u00a0for\u00a0\u03b1 = {best_alpha}\")\u00a0<br \/>\u00a0<br \/>for\u00a0epoch\u00a0in\u00a0range(1, 11):\u00a0<br \/>train(model,\u00a0train_loader,\u00a0optimizer,\u00a0epoch,\u00a0device=\"cpu\",\u00a0delta=1e-5)<\/code>\u00a0<\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <code>epsilon<\/code> \u0438 <code>delta<\/code> \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u043d\u0430\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0444\u043e\u0440\u043c\u0443 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0448\u0443\u043c\u0430.\u00a0\u0412\u043c\u0435\u0441\u0442\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <code>epsilon<\/code>, <code>delta<\/code> \u0438 <code>\u03b1<\/code> \u0434\u0430\u044e\u0442 \u043d\u0430\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 (\u0438\u043b\u0438 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b\u0438).<\/p>\n<p>\u0412\u043e\u0442 \u0442\u0430\u043a \u043b\u0430\u043a\u043e\u043d\u0447\u0438\u043d\u043e Opacus \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u044c PyTorch. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f.<\/p>\n<p><a href=\"https:\/\/gist.github.com\/hydramst\/59718581b17fa6379bd39dd732ac3a4e\" rel=\"noopener noreferrer nofollow\"><strong>\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043a\u043e\u0434<\/strong><\/a><\/p>\n<p>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438:<\/p>\n<p><a href=\"https:\/\/opacus.ai\/tutorials\/\" rel=\"noopener noreferrer nofollow\">Opacus tutorials<\/a><\/p>\n<p><a href=\"https:\/\/ai.facebook.com\/blog\/introducing-opacus-a-high-speed-library-for-training-pytorch-models-with-differential-privacy\/\" rel=\"noopener noreferrer nofollow\">Introducing Opacus<\/a>, by Facebook AI<\/p>\n<p><a href=\"https:\/\/habr.com\/ru\/company\/vk\/blog\/496272\/\" rel=\"noopener noreferrer nofollow\">\u0414\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c<\/a>, \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0442 VK<\/p>\n<p><a href=\"https:\/\/www.youtube.com\/watch?v=oNSelFJnPaM\" rel=\"noopener noreferrer nofollow\">DP-SGD \u0440\u0430\u0437\u0431\u043e\u0440 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u00a0<\/a><\/p>\n<p><a href=\"https:\/\/towardsdatascience.com\/an-intuitive-view-of-differential-privacy-261e3f1c30d9\" rel=\"noopener noreferrer nofollow\">\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0430 towards DS<\/a><\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/590531\/\"> https:\/\/habr.com\/ru\/articles\/590531\/<\/a><br \/><\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-387011","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/387011","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=387011"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/387011\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=387011"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=387011"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=387011"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}