{"id":354897,"date":"2024-05-20T22:57:37","date_gmt":"2024-05-20T22:57:37","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=354897"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=354897","title":{"rendered":"<span>DVC \u2014 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f DataScience<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u041d\u0435\u0441\u043c\u0435\u044f\u043d\u043e\u0432, \u044f \u044f\u0432\u043b\u044f\u044e\u0441\u044c \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 ML-\u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b &#171;\u041b\u041e\u041a\u041e-\u0431\u0430\u043d\u043a\u0430&#187;. \u0422\u0430\u043a\u0436\u0435 \u044f \u044f\u0432\u043b\u044f\u044e\u0441\u044c \u043c\u0430\u0433\u0438\u0441\u0442\u0440\u043e\u043c <s>\u0441\u0430\u043c\u043e\u0439 \u043a\u0440\u0443\u0442\u043e\u0439<\/s> \u043e\u043d\u043b\u0430\u0439\u043d \u043c\u0430\u0433\u0438\u0441\u0442\u0440\u0430\u0442\u0443\u0440\u044b \u043d\u0430 \u0431\u0430\u0437\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442\u0430 \u0418\u0422\u041c\u041e <a href=\"https:\/\/habr.com\/ru\/users\/ai-talent\/\" rel=\"noopener noreferrer nofollow\">@ai-talent<\/a>.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e DVC: \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043d\u043e\u0433\u0438\u0435, \u043d\u0435\u0437\u0430\u0441\u043b\u0443\u0436\u0435\u043d\u043d\u043e, \u043e\u0431\u0445\u043e\u0434\u044f\u0442 \u0441\u0442\u043e\u0440\u043e\u043d\u043e\u0439. \u0411\u044b\u043b\u0430 \u0445\u043e\u0440\u043e\u0448\u0430\u044f <a href=\"https:\/\/habr.com\/ru\/companies\/raiffeisenbank\/articles\/461803\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f <\/a>\u043e\u0442 <a href=\"https:\/\/habr.com\/ru\/companies\/raiffeisenbank\/profile\/\" rel=\"noopener noreferrer nofollow\">\u0420\u0430\u0439\u0444\u0444\u0430\u0439\u0437\u0435\u043d \u0411\u0430\u043d\u043a<\/a>, \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u0440\u0435\u0437\u044e\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u044e \u0438 \u043a\u043e\u043b\u043b\u0435\u0433 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u0443 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 DVC.<\/p>\n<p>DVC (Data Version Control) &#8212; \u044d\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 <span class=\"habrahidden\">\u0438 \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e<\/span>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043d\u0430\u0434 git. \u0415\u0441\u043b\u0438 \u0432\u044b \u0443\u043c\u0435\u0435\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 git, \u043f\u043e\u0437\u0434\u0440\u0430\u0432\u043b\u044f\u044e, \u0432\u044b \u0443\u043c\u0435\u0435\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 DVC. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, DVC \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u0435\u043b\u0430\u0442\u044c Auto-ML.<\/p>\n<p>\u042f \u0445\u043e\u0447\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u044e \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u043e \u0443\u0434\u043e\u0431\u043d\u043e \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0435:<\/p>\n<ul>\n<li>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 DVC \u0438 \u043f\u0440\u0438\u0432\u044f\u0437\u043a\u0430 \u043a \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0443 \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<\/li>\n<li>\n<p>DVC \u0434\u043b\u044f DataScientist: \u0412\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>DVC \u0434\u043b\u044f DataScientist: \u041b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>DVC \u0434\u043b\u044f DataScientist \u0438 MLOps: \u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<h3>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 DVC \u0438 \u043f\u0440\u0438\u0432\u044f\u0437\u043a\u0430 \u043a \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0443 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p><a class=\"anchor\" name=\"1\" id=\"1\"><\/a><\/p>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 DVC. \u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e WSL Ubuntu \u0441 VSCode. \u0412\u043e \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u0430 \u043f\u0430\u043a\u0435\u0442\u043e\u0432, \u044f \u0431\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/python-poetry.org\/\" rel=\"noopener noreferrer nofollow\">poetry<\/a>. \u0417\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u043d\u0435 \u0431\u0443\u0434\u0443 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b poetry \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043d\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0435\u043a\u0442:<\/p>\n<pre><code class=\"bash\">`dmitry@Dmitriy:~\/projects$ poetry new dvc_example Created package dvc_example in dvc_example dmitry@Dmitriy:~\/projects$ cd dvc_example\/<\/code><\/pre>\n<p>poetry \u0441\u043e\u0437\u0434\u0430\u0441\u0442 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0432 \u043d\u0435\u0433\u043e \u043f\u0435\u0440\u0432\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443, \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 dvc <span class=\"habrahidden\">(\u043e\u0431\u0440\u0430\u0449\u0443 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0443\u00a0\u043c\u0435\u043d\u044f \u0432\u00a0\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 poetry \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0432\u00a0\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0441\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c)<\/span>: <\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ poetry add dvc  Creating virtualenv dvc-example in \/home\/dmitry\/projects\/dvc_example\/.venv Using version ^3.19.0 for dvc<\/code><\/pre>\n<p><a href=\"https:\/\/dvc.org\/doc\/user-guide\/data-management\/remote-storage\" rel=\"noopener noreferrer nofollow\">DVC \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430<\/a>. \u0412 \u0442.\u0447. S3, S3-like (<a href=\"https:\/\/min.io\/\" rel=\"noopener noreferrer nofollow\">MinIO<\/a>), GoogleDrive \u0438 \u0442.\u0434. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u043e\u0436\u043d\u043e \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u043d\u0430 \u0432\u0430\u0448\u0435\u043c \u041f\u041a. \u041c\u044b \u0432 \u0431\u0430\u043d\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c DVC c MinIO.<\/p>\n<p>\u041a\u0430\u043a \u044f \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b \u0440\u0430\u043d\u043d\u0435\u0435, DVC \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043d\u0430\u0434 Git. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c git-\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c dvc-\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 <code>dvc init<\/code><\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ git init dmitry@Dmitriy:~\/projects\/dvc_example$ dvc init Initialized DVC repository.<\/code><\/pre>\n<p>\u0411\u0443\u0434\u0435\u043c \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e <code>dvc_local_storage<\/code>:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir ~\/projects\/dvc_local_storage dmitry@Dmitriy:~\/projects\/dvc_example$ dvc remote add local_storage ~\/projects\/dvc_local_storage\/<\/code><\/pre>\n<h3>DVC \u0434\u043b\u044f DataScientist: \u0412\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432<\/h3>\n<p><a class=\"anchor\" name=\"2\" id=\"2\"><\/a><\/p>\n<p>\u041a\u0430\u043a \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b \u0432\u044b\u0448\u0435, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e DVC \u043c\u043e\u0436\u043d\u043e \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b. \u042d\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0434\u043e\u0431\u043d\u044b\u043c \u0438\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c, \u0442.\u043a. \u0434\u0430\u043d\u043d\u044b\u0435, \u043e\u0431\u044b\u0447\u043d\u043e, \u043d\u0435 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438. <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440. \u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/scikit-learn.org\/stable\/modules\/generated\/sklearn.datasets.load_diabetes.html#sklearn.datasets.load_diabetes\" rel=\"noopener noreferrer nofollow\">\u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043e \u0437\u0430\u0431\u043e\u043b\u0435\u0432\u0430\u043d\u0438\u044f\u0445 \u0434\u0438\u0430\u0431\u0435\u0442\u043e\u043c<\/a>. <\/p>\n<p>\u041d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<pre><code class=\"bash\">\u251c\u2500\u2500.dvc \u251c\u2500\u2500.venv \u251c\u2500\u2500 README.md \u251c\u2500\u2500 poetry.lock \u251c\u2500\u2500 pyproject.toml \u2514\u2500\u2500 tests     \u2514\u2500\u2500 __init__.py<\/code><\/pre>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0439 \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir -p data\/initial_data dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir -p data\/prepared_data dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir -p src\/data<\/code><\/pre>\n<p>\u0412 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e <code>initial_data<\/code> \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0432 <code>prepared_data<\/code> \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442. \u0412 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e <code>src\/data<\/code> \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c .py \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0434\u043b\u044f \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0439 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438.<\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u0438\u043c \u0441\u043a\u0440\u0438\u043f \u0434\u043b\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 <code>src\/data\/data_download.py<\/code>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 <code>src\/data\/data_prepare.py<\/code> \u0434\u043b\u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0431\u0443\u0434\u0435\u043c \u0432 \u0447\u0435\u0442\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430  \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 1, \u0430 \u0432 \u043d\u0435\u0447\u0435\u0442\u043d\u044b\u0445 \u043d\u0430 2.<\/p>\n<p><code>src\/data\/data_download.py:<\/code><\/p>\n<pre><code class=\"python\">import os  from sklearn import datasets from dotenv import load_dotenv import pandas as pd  load_dotenv()  if __name__ == \"__main__\":       dataset = datasets.load_diabetes()     features = pd.DataFrame(data=dataset.data,                              columns=[\"feat%s\" % x for x in range(dataset.data.shape[1])])     target = pd.DataFrame(data=dataset.target, columns=[\"target\"])      features.to_csv(\"%s\/initial_data.csv\" % os.environ.get(\"INITIAL_DATA_PATH\"))     target.to_csv(\"%s\/target.csv\" % os.environ.get(\"INITIAL_DATA_PATH\")) <\/code><\/pre>\n<p><code>src\/data\/data_prepare.py:<\/code><\/p>\n<pre><code class=\"python\">import os  from dotenv import load_dotenv import pandas as pd  load_dotenv()  def fillna(dataset: pd.DataFrame) -> pd.DataFrame:      prepare_dataset = dataset.copy()     for i, column in enumerate(dataset.columns):         if i % 2 == 0:             prepare_dataset[column] = prepare_dataset[column] - 1         else:             prepare_dataset[column] = prepare_dataset[column] - 2          return prepare_dataset  if __name__ == \"__main__\":     dataset = pd.read_csv(\"%s\/initial_data.csv\" % os.environ.get(\"INITIAL_DATA_PATH\"))     prepared_dataset = fillna(dataset=dataset)     prepared_dataset.to_csv(\"%s\/prepared_data.csv\" % os.environ.get(\"PREPARED_DATA_PATH\")) <\/code><\/pre>\n<p>\u0411\u0443\u0434\u0435\u043c \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Makefile:<\/p>\n<pre><code class=\"cmake\">prepare_stage1: poetry run python src\/data\/data_download.py  prepare_stage2: poetry run python src\/data\/data_prepare.py  data_prepare: prepare_stage1 prepare_stage2<\/code><\/pre>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ make data_prepare  poetry run python src\/data\/data_download.py poetry run python src\/data\/data_prepare.py<\/code><\/pre>\n<p>\u041d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u044b \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443. \u0414\u0435\u0440\u0435\u0432\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code class=\"bash\">. \u251c\u2500\u2500 Makefile \u251c\u2500\u2500 README.md \u251c\u2500\u2500 data \u2502   \u251c\u2500\u2500 initial_data \u2502   \u2502   \u251c\u2500\u2500 initial_data.csv \u2502   \u2502   \u2514\u2500\u2500 target.csv \u2502   \u2514\u2500\u2500 prepared_data \u2502       \u2514\u2500\u2500 prepared_data.csv \u251c\u2500\u2500 poetry.lock \u251c\u2500\u2500 pyproject.toml \u251c\u2500\u2500 src \u2502   \u251c\u2500\u2500 __init__.py \u2502   \u2514\u2500\u2500 data \u2502       \u251c\u2500\u2500 __init__.py \u2502       \u251c\u2500\u2500 data_download.py \u2502       \u2514\u2500\u2500 data_prepare.py \u2514\u2500\u2500 tests     \u2514\u2500\u2500 __init__.py<\/code><\/pre>\n<p>\u0422\u0443\u0442 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u0433\u0438\u044f. \u0414\u043e\u0431\u0430\u0432\u0438\u043c \u0432\u0441\u0435 .csv \u0444\u0430\u0439\u043b\u044b \u0432 DVC \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u044b <code>dvc add<\/code>. <span class=\"habrahidden\">\u0425\u043e\u0442\u044f DVC \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u043f\u043a\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u0442\u043e\u043d\u043e\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/span><\/p>\n<pre><code class=\"bash\">poetry run dvc add data\/initial_data\/initial_data.csv ...<\/code><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 <code>dvc add<\/code> \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0444\u0430\u0439\u043b\u043e\u043c \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f \u0444\u0430\u0439\u043b\u044b <code>.gitignore<\/code> \u0438 <code>&lt;file_name>.dvc<\/code>. \u0421 \u043f\u0435\u0440\u0432\u044b\u043c \u043f\u043e\u043d\u044f\u0442\u043d\u043e, git \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0444\u0430\u0439\u043b\u044b. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u043b\u0438\u0436\u0435 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <code>data\/prepared_data\/prepared_data.csv.dvc<\/code>:<\/p>\n<pre><code class=\"yaml\">outs: - md5: 9baf10a3b757026d1f00c52dfbf7a718   size: 90325   hash: md5   path: prepared_data.csv<\/code><\/pre>\n<p>\u0424\u0430\u0439\u043b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0445\u044d\u0448 \u0444\u0430\u0439\u043b\u0430, \u043f\u043e \u043d\u0435\u043c\u0443 DVC \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0440\u0430\u0437\u043c\u0435\u0440, \u0442\u0438\u043f \u0445\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u0443\u0442\u044c \u043a \u0444\u0430\u0439\u043b\u0443.<\/p>\n<p>\u0414\u0435\u0440\u0435\u0432\u043e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 <code>.\/data<\/code> \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code class=\"bash\">\u251c\u2500\u2500 data \u2502   \u251c\u2500\u2500 initial_data |   |   \u251c\u2500\u2500 .gitignore \u2502   \u2502   \u251c\u2500\u2500 initial_data.csv \u2502   \u2502   \u251c\u2500\u2500 initial_data.csv.dvc \u2502   \u2502   \u251c\u2500\u2500 target.csv \u2502   \u2502   \u2514\u2500\u2500 target.csv.dvc \u2502   \u2514\u2500\u2500 prepared_data |       \u251c\u2500\u2500 .gitignore \u2502       \u251c\u2500\u2500 prepared_data.csv \u2502       \u2514\u2500\u2500 prepared_data.csv.dvc<\/code><\/pre>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f DVC \u0438 git, \u0441\u0434\u0435\u043b\u0430\u0442\u044c push \u0432 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 git \u0438 DVC.<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ poetry run dvc commit dmitry@Dmitriy:~\/projects\/dvc_example$ git add . dmitry@Dmitriy:~\/projects\/dvc_example$ git commit -m \"add: dvc_staging\" dmitry@Dmitriy:~\/projects\/dvc_example$ poetry run dvc push -r local_storage 4 files pushed  dmitry@Dmitriy:~\/projects\/dvc_example$ git push -u origin main<\/code><\/pre>\n<p>\u0418 \u0442\u0435\u043f\u0435\u0440\u044c, \u0435\u0441\u043b\u0438 \u043f\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0435, \u043c\u044b \u0443\u0434\u0430\u043b\u0438\u043c \u0444\u0430\u0439\u043b \u0438\u0437 \u043f\u0440\u043e\u0435\u043a\u0442\u0430, \u043c\u043e\u0436\u0435\u043c \u043b\u0435\u0433\u043a\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0435\u0433\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <code>dvc pull<\/code>.<\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 DVC, \u0438\u0437\u043c\u0435\u043d\u0438\u043c \u0444\u0430\u0439\u043b <code>src\/data\/data_prepare.py<\/code>. \u0414\u043b\u044f \u0447\u0451\u0442\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0442\u044c 1, \u0430 \u0434\u043b\u044f \u043d\u0435\u0447\u0435\u0442\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0442\u0430\u0442\u044c 4.<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ make data_prepare  poetry run python src\/data\/data_download.py poetry run python src\/data\/data_prepare.py<\/code><\/pre>\n<p>\u0417\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f <code>dvc commit<\/code> \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0444\u0430\u0439\u043b <code>data\/prepared_data\/prepared_data.csv.dvc<\/code>:<\/p>\n<pre><code class=\"yaml\">outs: - md5: eb82260e632fd286abf79718cc771b08   size: 87320   hash: md5   path: prepared_data.csv<\/code><\/pre>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, \u0445\u044d\u0448 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f. \u0414\u0430\u043b\u0435\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f git \u0438 \u043f\u0443\u0448\u0438\u043c git \u0438 DVC.<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ git commit -am \"fix: prepare_data\" dmitry@Dmitriy:~\/projects\/dvc_example$ git push dmitry@Dmitriy:~\/projects\/dvc_example$ poetry run dvc push -r local_storage<\/code><\/pre>\n<p>\u0427\u0442\u043e\u0431\u044b \u043e\u0442\u043a\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f <code>git checkout &lt;id \u043a\u043e\u043c\u043c\u0438\u0442\u0430><\/code>. \u041a\u043e\u043c\u0430\u043d\u0434\u0430 <code>dvc pull<\/code> \u043e\u0442\u043a\u0430\u0442\u0438\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043e \u0432\u0435\u0440\u0441\u0438\u0438 \u043a\u043e\u043c\u043c\u0438\u0442\u0430:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ git checkout aab115eb... dmitry@Dmitriy:~\/projects\/dvc_example$ dvc pull M       data\/prepared_data\/prepared_data.csv                                                                                1 file modified<\/code><\/pre>\n<p>\u0425\u043e\u0447\u0443 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c, \u0447\u0442\u043e DVC \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0432\u0435\u0442\u043a\u0430\u043c. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a\u0436\u0435, \u043a\u0430\u043a \u0432 git, \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 <code>dvc checkout<\/code> \u043c\u043e\u0436\u043d\u043e &#171;\u043f\u0440\u044b\u0433\u0430\u0442\u044c&#187; \u043f\u043e \u0432\u0435\u0442\u043a\u0430\u043c \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435.<\/p>\n<h3>DVC \u0434\u043b\u044f DataScientist: \u041b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p><a class=\"anchor\" name=\"3\" id=\"3\"><\/a><\/p>\n<p>DVC \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 <a href=\"https:\/\/dvc.org\/doc\/start\/experiments\/experiment-tracking?tab=DVCLive-Report\" rel=\"noopener noreferrer nofollow\">\u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/a>. \u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 Jupyter Notebook, \u0435\u0441\u0442\u044c <a href=\"https:\/\/marketplace.visualstudio.com\/items?itemName=Iterative.dvc\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0434\u043b\u044f VSCode<\/a>. \u0418\u043c \u044f \u0438 \u0431\u0443\u0434\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p> \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 <code>dvc live<\/code>.<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ poetry add dvclive Using version ^2.16.0 for dvclive<\/code><\/pre>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir configs dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir models dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir -p src\/models<\/code><\/pre>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043a\u043e\u043d\u0444\u0438\u0433 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 <code>configs\/training_config.yml<\/code> \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u043c:<\/p>\n<pre><code class=\"yaml\">train_config:     seed: 1     test_size: 0.4     validation_size: 0.1<\/code><\/pre>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0444\u0430\u0439\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f <code>src\/models\/model_train.py<\/code>:<\/p>\n<pre><code class=\"python\">import os import pickle  import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error from sklearn.linear_model import LinearRegression from dotenv import load_dotenv from yaml import load, Loader from dvclive import Live  load_dotenv()  if __name__ == \"__main__\":      with open(\"configs\/train_config.yml\", \"r\") as conf:         train_config = load(conf, Loader=Loader)[\"train_config\"]      np.random.seed(train_config[\"seed\"])      dataset = pd.read_csv(\"%s\/prepared_data.csv\" % os.environ.get(\"PREPARED_DATA_PATH\"))     target = pd.read_csv(\"%s\/target.csv\" % os.environ.get(\"INITIAL_DATA_PATH\"))      train_index, validation_index = train_test_split(dataset.index,                                                       test_size=train_config[\"validation_size\"])      train_index, test_index = train_test_split(train_index,                                                 test_size=train_config[\"test_size\"])      model = LinearRegression()     model.fit(dataset.loc[train_index], target.loc[train_index])      train_MSE = mean_squared_error(target.loc[test_index],                                     model.predict(dataset.loc[test_index]))      test_MSE = mean_squared_error(target.loc[train_index],                                    model.predict(dataset.loc[train_index]))      validation_MSE = mean_squared_error(target.loc[validation_index],                                          model.predict(dataset.loc[validation_index]))          with open(\"%s\/linear_model.pickle\" % os.environ.get(\"MODELS_PATH\"), \"wb\") as mod:         mod.write(pickle.dumps(model))          with Live(save_dvc_exp=True) as live:         live.log_artifact(\"%s\/linear_model.pickle\" % os.environ.get(\"MODELS_PATH\"))         live.log_metric(\"train_MSE\", train_MSE)         live.log_metric(\"test_MSE\", test_MSE)         live.log_metric(\"validation_MSE\", validation_MSE) <\/code><\/pre>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c MSE. \u041c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 <code>.log_artifact<\/code> \u043b\u043e\u0433\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c, <code>.log_metric<\/code> &#8212; \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u0415\u0441\u043b\u0438 \u0432\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0441 <a href=\"https:\/\/clear.ml\/\" rel=\"noopener noreferrer nofollow\">ClearML<\/a>, <a href=\"https:\/\/mlflow.org\/\" rel=\"noopener noreferrer nofollow\">MLFlow <\/a>\u0438\u043b\u0438 <a href=\"https:\/\/wandb.ai\/site\" rel=\"noopener noreferrer nofollow\">W&amp;B<\/a>, \u0432\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0412\u0441\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043f\u043e <a href=\"https:\/\/dvc.org\/doc\/dvclive\/how-it-works\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0435<\/a>.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043a\u0440\u0438\u043f\u0442, \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0435\u0433\u043e \u0432 <code>Makefile:<\/code><\/p>\n<pre><code class=\"cmake\">training: poetry run python src\/models\/model_train.py<\/code><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0437\u043e\u0432\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u044b <code>make training<\/code>, \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b, \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ make training  poetry run python src\/models\/model_train.py 100% Adding...|\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588\u2588|1\/1 [00:00, 41.86file\/s] WARNING: The following untracked files were present in the workspace before saving but will not be included in the experiment commit:                                                                                                                          configs\/train_config.yml, src\/models\/__init__.py, src\/models\/model_train.py<\/code><\/pre>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044f <code>dvclive<\/code>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0443\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u0438. \u0422\u0430\u043a\u0436\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 DVC \u0434\u043b\u044f VSCode, \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u0440\u043e\u0448\u0435\u0434\u0448\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/777\/cb6\/1e1\/777cb61e1a123fb218091a01187e987c.png\" alt=\"\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0432 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0438 DVC \u0434\u043b\u044f VSCode\" title=\"\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0432 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0438 DVC \u0434\u043b\u044f VSCode\" width=\"2560\" height=\"707\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/777\/cb6\/1e1\/777cb61e1a123fb218091a01187e987c.png\"\/><\/p>\n<div><figcaption>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0432 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0438 DVC \u0434\u043b\u044f VSCode<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u0437\u043c\u0435\u043d\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 test_size = 0.5 \u0438 \u0441\u043d\u043e\u0432\u0430 \u0432\u044b\u0437\u043e\u0432\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443 <code>make training:<\/code><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/52e\/8e2\/019\/52e8e2019258fdd9e549a077c62a69ee.png\" alt=\"\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u043e\u0432\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u0437\u043e\u0432\u0430 make training\" title=\"\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u043e\u0432\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u0437\u043e\u0432\u0430 make training\" width=\"2560\" height=\"620\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/52e\/8e2\/019\/52e8e2019258fdd9e549a077c62a69ee.png\"\/><\/p>\n<div><figcaption>\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u043e\u0432\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u0437\u043e\u0432\u0430 make training<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u043a\u0438, \u0441\u0434\u0435\u043b\u0430\u0442\u044c checkout \u043d\u0430 \u043b\u0443\u0447\u0448\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0438\u043b\u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u043c.<\/p>\n<h3>DVC \u0434\u043b\u044f DataScientist \u0438 MLOps: \u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432<\/h3>\n<p><a class=\"anchor\" name=\"4\" id=\"4\"><\/a><\/p>\n<p>\u041c\u044b \u043f\u043b\u0430\u0432\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c \u043a \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432 \u0441 DVC. DVC, \u0442\u0430\u043a\u0436\u0435 \u043a\u0430\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, AirFlow, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0438\u0441\u0430\u0442\u044c DAG&#8217;s \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432. \u042f \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0442\u0430\u043a \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u043b \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0432 <code>Makefile<\/code>, \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0435\u0440\u0435\u043c stage&#8217;\u0438 <a href=\"https:\/\/dvc.org\/doc\/start\/experiments\/experiment-pipelines\" rel=\"noopener noreferrer nofollow\">\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f DVC-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b<\/a>. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0432 \u043a\u043e\u0440\u043d\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0444\u0430\u0439\u043b <code>dvc.yaml<\/code> \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c <a href=\"https:\/\/dvc.org\/doc\/user-guide\/pipelines\/defining-pipelines#simple-dependencies\" rel=\"noopener noreferrer nofollow\">\u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u043c<\/a>:<\/p>\n<pre><code class=\"yaml\">stages:   data_download:     cmd:  poetry run python src\/data\/data_download.py     deps:       - src\/data\/data_download.py     outs:       - data\/initial_data\/initial_data.csv       - data\/initial_data\/target.csv   data_prepare:     cmd: poetry run python src\/data\/data_prepare.py     deps:       - src\/data\/data_prepare.py     outs:       - data\/prepared_data\/prepared_data.csv   training:     cmd: poetry run python src\/models\/model_train.py     deps:       - src\/models\/model_train.py     outs:       - models\/linear_model.pickle<\/code><\/pre>\n<p>\u0412\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b <code>dvc exp run<\/code> \u0441\u043e\u0437\u0434\u0430\u0441\u0442 \u0444\u0430\u0439\u043b <code>dvc.lock<\/code>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0431\u0443\u0434\u0443\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043a\u044d\u0448\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e stage`a \u0432 run`\u0435.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0435\u0449\u0435 \u0440\u0430\u0437, DVC \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442, \u0438\u0437\u043c\u0435\u043d\u044f\u043b\u0438\u0441\u044c \u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0434\u043b\u044f stage`a \u0444\u0430\u0439\u043b\u044b. \u0415\u0441\u043b\u0438 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u044f\u043b\u0438\u0441\u044c, stage`\u0438 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u0441\u044f:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ dvc exp run Reproducing experiment 'smoky-whin'                                                                                             Stage 'data_download' didn't change, skipping                                                                                   Stage 'data_prepare' didn't change, skipping Stage 'training' didn't change, skipping<\/code><\/pre>\n<hr\/>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u0443 \u043c\u0435\u043d\u044f \u0432\u0441\u0435, \u0441\u043f\u0430\u0441\u0438\u0431\u043e, \u0447\u0442\u043e \u0434\u043e\u0447\u0438\u0442\u0430\u043b\u0438 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c.<br \/>\u042f \u0432\u044b\u043b\u043e\u0436\u0438\u043b \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0441 \u043a\u043e\u0434\u043e\u043c \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f, \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u0441\u044f \u043b\u0438\u0447\u043d\u043e.<\/p>\n<p>\u0421\u0441\u044b\u043b\u043a\u0438:<\/p>\n<ol>\n<li>\n<p><a href=\"https:\/\/github.com\/smeyanoff\/dvc-example\/tree\/main\" rel=\"noopener noreferrer nofollow\"><u>\u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0441 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c<\/u><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/dvc.org\/\" rel=\"noopener noreferrer nofollow\"><u>\u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f DVC<\/u><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/habr.com\/ru\/companies\/aitalenthub\/profile\/\" rel=\"noopener noreferrer nofollow\">AI Talent Hub<\/a><\/p>\n<\/li>\n<\/ol>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/761072\/\"> https:\/\/habr.com\/ru\/articles\/761072\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442 \u0425\u0430\u0431\u0440, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u041d\u0435\u0441\u043c\u0435\u044f\u043d\u043e\u0432, \u044f \u044f\u0432\u043b\u044f\u044e\u0441\u044c \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 ML-\u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b &#171;\u041b\u041e\u041a\u041e-\u0431\u0430\u043d\u043a\u0430&#187;. \u0422\u0430\u043a\u0436\u0435 \u044f \u044f\u0432\u043b\u044f\u044e\u0441\u044c \u043c\u0430\u0433\u0438\u0441\u0442\u0440\u043e\u043c <s>\u0441\u0430\u043c\u043e\u0439 \u043a\u0440\u0443\u0442\u043e\u0439<\/s> \u043e\u043d\u043b\u0430\u0439\u043d \u043c\u0430\u0433\u0438\u0441\u0442\u0440\u0430\u0442\u0443\u0440\u044b \u043d\u0430 \u0431\u0430\u0437\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442\u0430 \u0418\u0422\u041c\u041e <a href=\"https:\/\/habr.com\/ru\/users\/ai-talent\/\" rel=\"noopener noreferrer nofollow\">@ai-talent<\/a>.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e DVC: \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043d\u043e\u0433\u0438\u0435, \u043d\u0435\u0437\u0430\u0441\u043b\u0443\u0436\u0435\u043d\u043d\u043e, \u043e\u0431\u0445\u043e\u0434\u044f\u0442 \u0441\u0442\u043e\u0440\u043e\u043d\u043e\u0439. \u0411\u044b\u043b\u0430 \u0445\u043e\u0440\u043e\u0448\u0430\u044f <a href=\"https:\/\/habr.com\/ru\/companies\/raiffeisenbank\/articles\/461803\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044f <\/a>\u043e\u0442 <a href=\"https:\/\/habr.com\/ru\/companies\/raiffeisenbank\/profile\/\" rel=\"noopener noreferrer nofollow\">\u0420\u0430\u0439\u0444\u0444\u0430\u0439\u0437\u0435\u043d \u0411\u0430\u043d\u043a<\/a>, \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u0440\u0435\u0437\u044e\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u044e \u0438 \u043a\u043e\u043b\u043b\u0435\u0433 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u0443 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 DVC.<\/p>\n<p>DVC (Data Version Control) &#8212; \u044d\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 <span class=\"habrahidden\">\u0438 \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e<\/span>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043d\u0430\u0434 git. \u0415\u0441\u043b\u0438 \u0432\u044b \u0443\u043c\u0435\u0435\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 git, \u043f\u043e\u0437\u0434\u0440\u0430\u0432\u043b\u044f\u044e, \u0432\u044b \u0443\u043c\u0435\u0435\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 DVC. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, DVC \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u0435\u043b\u0430\u0442\u044c Auto-ML.<\/p>\n<p>\u042f \u0445\u043e\u0447\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u044e \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u043e \u0443\u0434\u043e\u0431\u043d\u043e \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0435:<\/p>\n<ul>\n<li>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 DVC \u0438 \u043f\u0440\u0438\u0432\u044f\u0437\u043a\u0430 \u043a \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0443 \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<\/li>\n<li>\n<p>DVC \u0434\u043b\u044f DataScientist: \u0412\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>DVC \u0434\u043b\u044f DataScientist: \u041b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>DVC \u0434\u043b\u044f DataScientist \u0438 MLOps: \u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<h3>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 DVC \u0438 \u043f\u0440\u0438\u0432\u044f\u0437\u043a\u0430 \u043a \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0443 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p><a class=\"anchor\" name=\"1\" id=\"1\"><\/a><\/p>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 DVC. \u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e WSL Ubuntu \u0441 VSCode. \u0412\u043e \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u0430 \u043f\u0430\u043a\u0435\u0442\u043e\u0432, \u044f \u0431\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/python-poetry.org\/\" rel=\"noopener noreferrer nofollow\">poetry<\/a>. \u0417\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u043d\u0435 \u0431\u0443\u0434\u0443 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b poetry \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043d\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0435\u043a\u0442:<\/p>\n<pre><code class=\"bash\">`dmitry@Dmitriy:~\/projects$ poetry new dvc_example Created package dvc_example in dvc_example dmitry@Dmitriy:~\/projects$ cd dvc_example\/<\/code><\/pre>\n<p>poetry \u0441\u043e\u0437\u0434\u0430\u0441\u0442 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0432 \u043d\u0435\u0433\u043e \u043f\u0435\u0440\u0432\u0443\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443, \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 dvc <span class=\"habrahidden\">(\u043e\u0431\u0440\u0430\u0449\u0443 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0443\u00a0\u043c\u0435\u043d\u044f \u0432\u00a0\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 poetry \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0432\u00a0\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0441\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c)<\/span>: <\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ poetry add dvc  Creating virtualenv dvc-example in \/home\/dmitry\/projects\/dvc_example\/.venv Using version ^3.19.0 for dvc<\/code><\/pre>\n<p><a href=\"https:\/\/dvc.org\/doc\/user-guide\/data-management\/remote-storage\" rel=\"noopener noreferrer nofollow\">DVC \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430<\/a>. \u0412 \u0442.\u0447. S3, S3-like (<a href=\"https:\/\/min.io\/\" rel=\"noopener noreferrer nofollow\">MinIO<\/a>), GoogleDrive \u0438 \u0442.\u0434. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u043e\u0436\u043d\u043e \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u043d\u0430 \u0432\u0430\u0448\u0435\u043c \u041f\u041a. \u041c\u044b \u0432 \u0431\u0430\u043d\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c DVC c MinIO.<\/p>\n<p>\u041a\u0430\u043a \u044f \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b \u0440\u0430\u043d\u043d\u0435\u0435, DVC \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043d\u0430\u0434 Git. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c git-\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c dvc-\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 <code>dvc init<\/code><\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ git init dmitry@Dmitriy:~\/projects\/dvc_example$ dvc init Initialized DVC repository.<\/code><\/pre>\n<p>\u0411\u0443\u0434\u0435\u043c \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e <code>dvc_local_storage<\/code>:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir ~\/projects\/dvc_local_storage dmitry@Dmitriy:~\/projects\/dvc_example$ dvc remote add local_storage ~\/projects\/dvc_local_storage\/<\/code><\/pre>\n<h3>DVC \u0434\u043b\u044f DataScientist: \u0412\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432<\/h3>\n<p><a class=\"anchor\" name=\"2\" id=\"2\"><\/a><\/p>\n<p>\u041a\u0430\u043a \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b \u0432\u044b\u0448\u0435, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e DVC \u043c\u043e\u0436\u043d\u043e \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b. \u042d\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0434\u043e\u0431\u043d\u044b\u043c \u0438\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c, \u0442.\u043a. \u0434\u0430\u043d\u043d\u044b\u0435, \u043e\u0431\u044b\u0447\u043d\u043e, \u043d\u0435 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438. <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440. \u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/scikit-learn.org\/stable\/modules\/generated\/sklearn.datasets.load_diabetes.html#sklearn.datasets.load_diabetes\" rel=\"noopener noreferrer nofollow\">\u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043e \u0437\u0430\u0431\u043e\u043b\u0435\u0432\u0430\u043d\u0438\u044f\u0445 \u0434\u0438\u0430\u0431\u0435\u0442\u043e\u043c<\/a>. <\/p>\n<p>\u041d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<pre><code class=\"bash\">\u251c\u2500\u2500.dvc \u251c\u2500\u2500.venv \u251c\u2500\u2500 README.md \u251c\u2500\u2500 poetry.lock \u251c\u2500\u2500 pyproject.toml \u2514\u2500\u2500 tests     \u2514\u2500\u2500 __init__.py<\/code><\/pre>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0439 \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir -p data\/initial_data dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir -p data\/prepared_data dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir -p src\/data<\/code><\/pre>\n<p>\u0412 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e <code>initial_data<\/code> \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0432 <code>prepared_data<\/code> \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442. \u0412 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e <code>src\/data<\/code> \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c .py \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0434\u043b\u044f \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0439 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438.<\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u0438\u043c \u0441\u043a\u0440\u0438\u043f \u0434\u043b\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 <code>src\/data\/data_download.py<\/code>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 <code>src\/data\/data_prepare.py<\/code> \u0434\u043b\u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0431\u0443\u0434\u0435\u043c \u0432 \u0447\u0435\u0442\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430  \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 1, \u0430 \u0432 \u043d\u0435\u0447\u0435\u0442\u043d\u044b\u0445 \u043d\u0430 2.<\/p>\n<p><code>src\/data\/data_download.py:<\/code><\/p>\n<pre><code class=\"python\">import os  from sklearn import datasets from dotenv import load_dotenv import pandas as pd  load_dotenv()  if __name__ == \"__main__\":       dataset = datasets.load_diabetes()     features = pd.DataFrame(data=dataset.data,                              columns=[\"feat%s\" % x for x in range(dataset.data.shape[1])])     target = pd.DataFrame(data=dataset.target, columns=[\"target\"])      features.to_csv(\"%s\/initial_data.csv\" % os.environ.get(\"INITIAL_DATA_PATH\"))     target.to_csv(\"%s\/target.csv\" % os.environ.get(\"INITIAL_DATA_PATH\")) <\/code><\/pre>\n<p><code>src\/data\/data_prepare.py:<\/code><\/p>\n<pre><code class=\"python\">import os  from dotenv import load_dotenv import pandas as pd  load_dotenv()  def fillna(dataset: pd.DataFrame) -> pd.DataFrame:      prepare_dataset = dataset.copy()     for i, column in enumerate(dataset.columns):         if i % 2 == 0:             prepare_dataset[column] = prepare_dataset[column] - 1         else:             prepare_dataset[column] = prepare_dataset[column] - 2          return prepare_dataset  if __name__ == \"__main__\":     dataset = pd.read_csv(\"%s\/initial_data.csv\" % os.environ.get(\"INITIAL_DATA_PATH\"))     prepared_dataset = fillna(dataset=dataset)     prepared_dataset.to_csv(\"%s\/prepared_data.csv\" % os.environ.get(\"PREPARED_DATA_PATH\")) <\/code><\/pre>\n<p>\u0411\u0443\u0434\u0435\u043c \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Makefile:<\/p>\n<pre><code class=\"cmake\">prepare_stage1: poetry run python src\/data\/data_download.py  prepare_stage2: poetry run python src\/data\/data_prepare.py  data_prepare: prepare_stage1 prepare_stage2<\/code><\/pre>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ make data_prepare  poetry run python src\/data\/data_download.py poetry run python src\/data\/data_prepare.py<\/code><\/pre>\n<p>\u041d\u0430 \u0434\u0430\u043d\u043d\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u044b \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443. \u0414\u0435\u0440\u0435\u0432\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code class=\"bash\">. \u251c\u2500\u2500 Makefile \u251c\u2500\u2500 README.md \u251c\u2500\u2500 data \u2502   \u251c\u2500\u2500 initial_data \u2502   \u2502   \u251c\u2500\u2500 initial_data.csv \u2502   \u2502   \u2514\u2500\u2500 target.csv \u2502   \u2514\u2500\u2500 prepared_data \u2502       \u2514\u2500\u2500 prepared_data.csv \u251c\u2500\u2500 poetry.lock \u251c\u2500\u2500 pyproject.toml \u251c\u2500\u2500 src \u2502   \u251c\u2500\u2500 __init__.py \u2502   \u2514\u2500\u2500 data \u2502       \u251c\u2500\u2500 __init__.py \u2502       \u251c\u2500\u2500 data_download.py \u2502       \u2514\u2500\u2500 data_prepare.py \u2514\u2500\u2500 tests     \u2514\u2500\u2500 __init__.py<\/code><\/pre>\n<p>\u0422\u0443\u0442 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u0433\u0438\u044f. \u0414\u043e\u0431\u0430\u0432\u0438\u043c \u0432\u0441\u0435 .csv \u0444\u0430\u0439\u043b\u044b \u0432 DVC \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u044b <code>dvc add<\/code>. <span class=\"habrahidden\">\u0425\u043e\u0442\u044f DVC \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u043f\u043a\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u0442\u043e\u043d\u043e\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/span><\/p>\n<pre><code class=\"bash\">poetry run dvc add data\/initial_data\/initial_data.csv ...<\/code><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 <code>dvc add<\/code> \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0444\u0430\u0439\u043b\u043e\u043c \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f \u0444\u0430\u0439\u043b\u044b <code>.gitignore<\/code> \u0438 <code>&lt;file_name>.dvc<\/code>. \u0421 \u043f\u0435\u0440\u0432\u044b\u043c \u043f\u043e\u043d\u044f\u0442\u043d\u043e, git \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0444\u0430\u0439\u043b\u044b. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u043b\u0438\u0436\u0435 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 <code>data\/prepared_data\/prepared_data.csv.dvc<\/code>:<\/p>\n<pre><code class=\"yaml\">outs: - md5: 9baf10a3b757026d1f00c52dfbf7a718   size: 90325   hash: md5   path: prepared_data.csv<\/code><\/pre>\n<p>\u0424\u0430\u0439\u043b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0445\u044d\u0448 \u0444\u0430\u0439\u043b\u0430, \u043f\u043e \u043d\u0435\u043c\u0443 DVC \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0440\u0430\u0437\u043c\u0435\u0440, \u0442\u0438\u043f \u0445\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u0443\u0442\u044c \u043a \u0444\u0430\u0439\u043b\u0443.<\/p>\n<p>\u0414\u0435\u0440\u0435\u0432\u043e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 <code>.\/data<\/code> \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code class=\"bash\">\u251c\u2500\u2500 data \u2502   \u251c\u2500\u2500 initial_data |   |   \u251c\u2500\u2500 .gitignore \u2502   \u2502   \u251c\u2500\u2500 initial_data.csv \u2502   \u2502   \u251c\u2500\u2500 initial_data.csv.dvc \u2502   \u2502   \u251c\u2500\u2500 target.csv \u2502   \u2502   \u2514\u2500\u2500 target.csv.dvc \u2502   \u2514\u2500\u2500 prepared_data |       \u251c\u2500\u2500 .gitignore \u2502       \u251c\u2500\u2500 prepared_data.csv \u2502       \u2514\u2500\u2500 prepared_data.csv.dvc<\/code><\/pre>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f DVC \u0438 git, \u0441\u0434\u0435\u043b\u0430\u0442\u044c push \u0432 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 git \u0438 DVC.<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ poetry run dvc commit dmitry@Dmitriy:~\/projects\/dvc_example$ git add . dmitry@Dmitriy:~\/projects\/dvc_example$ git commit -m \"add: dvc_staging\" dmitry@Dmitriy:~\/projects\/dvc_example$ poetry run dvc push -r local_storage 4 files pushed  dmitry@Dmitriy:~\/projects\/dvc_example$ git push -u origin main<\/code><\/pre>\n<p>\u0418 \u0442\u0435\u043f\u0435\u0440\u044c, \u0435\u0441\u043b\u0438 \u043f\u043e \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0435, \u043c\u044b \u0443\u0434\u0430\u043b\u0438\u043c \u0444\u0430\u0439\u043b \u0438\u0437 \u043f\u0440\u043e\u0435\u043a\u0442\u0430, \u043c\u043e\u0436\u0435\u043c \u043b\u0435\u0433\u043a\u043e \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0435\u0433\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <code>dvc pull<\/code>.<\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 DVC, \u0438\u0437\u043c\u0435\u043d\u0438\u043c \u0444\u0430\u0439\u043b <code>src\/data\/data_prepare.py<\/code>. \u0414\u043b\u044f \u0447\u0451\u0442\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0442\u044c 1, \u0430 \u0434\u043b\u044f \u043d\u0435\u0447\u0435\u0442\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0442\u0430\u0442\u044c 4.<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ make data_prepare  poetry run python src\/data\/data_download.py poetry run python src\/data\/data_prepare.py<\/code><\/pre>\n<p>\u0417\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f <code>dvc commit<\/code> \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0444\u0430\u0439\u043b <code>data\/prepared_data\/prepared_data.csv.dvc<\/code>:<\/p>\n<pre><code class=\"yaml\">outs: - md5: eb82260e632fd286abf79718cc771b08   size: 87320   hash: md5   path: prepared_data.csv<\/code><\/pre>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, \u0445\u044d\u0448 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f. \u0414\u0430\u043b\u0435\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f git \u0438 \u043f\u0443\u0448\u0438\u043c git \u0438 DVC.<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ git commit -am \"fix: prepare_data\" dmitry@Dmitriy:~\/projects\/dvc_example$ git push dmitry@Dmitriy:~\/projects\/dvc_example$ poetry run dvc push -r local_storage<\/code><\/pre>\n<p>\u0427\u0442\u043e\u0431\u044b \u043e\u0442\u043a\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f <code>git checkout &lt;id \u043a\u043e\u043c\u043c\u0438\u0442\u0430><\/code>. \u041a\u043e\u043c\u0430\u043d\u0434\u0430 <code>dvc pull<\/code> \u043e\u0442\u043a\u0430\u0442\u0438\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043e \u0432\u0435\u0440\u0441\u0438\u0438 \u043a\u043e\u043c\u043c\u0438\u0442\u0430:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ git checkout aab115eb... dmitry@Dmitriy:~\/projects\/dvc_example$ dvc pull M       data\/prepared_data\/prepared_data.csv                                                                                1 file modified<\/code><\/pre>\n<p>\u0425\u043e\u0447\u0443 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c, \u0447\u0442\u043e DVC \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0432\u0435\u0442\u043a\u0430\u043c. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a\u0436\u0435, \u043a\u0430\u043a \u0432 git, \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 <code>dvc checkout<\/code> \u043c\u043e\u0436\u043d\u043e &#171;\u043f\u0440\u044b\u0433\u0430\u0442\u044c&#187; \u043f\u043e \u0432\u0435\u0442\u043a\u0430\u043c \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435.<\/p>\n<h3>DVC \u0434\u043b\u044f DataScientist: \u041b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p><a class=\"anchor\" name=\"3\" id=\"3\"><\/a><\/p>\n<p>DVC \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 <a href=\"https:\/\/dvc.org\/doc\/start\/experiments\/experiment-tracking?tab=DVCLive-Report\" rel=\"noopener noreferrer nofollow\">\u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/a>. \u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 Jupyter Notebook, \u0435\u0441\u0442\u044c <a href=\"https:\/\/marketplace.visualstudio.com\/items?itemName=Iterative.dvc\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0434\u043b\u044f VSCode<\/a>. \u0418\u043c \u044f \u0438 \u0431\u0443\u0434\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p> \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 <code>dvc live<\/code>.<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ poetry add dvclive Using version ^2.16.0 for dvclive<\/code><\/pre>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438:<\/p>\n<pre><code class=\"bash\">dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir configs dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir models dmitry@Dmitriy:~\/projects\/dvc_example$ mkdir -p src\/models<\/code><\/pre>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043a\u043e\u043d\u0444\u0438\u0433 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 <code>configs\/training_config.yml<\/code> \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u043c:<\/p>\n<pre><code class=\"yaml\">train_config:     seed: 1     test_size: 0.4     validation_size: 0.1<\/code><\/pre>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0444\u0430\u0439\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f <code>src\/models\/model_train.py<\/code>:<\/p>\n<pre><code class=\"python\">import os import pickle  import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error from sklearn.linear_model import LinearRegression from dotenv import load_dotenv from yaml import load, Loader from dvclive import Live  load_dotenv()  if __name__ == \"__main__\":      with open(\"configs\/train_config.yml\", \"r\") as conf:         train_config = load(conf, Loader=Loader)[\"train_config\"]      np.random.seed(train_config[\"seed\"])      dataset = pd.read_csv(\"%s\/prepared_data.csv\" % os.environ.get(\"PREPARED_DATA_PATH\"))     target = pd.read_csv(\"%s\/target.csv\" %<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-354897","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/354897","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=354897"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/354897\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=354897"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=354897"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=354897"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}