{"id":484132,"date":"2026-06-18T12:42:44","date_gmt":"2026-06-18T12:42:44","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=484132"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=484132","title":{"rendered":"Sitemap-first \u0430\u0443\u0434\u0438\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430: \u043a\u0430\u043a \u043d\u0430\u0439\u0442\u0438 \u043f\u0443\u0441\u0442\u044b\u0435 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0435 \u0431\u0435\u0437 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043a\u0440\u0430\u0443\u043b\u0438\u043d\u0433\u0430"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b92\/6d9\/745\/b926d9745f561b13bf7ea654c529ca32.png\" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b92\/6d9\/745\/b926d9745f561b13bf7ea654c529ca32.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b92\/6d9\/745\/b926d9745f561b13bf7ea654c529ca32.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0415\u0441\u0442\u044c \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0430\u0443\u0434\u0438\u0442\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432: \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043a\u0440\u0430\u0443\u043b\u0435\u0440, \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043b\u0438\u043c\u0438\u0442 \u043f\u043e\u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u043f\u0440\u043e\u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0451.<\/p>\n<p>\u041d\u0430 \u0441\u0430\u0439\u0442\u0435 \u0432 \u043f\u0430\u0440\u0443 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041d\u0430 \u0441\u0430\u0439\u0442\u0435 \u0441 \u0441\u0435\u043c\u0438\u0437\u043d\u0430\u0447\u043d\u044b\u043c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u0451\u043c URL \u2014 \u043d\u0435\u0442. \u0418 \u0434\u0435\u043b\u043e \u043d\u0435 \u0432 \u0446\u0435\u043d\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430. \u041f\u043e\u043b\u043d\u044b\u0439 \u043a\u0440\u0430\u0443\u043b \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0430\u043c\u044f\u0442\u044c, \u0434\u0438\u0441\u043a, \u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u044b, rate limit, JavaScript-\u0440\u0435\u043d\u0434\u0435\u0440\u0438\u043d\u0433, \u0434\u0443\u0431\u043b\u0438, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 \u0444\u0430\u0441\u0435\u0442\u044b \u0438 \u0432 \u0442\u043e, \u0447\u0442\u043e \u0447\u0435\u0440\u0435\u0437 \u0434\u0432\u043e\u0435 \u0441\u0443\u0442\u043e\u043a \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0441\u0442\u0440\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043d\u0443\u043b\u044f.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0430\u0447\u0438\u043d\u0430\u044e \u043d\u0435 \u0441 \u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0430. \u042f \u043d\u0430\u0447\u0438\u043d\u0430\u044e \u0441 sitemap.<\/p>\n<p>\u041d\u0435 \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e sitemap \u0438\u0434\u0435\u0430\u043b\u0435\u043d: \u043e\u043d \u0447\u0430\u0441\u0442\u043e \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0430\u0435\u0442, \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043d\u0435\u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 URL, \u0434\u0443\u0431\u043b\u0438 \u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0445\u0432\u043e\u0441\u0442\u044b. \u0410 \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u044b\u0439 URL-\u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c, \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0442\u0438\u043f\u044b \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u0432\u044b\u0442\u0430\u0449\u0438\u0442\u044c \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u043d\u0430\u043b\u043e\u0436\u0438\u0442\u044c \u043d\u0430 \u0441\u043f\u0440\u043e\u0441 \u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043d\u0430\u0439\u0442\u0438 \u0437\u043e\u043d\u044b, \u0433\u0434\u0435 \u043f\u0440\u043e\u0435\u043a\u0442 \u0433\u043e\u0434\u0430\u043c\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0445 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u044f \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u044e, \u0432 \u043a\u0430\u043a\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435, \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u0441\u0451 \u044d\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f <strong>\u0434\u043e<\/strong> \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u044b \u043a GSC, \u042f\u043d\u0434\u0435\u043a\u0441.\u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440\u0443 \u0438 \u043b\u043e\u0433\u0430\u043c.<\/p>\n<p><em>\u0412\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d\u044b: \u044f \u0443\u0431\u0440\u0430\u043b \u0434\u043e\u043c\u0435\u043d, \u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044f \u0438 \u0443\u0437\u043d\u0430\u0432\u0430\u0435\u043c\u044b\u0435 URL-\u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b. \u041c\u0435\u0442\u043e\u0434 \u0432\u0430\u0436\u043d\u0435\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430.<\/em><\/p>\n<h3>\u0427\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0430 \u0432\u0445\u043e\u0434\u0435<\/h3>\n<p>\u0412\u0432\u043e\u0434\u043d\u0430\u044f \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>\u0434\u043e\u0441\u0442\u0443\u043f\u044b \u043a \u0434\u0430\u043d\u043d\u044b\u043c \u0435\u0449\u0451 \u043d\u0435 \u0432\u044b\u0434\u0430\u043d\u044b \u2014 GSC \u0438 \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442 \u043f\u043e\u0437\u0436\u0435;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 \u043b\u043e\u0433\u043e\u0432 \u043f\u043e\u043a\u0430 \u043d\u0435\u0442;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0430\u0439\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043b\u044f \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e\u0433\u043e desktop-\u043a\u0440\u0430\u0443\u043b\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0440\u0435\u043d\u0434\u0435\u0440\u0438\u0442\u044c \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b URL \u2014 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435, \u0441\u043f\u0440\u043e\u0441\u0435, \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438, \u0448\u0430\u0431\u043b\u043e\u043d\u0430\u0445 \u0438\u043b\u0438 \u0440\u0435\u043d\u0434\u0435\u0440\u0438\u043d\u0433\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f: \u0430\u0443\u0434\u0438\u0442 \u043d\u0443\u0436\u0435\u043d \u0441\u0435\u0439\u0447\u0430\u0441, \u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u0442\u043e\u043c. \u0418 \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u0432\u043e\u0434 \u0441\u0438\u0434\u0435\u0442\u044c \u0431\u0435\u0437 \u0440\u0430\u0431\u043e\u0442\u044b \u2014 \u044d\u0442\u043e \u043f\u043e\u0432\u043e\u0434 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u0438\u0437 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0441\u0430\u0439\u0442 \u0438 \u0442\u0430\u043a \u043e\u0442\u0434\u0430\u0451\u0442 \u043d\u0430\u0440\u0443\u0436\u0443.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u043f\u043e\u043b\u043d\u044b\u0439 \u043a\u0440\u0430\u0443\u043b \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u2014 \u043f\u043b\u043e\u0445\u043e\u0439 \u043f\u0435\u0440\u0432\u044b\u0439 \u0448\u0430\u0433<\/h3>\n<p>\u041f\u0440\u044f\u043c\u043e\u0439 \u043e\u0431\u0445\u043e\u0434 \u0442\u0430\u043a\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u0435\u043d \u2014 \u043d\u043e \u043a\u0430\u043a \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u0430\u0443\u0434\u0438\u0442\u0430 \u043e\u043d \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043e\u0448\u0438\u0431\u043a\u0430. \u041a\u0440\u0430\u0443\u043b\u0435\u0440 \u0447\u0435\u0441\u0442\u043d\u043e \u0436\u0436\u0451\u0442 \u0440\u0435\u0441\u0443\u0440\u0441 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 SEO-\u0432\u043e\u043f\u0440\u043e\u0441: \u043d\u0430 \u0434\u0443\u0431\u043b\u0438, \u043f\u0430\u0433\u0438\u043d\u0430\u0446\u0438\u044e, \u0444\u0430\u0441\u0435\u0442\u043d\u044b\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438, \u0442\u0440\u0435\u043a\u0438\u043d\u0433\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438 \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, \u043e\u0442\u0434\u0430\u044e\u0449\u0438\u0435 301.<\/p>\n<p>\u041e\u0431\u043b\u0430\u0447\u043d\u044b\u0435 \u043a\u0440\u0430\u0443\u043b\u0435\u0440\u044b \u2014 JetOctopus, Sitebulb Cloud, OnCrawl \u2014 \u0441\u043d\u0438\u043c\u0430\u044e\u0442 \u0447\u0430\u0441\u0442\u044c \u0431\u043e\u043b\u0438 \u0441 \u0432\u0430\u0448\u0435\u0433\u043e \u0436\u0435\u043b\u0435\u0437\u0430, \u043d\u043e \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u044e\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438. \u0423 \u043e\u0434\u043d\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0442\u0430\u0440\u0438\u0444\u044b \u043e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432-\u0441\u043e\u0442\u0435\u043d \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0438\u043b\u0438 \u0444\u0443\u043d\u0442\u043e\u0432 \u0432 \u043c\u0435\u0441\u044f\u0446, \u0443 \u0434\u0440\u0443\u0433\u0438\u0445 enterprise-\u0446\u0435\u043d\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u043e\u0431\u044a\u0451\u043c\u0443 \u043e\u0431\u0445\u043e\u0434\u0430, \u043b\u043e\u0433\u0430\u043c, \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u043c \u0438\u043b\u0438 \u043a\u0440\u0435\u0434\u0438\u0442\u0430\u043c. JetOctopus \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0433\u043e\u0440\u0434\u0438\u0442\u0441\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u2014 200 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0438 \u044d\u0442\u043e \u043f\u0440\u0430\u0432\u0434\u0430 \u0431\u044b\u0441\u0442\u0440\u043e; \u043d\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u043f\u043e \u043c\u043d\u043e\u0433\u043e\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u043e\u043c\u0443, \u0434\u0430 \u0435\u0449\u0451 \u0438 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0441\u0430\u0439\u0442\u0443 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c, \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u0447\u0435\u0433\u043e-\u0442\u043e \u0441\u0442\u043e\u0438\u0442. \u041d\u0430 \u0441\u0435\u043c\u0438\u0437\u043d\u0430\u0447\u043d\u043e\u043c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0435 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043a\u0440\u0430\u0443\u043b\u0435\u0440 \u00ab\u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442\u00bb. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0431\u0435\u0437 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043e\u043d \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u0434\u043e\u0440\u043e\u0433\u043e \u0441\u043e\u0431\u0435\u0440\u0451\u0442 \u043c\u0443\u0441\u043e\u0440.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0442\u0435\u0437\u0438\u0441 \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u043f\u0440\u043e \u0434\u0435\u043d\u044c\u0433\u0438:<\/p>\n<blockquote>\n<p>\u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u0430\u0445 \u0446\u0435\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u044b\u0448\u0435 \u0446\u0435\u043d\u044b \u0441\u0430\u043c\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430. \u0415\u0441\u043b\u0438 \u043d\u0435 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c URL \u0437\u0430\u0440\u0430\u043d\u0435\u0435, \u043b\u044e\u0431\u043e\u0439 \u043a\u0440\u0430\u0443\u043b\u0435\u0440 \u2014 \u0445\u043e\u0442\u044c \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0439, \u0445\u043e\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u2014 \u0434\u043e\u0431\u0440\u043e\u0441\u043e\u0432\u0435\u0441\u0442\u043d\u043e \u0441\u043e\u0431\u0435\u0440\u0451\u0442 \u0432\u0430\u043c \u043c\u0443\u0441\u043e\u0440. \u0411\u044b\u0441\u0442\u0440\u043e \u0438 \u0434\u043e\u0440\u043e\u0433\u043e.<\/p>\n<\/blockquote>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0441\u043b\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0440\u0430\u0443\u043b \u2014 \u043f\u043e\u0442\u043e\u043c, \u0442\u043e\u0447\u0435\u0447\u043d\u043e, \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u043e\u043d \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u0435\u043d.<\/p>\n<h3>Sitemap-first \u0432\u043c\u0435\u0441\u0442\u043e crawl-first<\/h3>\n<p>\u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a \u0447\u0442\u043e-\u0442\u043e \u043a\u0430\u0447\u0430\u0442\u044c, \u044f \u0441\u043c\u043e\u0442\u0440\u044e \u043d\u0430 \u0441\u0430\u043c sitemap \u043a\u0430\u043a \u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438. \u0423 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u044d\u0442\u043e \u043d\u0435 \u043e\u0434\u0438\u043d \u0444\u0430\u0439\u043b, \u0430 \u0433\u0440\u0430\u0444:<\/p>\n<pre><code>robots.txt\u2514\u2500\u2500 sitemap index    \u251c\u2500\u2500 sitemap-listing-sale-*.xml.gz    \u251c\u2500\u2500 sitemap-listing-rent-*.xml.gz    \u251c\u2500\u2500 sitemap-newbuilding-*.xml.gz    \u251c\u2500\u2500 sitemap-geo-*.xml.gz    \u2514\u2500\u2500 sitemap-static.xml<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/523\/4c2\/15f\/5234c215f9c563f6fcb1e9d3b3818877.png\" alt=\"Sitemap graph \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430: robots.txt \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 sitemap index, \u0430 \u0442\u043e\u0442 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0430\u0431\u043e\u0440 gzip-\u043a\u0430\u0440\u0442 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446. \u041e\u0434\u0438\u043d sitemap-\u0444\u0430\u0439\u043b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d 50 000 URL \u0438 50 \u041c\u0411 \u0432 \u043d\u0435\u0441\u0436\u0430\u0442\u043e\u043c \u0432\u0438\u0434\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0436\u0438\u0432\u0443\u0442 \u0447\u0435\u0440\u0435\u0437 sitemap index.\" title=\"Sitemap graph \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430: robots.txt \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 sitemap index, \u0430 \u0442\u043e\u0442 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0430\u0431\u043e\u0440 gzip-\u043a\u0430\u0440\u0442 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446. \u041e\u0434\u0438\u043d sitemap-\u0444\u0430\u0439\u043b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d 50 000 URL \u0438 50 \u041c\u0411 \u0432 \u043d\u0435\u0441\u0436\u0430\u0442\u043e\u043c \u0432\u0438\u0434\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0436\u0438\u0432\u0443\u0442 \u0447\u0435\u0440\u0435\u0437 sitemap index.\" width=\"1592\" height=\"600\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/523\/4c2\/15f\/5234c215f9c563f6fcb1e9d3b3818877.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/523\/4c2\/15f\/5234c215f9c563f6fcb1e9d3b3818877.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Sitemap graph \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430: robots.txt \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 sitemap index, \u0430 \u0442\u043e\u0442 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0430\u0431\u043e\u0440 gzip-\u043a\u0430\u0440\u0442 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446. \u041e\u0434\u0438\u043d sitemap-\u0444\u0430\u0439\u043b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d 50 000 URL \u0438 50 \u041c\u0411 \u0432 \u043d\u0435\u0441\u0436\u0430\u0442\u043e\u043c \u0432\u0438\u0434\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0436\u0438\u0432\u0443\u0442 \u0447\u0435\u0440\u0435\u0437 sitemap index.<\/figcaption><\/div>\n<\/figure>\n<p>\u0423 sitemap \u0435\u0441\u0442\u044c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f: \u043e\u0434\u0438\u043d sitemap-\u0444\u0430\u0439\u043b \u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0442\u044c \u043d\u0438 50 000 URL, \u043d\u0438 50 \u041c\u0411 \u0432 \u043d\u0435\u0441\u0436\u0430\u0442\u043e\u043c \u0432\u0438\u0434\u0435 (\u044d\u0442\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442 Google Search Central). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u0430\u0445 sitemap \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0433\u0440\u0430\u0444: index-\u0444\u0430\u0439\u043b, \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u044b, gzip \u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u044b\u0435 sitemap \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446. \u0421\u0430\u043c \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u0443 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 gzip-\u043a\u0430\u0440\u0442 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435, \u2014 \u0443\u0436\u0435 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438.<\/p>\n<p>\u0427\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e \u0434\u043e \u0432\u044b\u0433\u0440\u0443\u0437\u043a\u0438 URL:<\/p>\n<ul>\n<li>\n<p>\u0435\u0441\u0442\u044c \u043b\u0438 sitemap index \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432 \u043d\u0451\u043c \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043a\u0430\u0440\u0442;<\/p>\n<\/li>\n<li>\n<p>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u0438 gzip;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u043a\u0438\u0435 \u0442\u0438\u043f\u044b \u043a\u0430\u0440\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442: \u043b\u0438\u0441\u0442\u0438\u043d\u0433\u0438, \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, \u0433\u0435\u043e, \u0444\u0438\u043b\u044c\u0442\u0440\u044b, \u0441\u0442\u0430\u0442\u0438\u043a\u0430, \u043d\u043e\u0432\u043e\u0441\u0442\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0436\u0438\u0432\u0451\u0442 \u043b\u0438 <code>lastmod<\/code> \u0438\u043b\u0438 \u0442\u0430\u043c \u0443 \u0432\u0441\u0435\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u043e\u0434\u043d\u0430 \u0434\u0430\u0442\u0430 \u0441 \u043f\u0440\u043e\u0448\u043b\u043e\u0433\u043e \u0434\u0435\u043f\u043b\u043e\u044f;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435\u0442 \u043b\u0438 \u043a\u0430\u0440\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u0434\u0430\u044e\u0442 HTML \u0432\u043c\u0435\u0441\u0442\u043e XML \u0438\u043b\u0438 404;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435\u0442 \u043b\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 URL, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438, \u043f\u0430\u0433\u0438\u043d\u0430\u0446\u0438\u0438 \u0438 \u0442\u0440\u0435\u043a\u0438\u043d\u0433\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u043b\u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043a\u0430\u0440\u0442 \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u0441\u0430\u0439\u0442\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0434\u0435\u0440\u0436\u0443 \u0432 \u0433\u043e\u043b\u043e\u0432\u0435 \u0438 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0435 \u0441\u0442\u044b\u0434\u043d\u043e \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0432 \u043e\u0442\u0447\u0451\u0442:<\/p>\n<blockquote>\n<p>Sitemap \u2014 \u044d\u0442\u043e \u043d\u0435 \u0438\u0441\u0442\u0438\u043d\u0430. \u042d\u0442\u043e \u0434\u0435\u043a\u043b\u0430\u0440\u0430\u0446\u0438\u044f \u0441\u0430\u0439\u0442\u0430 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 URL \u043e\u043d \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u043e\u0439\u043d\u044b\u043c\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430. \u041d\u043e \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u0430\u0443\u0434\u0438\u0442\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0434\u0435\u043a\u043b\u0430\u0440\u0430\u0446\u0438\u044f \u0443\u0436\u0435 \u0431\u0435\u0441\u0446\u0435\u043d\u043d\u0430: \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c, \u0440\u0430\u0441\u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043d\u0435\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0432\u043e\u0441\u0442\u044c.<\/p>\n<\/blockquote>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u044f \u0437\u0430\u0431\u0438\u0440\u0430\u044e \u0442\u043e\u043b\u044c\u043a\u043e XML \u0438 GZ. \u041d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0442\u044f\u0436\u0451\u043b\u043e\u0433\u043e \u043e\u0431\u0445\u043e\u0434\u0430 HTML \u2014 \u044d\u0442\u043e \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0441\u043b\u043e\u0439, \u0438 \u043e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0441\u0442\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u0435\u0448\u0451\u0432\u044b\u043c.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u2014 \u043e\u0431\u0440\u0435\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043c\u043e\u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u043e\u0440\u0442\u0451\u0440\u0430 (\u0443\u0431\u0440\u0430\u043d\u044b CLI, \u0437\u0430\u043f\u0438\u0441\u044c \u0444\u0430\u0439\u043b\u043e\u0432 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432). \u0421\u0435\u0440\u0434\u0446\u0435 \u2014 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u044b\u0439 \u043e\u0431\u0445\u043e\u0434: \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u043b\u0438\u0431\u043e <code>urlset<\/code>, \u043b\u0438\u0431\u043e <code>sitemapindex<\/code>, \u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u044b. <code>visited<\/code> \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u0442 \u043e\u0442 \u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0441\u044b\u043b\u043e\u043a \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438 \u2014 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u0430\u0445 \u043e\u043d\u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f.<\/p>\n<pre><code class=\"python\">import gzipfrom io import BytesIOimport requestsfrom lxml import etreeNS = {\"ns\": \"http:\/\/www.sitemaps.org\/schemas\/sitemap\/0.9\"}UA = \"Mozilla\/5.0 (compatible; SitemapURLExporter\/1.0)\"def fetch_xml(source: str) -&gt; bytes:    if source.startswith((\"http:\/\/\", \"https:\/\/\")):        r = requests.get(source, headers={\"User-Agent\": UA,                         \"Accept-Encoding\": \"gzip, deflate\"}, timeout=30)        r.raise_for_status()        data = r.content    else:        data = open(source, \"rb\").read()    # .gz \u043f\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044e + \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 gzip-\u0441\u0438\u0433\u043d\u0430\u0442\u0443\u0440\u044b    if source.endswith(\".gz\") and data[:2] == b\"\\x1f\\x8b\":        return gzip.decompress(data)    return datadef walk_sitemap(source: str, visited: set[str] | None = None):    \"\"\"\u0420\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442 sitemapindex \u2192 urlset \u2192 \u043f\u043b\u043e\u0441\u043a\u0438\u0439 \u0441\u043f\u0438\u0441\u043e\u043a URL.\"\"\"    visited = visited if visited is not None else set()    if source in visited:        return []    visited.add(source)    root = etree.parse(BytesIO(fetch_xml(source))).getroot()    tag = etree.QName(root).localname    if tag == \"urlset\":        return [loc.text.strip()                for loc in root.findall(\".\/\/ns:url\/ns:loc\", NS)                if loc.text and loc.text.strip()]    if tag != \"sitemapindex\":        raise ValueError(f\"Unsupported root tag '{tag}' in {source}\")    urls = []    for loc in root.findall(\".\/\/ns:sitemap\/ns:loc\", NS):        urls.extend(walk_sitemap(loc.text.strip(), visited))    return urls<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412 \u043f\u043e\u043b\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u043e\u0445\u043e\u0434 \u0441\u0440\u0430\u0437\u0443 \u043f\u0438\u0448\u0435\u0442 \u0442\u0440\u0438 \u0444\u0430\u0439\u043b\u0430: \u0432\u0441\u0435 URL, \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 (<code>dict.fromkeys<\/code> \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a) \u0438 <strong>\u043e\u0442\u0447\u0451\u0442 \u043f\u043e \u0434\u0443\u0431\u043b\u044f\u043c<\/strong> \u2014 \u043a\u0430\u043a\u0438\u0435 URL \u0432 sitemap \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0442\u0441\u044f \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437. \u0414\u0443\u0431\u043b\u0438 \u043f\u0440\u044f\u043c\u043e \u0432 \u043a\u0430\u0440\u0442\u0435 \u2014 \u044d\u0442\u043e \u0443\u0436\u0435 \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b: \u0441\u0430\u0439\u0442 \u0441\u0430\u043c \u0434\u0435\u043a\u043b\u0430\u0440\u0438\u0440\u0443\u0435\u0442 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 URL \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u0435\u0441\u0442. \u0422\u0443\u0434\u0430 \u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u044b retry\/backoff, \u0436\u0443\u0440\u043d\u0430\u043b \u043e\u0448\u0438\u0431\u043e\u043a, \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 source-\u043a\u0430\u0440\u0442\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e URL \u0438 stream-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430: \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u0432\u044b\u0448\u0435 \u0447\u0435\u0440\u0435\u0437 <code>etree.parse<\/code> \u0433\u0440\u0443\u0437\u0438\u0442 XML \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432 \u043f\u0430\u043c\u044f\u0442\u044c, \u0430 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0430\u0445 \u044d\u0442\u043e \u043c\u0435\u043d\u044f\u044e\u0442 \u043d\u0430 \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u044b\u0439 <code>iterparse<\/code>. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u2014 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u0432\u0441\u0435\u0433\u043e \u0441\u0430\u0439\u0442\u0430, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0437\u0430 \u043c\u0438\u043d\u0443\u0442\u044b, \u0430 \u043d\u0435 \u0437\u0430 \u0434\u0432\u043e\u0435 \u0441\u0443\u0442\u043e\u043a, \u0438 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043a \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d\u0443 \u0442\u044f\u0436\u0435\u043b\u0435\u0435 \u0441\u0430\u043c\u0438\u0445 \u043a\u0430\u0440\u0442.<\/p>\n<h3>\u041f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c URL \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442<\/h3>\n<p>\u0421\u043f\u0438\u0441\u043e\u043a URL \u2014 \u044d\u0442\u043e \u0435\u0449\u0451 \u043d\u0435 \u0430\u0443\u0434\u0438\u0442. \u0410\u0443\u0434\u0438\u0442 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 URL \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u043a\u043e\u0439 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0441 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439:<\/p>\n<pre><code>url, scheme, host, path, depth,seg_1, seg_2, seg_3, ...,query, has_query, trailing_slash,sitemap_source, lastmod,template_candidate, path_hash<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u0441\u043a\u0443\u0447\u043d\u0430\u044f, \u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0430\u044f \u0447\u0430\u0441\u0442\u044c. \u0415\u0441\u043b\u0438 \u0435\u0451 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c, \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0441\u0447\u0438\u0442\u0430\u0442\u044c <code>\/kupit\/kvartira<\/code> \u0438 <code>\/kupit\/kvartira\/<\/code> \u0437\u0430 \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u0438 \u0432\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043f\u043e\u0435\u0434\u0435\u0442.<\/p>\n<ul>\n<li>\n<p>\u0435\u0434\u0438\u043d\u044b\u0439 <code>host<\/code>, \u0431\u0435\u0437 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p><code>query<\/code> \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u043d\u0435 \u043f\u0440\u0438\u043a\u043b\u0435\u0435\u043d \u043a \u043f\u0443\u0442\u0438;<\/p>\n<\/li>\n<li>\n<p>percent-encoding \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d;<\/p>\n<\/li>\n<li>\n<p>trailing slash \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0432\u0438\u0434\u0443;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0443\u0442\u044c \u0440\u0430\u0437\u0431\u0438\u0442 \u043d\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b, \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0430;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0451\u043c \u2014 \u0441\u0432\u0435\u0441\u0442\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 URL \u043a <strong>\u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0443<\/strong>, \u0437\u0430\u043c\u0435\u043d\u0438\u0432 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u043d\u0430 \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440. \u041a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0438 \u0433\u0435\u043e-\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0441 \u0447\u0438\u0441\u043b\u043e\u0432\u044b\u043c\u0438 ID \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432:<\/p>\n<pre><code class=\"python\">import redef url_to_pattern(url: str, host: str) -&gt; str:    path = url.replace(host, \"\").strip(\"\/\")    out = []    for seg in path.split(\"\/\"):        # \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0439 id \u0438\u043b\u0438 slug, \u043e\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u043d\u0430 -NNNNN \u2192 \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440        if re.fullmatch(r\"\\d{5,}\", seg) or re.search(r\"-\\d{5,}$\", seg):            out.append(\"{id}\")        else:            out.append(seg)    return \"\/\" + \"\/\".join(out) + \"\/\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 URL \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u043e\u0431\u043e\u0437\u0440\u0438\u043c\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0441\u0430\u0439\u0442 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u2014 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0437\u0430\u0445\u043e\u0434\u0430 \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u0427\u041f\u0423 \u0440\u0435\u0448\u0430\u0435\u0442 \u0432\u0441\u0451<\/h3>\n<p>\u041c\u0435\u0442\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u043c \u0436\u0451\u0441\u0442\u043a\u043e\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u0438: <strong>URL \u043d\u0435\u0441\u0443\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443<\/strong>.<\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u2014 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u0430\u0434\u0440\u0435\u0441\u0430:<\/p>\n<pre><code>\/{geo}\/kupit\/kvartira\/odnokomnatnaya\/{\u0440\u0430\u0439\u043e\u043d}\/\/{geo}\/kupit\/novostrojka\/{\u0436\u043a}\/ipoteka\/\/{geo}\/snyat\/kvartira\/{\u0440\u0430\u0439\u043e\u043d}\/posutochno\/<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0422\u0430\u043a\u043e\u0439 URL \u0443\u0436\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0447\u0430\u0441\u0442\u044c \u0441\u043c\u044b\u0441\u043b\u0430: \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 (\u043a\u0443\u043f\u0438\u0442\u044c\/\u0441\u043d\u044f\u0442\u044c), \u0442\u0438\u043f \u043e\u0431\u044a\u0435\u043a\u0442\u0430, \u043a\u043e\u043c\u043d\u0430\u0442\u043d\u043e\u0441\u0442\u044c, \u0440\u044b\u043d\u043e\u043a, \u0444\u0438\u043b\u044c\u0442\u0440, \u0433\u0435\u043e. \u042f \u043c\u043e\u0433\u0443 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u0430\u0439\u0442 \u043d\u0430 \u0442\u0438\u043f\u044b \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u043d\u0435 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044f \u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445.<\/p>\n<p>\u041f\u043b\u043e\u0445\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u2014 \u0430\u0434\u0440\u0435\u0441\u0430 \u0432\u0438\u0434\u0430:<\/p>\n<pre><code>\/item\/9283719283\/\/search\/?x=abc&amp;y=123\/p?id=918273<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c sitemap \u0434\u0430\u0451\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c, \u043d\u043e \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u0422\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0434\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0441\u043c\u044b\u0441\u043b \u0438\u0437 HTML, API, \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0438\u043b\u0438 \u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0430\u0443\u043b\u0430. \u042d\u0442\u043e \u0447\u0435\u0441\u0442\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u0435\u0442\u043e\u0434\u0430, \u0438 \u043e \u043d\u0435\u0439 \u043d\u0430\u0434\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u044f\u043c\u043e:<\/p>\n<blockquote>\n<p>Sitemap-first \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0427\u041f\u0423 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b. \u041d\u0435\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0441\u043b\u0430\u0433\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0432 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044c URL \u0431\u0435\u0437 \u0438\u043d\u0442\u0435\u043d\u0442\u043e\u0432.<\/p>\n<\/blockquote>\n<p>\u041c\u043d\u0435 \u043f\u043e\u0432\u0435\u0437\u043b\u043e: \u043d\u0430 \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u0441\u043b\u0430\u0433\u0438 \u0431\u044b\u043b\u0438 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u043d\u044b \u0438 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b. \u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u0440\u0430\u0437\u0431\u043e\u0440 \u044d\u0442\u0438\u0445 \u0441\u043b\u0430\u0433\u043e\u0432.<\/p>\n<h3>Slug mining: \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c URL \u043d\u0430 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u0430\u0442\u043e\u043c\u044b<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f04\/2c6\/981\/f042c6981c3036c26e734ca1403ac0e6.png\" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/f04\/2c6\/981\/f042c6981c3036c26e734ca1403ac0e6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f04\/2c6\/981\/f042c6981c3036c26e734ca1403ac0e6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>Slug mining \u2014 \u044d\u0442\u043e \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0445 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432 \u0438\u0437 \u0441\u0442\u0440\u043e\u043a URL. \u042f \u0441\u043c\u043e\u0442\u0440\u044e \u043d\u0430 \u0430\u0434\u0440\u0435\u0441 \u043d\u0435 \u043a\u0430\u043a \u043d\u0430 \u043f\u0443\u0442\u044c \u043a \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0443, \u0430 \u043a\u0430\u043a \u043d\u0430 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c \u0441 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430\u043c\u0438.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u2014 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c. \u0411\u0435\u0440\u0451\u043c \u0432\u0441\u0435 \u043f\u0443\u0442\u0438, \u0440\u0435\u0436\u0435\u043c \u043d\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b, \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e, \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044f \u0447\u0438\u0441\u043b\u043e\u0432\u044b\u0435 ID:<\/p>\n<pre><code class=\"python\">from collections import Counterseg_counts = Counter()for url in all_urls:    path = url.replace(HOST, \"\").strip(\"\/\")    for seg in path.split(\"\/\"):        if seg and not re.fullmatch(r\"\\d+\", seg) and not re.search(r\"-\\d{5,}$\", seg):            seg_counts[seg] += 1<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0430\u0442\u0435\u043c \u2014 \u0438 \u044d\u0442\u043e \u0441\u0430\u043c\u0430\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u2014 \u043a\u0430\u0436\u0434\u044b\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u043c \u0433\u0440\u0443\u043f\u043f\u0430\u043c. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438 \u0435\u0441\u0442\u044c \u043a\u0430\u0440\u0442\u0430 \u043e\u0441\u0435\u0439 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0441\u0430\u0439\u0442\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u043c\u044b\u0441\u043b\u043e\u0432\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>kupit<\/code>, <code>snyat<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0422\u0438\u043f \u043e\u0431\u044a\u0435\u043a\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>kvartira<\/code>, <code>novostrojka<\/code>, <code>dom<\/code>, <code>uchastok<\/code>, <code>komnata<\/code>, <code>garazh<\/code>, <code>kommercheskaya-nedvizhimost<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u043e\u043c\u043d\u0430\u0442\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>studiya<\/code>, <code>odnokomnatnaya<\/code>, <code>dvuhkomnatnaya<\/code>, <code>tryohkomnatnaya<\/code>, <code>4-i-bolee<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0420\u044b\u043d\u043e\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>vtorichniy-rynok<\/code>, <code>novostroyki<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0423\u0441\u043b\u043e\u0432\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>v-ipoteku<\/code>, <code>semeynaya-ipoteka<\/code>, <code>it-ipoteka<\/code>, <code>s-matkapitalom<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0442\u0434\u0435\u043b\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>s-remontom<\/code>, <code>s-otdelkoy<\/code>, <code>pod-kluch<\/code>, <code>chistovaya-otdelka<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0422\u0438\u043f \u0434\u043e\u043c\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>kirpich<\/code>, <code>monolit<\/code>, <code>panel<\/code>, <code>v-pyatietazhnom-dome<\/code>, <code>khrushevskiy<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u043b\u0430\u0441\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>ekonom-klass<\/code>, <code>komfort-klass<\/code>, <code>biznes-klass<\/code>, <code>elit-premium-klass<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0423\u0434\u043e\u0431\u0441\u0442\u0432\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>s-balkonom<\/code>, <code>s-mebeliu<\/code>, <code>s-panoramnymi-oknami<\/code>, <code>evroplanirovka<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0413\u0435\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>street<\/code>, <code>railway<\/code>, <code>district<\/code>, <code>{\u0440\u0430\u0439\u043e\u043d}<\/code><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043a\u0430\u0436\u0434\u043e\u043c\u0443 URL-\u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0443 \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0442\u0438\u043f: <code>category<\/code>, <code>subcategory<\/code>, <code>geo_category<\/code>, <code>filtered_listing<\/code>, <code>brand_listing<\/code>, <code>object_card<\/code>, <code>static<\/code>, <code>pagination<\/code>, <code>garbage<\/code>. \u042d\u0442\u043e \u0440\u0430\u0431\u043e\u0447\u0430\u044f \u0442\u0438\u043f\u0438\u0437\u0430\u0446\u0438\u044f, \u043d\u0435 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0433\u043e\u0432\u043e\u0440. \u0415\u0451 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u0434\u0430\u0442\u044c \u043a\u0430\u0440\u0442\u0443 \u043c\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u043e\u0432.<\/p>\n<p>\u0418 \u0443\u0436\u0435 \u0437\u0434\u0435\u0441\u044c \u0432\u0438\u0434\u043d\u043e \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432: \u0442\u0438\u043f\u043e\u0432 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u2014 \u0435\u0434\u0438\u043d\u0438\u0446\u044b-\u0434\u0435\u0441\u044f\u0442\u043a\u0438, \u0430 \u0438\u043d\u0441\u0442\u0430\u043d\u0441\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u2014 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0438 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043b\u044e\u0431\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u043f\u043e URL, \u0430 \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0443. \u041f\u0440\u0430\u0432\u043a\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u0435\u0441\u044c \u043a\u043b\u0430\u0441\u0441 \u0441\u0440\u0430\u0437\u0443.<\/p>\n<h3>\u0410\u043d\u0430\u043b\u0438\u0437 \u0434\u0443\u0431\u043b\u0435\u0439 \u043f\u043e \u0427\u041f\u0423: \u043f\u0435\u0440\u0432\u044b\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b \u043d\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0435 \u0432 robots<\/h3>\n<p>\u0414\u043e \u0432\u0441\u044f\u043a\u043e\u0439 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0438 \u0438\u0437 \u0447\u0438\u0441\u0442\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b URL \u0443\u0436\u0435 \u0432\u044b\u043b\u0435\u0437\u0430\u044e\u0442 \u0434\u0443\u0431\u043b\u0438. \u0418\u0445 \u0432\u0438\u0434\u043d\u043e \u043f\u043e \u0444\u043e\u0440\u043c\u0435 \u0441\u043b\u0430\u0433\u0430 \u2014 \u0438 \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u043d\u0443\u0436\u043d\u043e \u0433\u0430\u0441\u0438\u0442\u044c, \u043d\u0435 \u0434\u043e\u0436\u0438\u0434\u0430\u044f\u0441\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440\u0430.<\/p>\n<p>\u042f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u044e \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u0447\u0435\u0440\u0435\u0437 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0434\u0443\u0431\u043b\u0435\u0439. \u041b\u043e\u0433\u0438\u043a\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f: \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u0443\u0442\u044c \u0434\u0443\u0431\u043b\u044f \u0441 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c \u043a\u0430\u043d\u043e\u043d\u0438\u043a\u043e\u043c \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0438 \u043d\u0430 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<pre><code class=\"python\">def classify_dup(url: str, target: str) -&gt; str:    if \"?\" in url and re.search(r\"[?&amp;](utm_|ybaip|sort)\", url):        return \"GET-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b: \u0442\u0440\u0435\u043a\u0438\u043d\u0433\/\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430\"        # \u2192 robots Disallow    up = url.replace(HOST, \"\").strip(\"\/\")    tp = (target or \"\").replace(HOST, \"\").strip(\"\/\")    if not tp:        return \"\u041b\u0438\u0441\u0442\u0438\u043d\u0433: \u043d\u0435\u0442 canonical\"                   # \u2192 \u043f\u0440\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c canonical    if tp != up and up.startswith(tp):        return \"\u041b\u0438\u0441\u0442\u0438\u043d\u0433: \u0434\u0443\u0431\u043b\u044c \u0441 \u043b\u0438\u0448\u043d\u0438\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u043c\"         # \u2192 canonical \u043d\u0430 target    if tp != up and tp.startswith(up):        return \"\u041b\u0438\u0441\u0442\u0438\u043d\u0433: canonical \u0433\u043b\u0443\u0431\u0436\u0435 \u0434\u0443\u0431\u043b\u044f\"           # \u2192 \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043b\u043e\u0433\u0438\u043a\u0443 \u0448\u0430\u0431\u043b\u043e\u043d\u0430    return \"\u041b\u0438\u0441\u0442\u0438\u043d\u0433: \u043a\u0430\u043d\u043d\u0438\u0431\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\"              # \u2192 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0444\u0438\u043b\u044c\u0442\u0440 \u043f\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0443<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u0438\u043f\u0443 \u2014 \u0441\u0432\u043e\u0451 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435. \u0417\u0434\u0435\u0441\u044c robots.txt \u0431\u0435\u0440\u0451\u0442 \u043d\u0430 \u0441\u0435\u0431\u044f \u0440\u043e\u0432\u043d\u043e \u0442\u0443 \u0447\u0430\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0435\u043b\u044c\u0437\u044f \u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u043a\u0430\u043d\u043e\u043d\u0438\u043a\u043e\u043c:<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a5f\/ac5\/e99\/a5fac5e99cca93f4fd7ea505c8d9b876.png\" width=\"1448\" height=\"1086\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a5f\/ac5\/e99\/a5fac5e99cca93f4fd7ea505c8d9b876.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a5f\/ac5\/e99\/a5fac5e99cca93f4fd7ea505c8d9b876.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0422\u0438\u043f \u0434\u0443\u0431\u043b\u044f \u043f\u043e \u0427\u041f\u0423<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GET-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b: \u0442\u0440\u0435\u043a\u0438\u043d\u0433, \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430, \u0444\u0430\u0441\u0435\u0442\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0443\u0431\u0440\u0430\u0442\u044c \u0438\u0437 \u043e\u0431\u0445\u043e\u0434\u0430 \u0442\u043e\u0447\u0435\u0447\u043d\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>robots.txt<\/code> \u2192 <code>Disallow<\/code> \u043f\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c (\u0441\u043c. \u043d\u0438\u0436\u0435)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b (\u043f\u043b\u0435\u0435\u0440\u044b, webview, embed)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0443\u0431\u0440\u0430\u0442\u044c \u0438\u0437 \u0438\u043d\u0434\u0435\u043a\u0441\u0430, \u0437\u0430\u0442\u0435\u043c \u0438\u0437 \u043e\u0431\u0445\u043e\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043d\u0430\u0447\u0430\u043b\u0430 <code>noindex<\/code>\/410, \u043f\u043e\u0441\u043b\u0435 \u0434\u0435\u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u2014 <code>Disallow<\/code> \u0432 robots<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041b\u0438\u0441\u0442\u0438\u043d\u0433 \u0441 \u043b\u0438\u0448\u043d\u0438\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u043c \u043f\u0443\u0442\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043a\u043b\u0435\u0438\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>canonical<\/code> \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 URL<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u0430\u043d\u043d\u0438\u0431\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0433\u043b\u0430\u0432\u043d\u044b\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>canonical<\/code> \u043d\u0430 \u0444\u0438\u043b\u044c\u0442\u0440 \u0441 \u0442\u0440\u0430\u0444\u0438\u043a\u043e\u043c, \u043b\u0438\u0431\u043e \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c Title\/H1\/\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0423\u0441\u0442\u0430\u0440\u0435\u0432\u0448\u0438\u0439 ID \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b\/\u0431\u0440\u0435\u043d\u0434\u0430 \u0432 \u0441\u043b\u0430\u0433\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u0432\u0435\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>301<\/code> \u043d\u0430 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 slug + \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0438\u0437 sitemap<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u044f \u0434\u0435\u0440\u0436\u0443 \u0436\u0435\u043b\u0435\u0437\u043d\u043e: <strong>robots.txt \u2014 \u043f\u0440\u043e\u0442\u0438\u0432 \u043e\u0431\u0445\u043e\u0434\u0430, canonical \u0438 noindex \u2014 \u043f\u0440\u043e\u0442\u0438\u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438<\/strong>. \u0418\u0445 \u043f\u0443\u0442\u0430\u044e\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e, \u0438 \u043f\u0443\u0442\u0430\u043d\u0438\u0446\u0430 \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0440\u043e\u0433\u043e. \u0417\u0430\u043a\u0440\u044b\u0442\u044c \u0444\u0430\u0441\u0435\u0442\u044b <code>Disallow<\/code> \u0432 robots \u2014 \u044d\u0442\u043e \u043f\u0440\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044e crawl budget: \u0431\u043e\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0445\u043e\u0434\u0438\u0442 \u0432 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043b\u043e\u0439. \u041d\u043e <code>Disallow<\/code> \u043d\u0435 \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u0442 \u0438\u0437 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0442\u043e, \u0447\u0442\u043e \u0442\u0443\u0434\u0430 \u0443\u0436\u0435 \u043f\u043e\u043f\u0430\u043b\u043e \u043f\u043e \u0432\u043d\u0435\u0448\u043d\u0438\u043c \u0441\u0441\u044b\u043b\u043a\u0430\u043c. \u0425\u0443\u0436\u0435 \u0442\u043e\u0433\u043e: \u0435\u0441\u043b\u0438 URL \u0437\u0430\u043a\u0440\u044b\u0442 \u0432 robots, Google \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0439\u0442\u0438 \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0438 <strong>\u043d\u0435 \u0443\u0432\u0438\u0434\u0438\u0442<\/strong> \u0442\u0430\u043c <code>meta noindex<\/code> \u2014 \u0442\u043e \u0435\u0441\u0442\u044c \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0435 \u0432 robots \u043c\u043e\u0436\u0435\u0442, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0437\u0430\u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0443\u0441\u043e\u0440 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435. Google \u044d\u0442\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u044f\u043c\u043e: robots.txt \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u043e\u043c \u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0430 \u0438 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438\u0437 \u0438\u043d\u0434\u0435\u043a\u0441\u0430.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 URL \u0432 \u043f\u043b\u0430\u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u043d\u0435 \u00ab\u0437\u0430\u043a\u0440\u044b\u0442\u044c\u00bb, \u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0439<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">URL \u0443\u0436\u0435 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u0438 \u0435\u0433\u043e \u043d\u0430\u0434\u043e \u0443\u0431\u0440\u0430\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0430\u0442\u044c \u0431\u043e\u0442\u0443 \u0443\u0432\u0438\u0434\u0435\u0442\u044c <code>noindex<\/code> \/ \u0432\u0435\u0440\u043d\u0443\u0442\u044c 404\/410 \/ canonical \u2014 <strong>\u043d\u0435<\/strong> \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0432 robots<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043b\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>Disallow<\/code> \u0432 robots \u2014 \u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438, \u0447\u0442\u043e \u0442\u0430\u043c \u043d\u0435\u0442 \u0446\u0435\u043d\u043d\u044b\u0445 \u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u0443\u0435\u043c\u044b\u0445 URL<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u0443\u0431\u043b\u0438 \u0441 \u0432\u043d\u0435\u0448\u043d\u0438\u043c\u0438 \u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>canonical<\/code>\/<code>301<\/code>, \u0430 \u043d\u0435 robots<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0443\u0441\u043e\u0440 \u0431\u0435\u0437 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0441\u0441\u044b\u043b\u043e\u043a \u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>Disallow<\/code> \u0432 robots \u0434\u043b\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438 \u043e\u0431\u0445\u043e\u0434\u0430 \u2014 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u0441\u0440\u0430\u0437\u0443<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><code>Disallow<\/code> \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u044f \u0434\u0435\u0440\u0436\u0443 \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u043c, \u0430 \u043d\u0435 \u043a\u043e\u0432\u0440\u043e\u0432\u044b\u043c:<\/p>\n<pre><code># \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0446\u0435\u043f\u0442, \u0430 \u043f\u0440\u0438\u043c\u0435\u0440 \u041f\u041e\u0421\u041b\u0415 allowlist\/indexability-\u0430\u0443\u0434\u0438\u0442\u0430Disallow: \/*?utm_Disallow: \/*?sort=Disallow: \/*?view=Disallow: \/*?session=<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0413\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0435 <code>Disallow: \/*?<\/code> \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438, \u0447\u0442\u043e \u0432 query-\u0441\u043b\u043e\u0435 \u043d\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0445 \u0441\u043e \u0441\u043f\u0440\u043e\u0441\u043e\u043c. \u041d\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0430\u0439\u0434\u0435 \u0447\u0430\u0441\u0442\u044c \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432 \u0432\u043f\u043e\u043b\u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0436\u0438\u0442\u044c \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u0438 \u043f\u0440\u0438\u043d\u043e\u0441\u0438\u0442\u044c \u0442\u0440\u0430\u0444\u0438\u043a \u2014 \u043a\u043e\u0432\u0440\u043e\u0432\u043e\u0435 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0435 \u0443\u0431\u044c\u0451\u0442 \u0438\u0445 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043c\u0443\u0441\u043e\u0440\u043e\u043c.<\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438 \u0434\u0443\u0431\u043b\u044c-\u0441\u043b\u043e\u0439 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0441\u0430\u0439\u0442\u0435 \u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0435 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0438 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447 URL, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u043e\u0442 \u043b\u0438\u0441\u0442\u0430\u0435\u0442 \u0432\u0445\u043e\u043b\u043e\u0441\u0442\u0443\u044e. \u0418\u0445 \u043c\u043e\u0436\u043d\u043e \u0443\u0431\u0440\u0430\u0442\u044c \u0438\u0437 \u043e\u0431\u0445\u043e\u0434\u0430 \u0435\u0449\u0451 \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0443 \u0432\u0430\u0441 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043b\u043e\u0433\u0430\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u043b\u044f \u0434\u0438\u0430\u0433\u043d\u043e\u0437\u0430 \u00ab\u044d\u0442\u043e \u0444\u0430\u0441\u0435\u0442\u043d\u044b\u0439 \u043c\u0443\u0441\u043e\u0440\u00bb \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0444\u043e\u0440\u043c\u044b \u0441\u0430\u043c\u043e\u0433\u043e URL.<\/p>\n<h3>\u0421\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0430 \u043f\u043e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430\u043c, \u0430 \u043d\u0435 \u043f\u043e \u0441\u0430\u0439\u0442\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c<\/h3>\n<p>\u00ab\u0421\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443 \u043f\u043e \u043d\u0438\u0448\u0435\u00bb \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0441\u0430\u0439\u0442\u0435 \u2014 \u0437\u0430\u0434\u0430\u0447\u0430 \u0431\u0435\u0437 \u0434\u043d\u0430. \u042f \u0438\u0434\u0443 \u043e\u0442 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432 URL, \u0430 \u043d\u0435 \u043e\u0442 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u043e\u0433\u043e \u044f\u0434\u0440\u0430.<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0430\u0431\u043e\u0440 seed-\u0444\u0440\u0430\u0437 \u0441 \u043f\u043e\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445:<\/p>\n<pre><code>\/{geo}\/kupit\/kvartira\/                    \u2192 \"\u043a\u0443\u043f\u0438\u0442\u044c \u043a\u0432\u0430\u0440\u0442\u0438\u0440\u0443 {\u0433\u043e\u0440\u043e\u0434}\"\/{geo}\/kupit\/kvartira\/odnokomnatnaya\/     \u2192 \"\u043a\u0443\u043f\u0438\u0442\u044c 1-\u043a\u043e\u043c\u043d\u0430\u0442\u043d\u0443\u044e \u043a\u0432\u0430\u0440\u0442\u0438\u0440\u0443 {\u0433\u043e\u0440\u043e\u0434}\"\/{geo}\/kupit\/kvartira\/{\u0440\u0430\u0439\u043e\u043d}\/            \u2192 \"\u043a\u0443\u043f\u0438\u0442\u044c \u043a\u0432\u0430\u0440\u0442\u0438\u0440\u0443 {\u0440\u0430\u0439\u043e\u043d} {\u0433\u043e\u0440\u043e\u0434}\"\/{geo}\/snyat\/kvartira\/{\u0440\u0430\u0439\u043e\u043d}\/posutochno\/ \u2192 \"\u0441\u043d\u044f\u0442\u044c \u043a\u0432\u0430\u0440\u0442\u0438\u0440\u0443 \u043f\u043e\u0441\u0443\u0442\u043e\u0447\u043d\u043e {\u0440\u0430\u0439\u043e\u043d} {\u0433\u043e\u0440\u043e\u0434}\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0438\u0434\u0443 \u0432 <a href=\"http:\/\/keys.so\" rel=\"noopener noreferrer nofollow\">keys.so<\/a> (\u0438\u043b\u0438 \u0430\u043d\u0430\u043b\u043e\u0433) \u0438 \u0441\u043d\u0438\u043c\u0430\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0445\u0430\u043e\u0442\u0438\u0447\u043d\u043e, \u0430 \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430\u043c. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443, \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043e\u043a, \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0435 \u0438 \u0433\u0435\u043e-\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b, \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u044b, \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432 \u0432 \u0442\u043e\u043f\u0435 \u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u044c, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0431\u043e\u0440\u0449\u0438\u043a\u0438: <strong>\u043d\u0430\u0440\u043e\u0434\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u043f\u0440\u043e\u0442\u0438\u0432 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u043b\u0430\u0433\u0430<\/strong>. \u0421\u0430\u0439\u0442 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b \u0442\u0430\u043a, \u043a\u0430\u043a \u0443\u0434\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0443, \u0430 \u0441\u043f\u0440\u043e\u0441 \u0436\u0438\u0432\u0451\u0442 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u043c\u0430\u0442\u0447\u0438\u043d\u0433\u0435 \u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443, \u0441\u043d\u0438\u043c\u0430\u044e \u0433\u0435\u043e \u0438\u0437 \u0444\u0440\u0430\u0437\u044b \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u044b:<\/p>\n<pre><code class=\"python\">SYNONYMS = {    \"\u0432\u0442\u043e\u0440\u0438\u0447\u043d\u044b\u0439 \u0440\u044b\u043d\u043e\u043a\": [\"\u0432\u0442\u043e\u0440\u0438\u0447\u043a\u0430\", \"\u0432\u0442\u043e\u0440\u0438\u0447\u043d\u043e\u0435 \u0436\u0438\u043b\u044c\u0435\"],    \"1-\u043a\u043e\u043c\u043d\u0430\u0442\u043d\u0443\u044e\":     [\"\u043e\u0434\u043d\u043e\u043a\u043e\u043c\u043d\u0430\u0442\u043d\u0443\u044e\", \"1 \u043a\u043e\u043c\u043d\u0430\u0442\u043d\u0443\u044e\"],    \"\u0435\u0432\u0440\u043e\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u043a\u0430\":  [\"\u0435\u0432\u0440\u043e\u0434\u0432\u0443\u0448\u043a\u0430\"],    \"\u0440\u044f\u0434\u043e\u043c \u0441 \u043c\u0435\u0442\u0440\u043e\":   [\"\u0443 \u043c\u0435\u0442\u0440\u043e\", \"\u043e\u043a\u043e\u043b\u043e \u043c\u0435\u0442\u0440\u043e\"],}# \u0444\u0440\u0430\u0437\u0443-\u0441\u043f\u0440\u043e\u0441 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u0446\u0438\u0440\u0443\u0435\u043c \u043f\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0435 (\u0431\u0435\u0437 \u0433\u043e\u0440\u043e\u0434\u0430),# \u0431\u0435\u0440\u0451\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443, \u043e\u0442\u0441\u0435\u043a\u0430\u0435\u043c \u0445\u0432\u043e\u0441\u0442 &lt; \u043f\u043e\u0440\u043e\u0433\u0430<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0418 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u2014 \u0444\u0438\u043b\u044c\u0442\u0440 \u0448\u0443\u043c\u0430, \u0431\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0441\u043f\u0440\u043e\u0441\u0430 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u043c\u043e\u0439\u043a\u0443. \u0412 \u043e\u0442\u0441\u0435\u0432 \u0438\u0434\u0443\u0442:<\/p>\n<ul>\n<li>\n<p>\u0431\u0440\u0435\u043d\u0434\u044b \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432 \u0438 \u0437\u0430\u0441\u0442\u0440\u043e\u0439\u0449\u0438\u043a\u043e\u0432 (\u0431\u0440\u0435\u043d\u0434\u043e\u0432\u044b\u0439 \u0442\u0440\u0430\u0444\u0438\u043a \u043d\u0435 \u0434\u0430\u0441\u0442 \u0432\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0431\u0435\u0437 \u0431\u0440\u0435\u043d\u0434\u0430);<\/p>\n<\/li>\n<li>\n<p>\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b (\u00ab\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u043e\u0438\u0442\u00bb, \u00ab\u043a\u0430\u043a \u0432\u044b\u0431\u0440\u0430\u0442\u044c\u00bb) \u2014 \u044d\u0442\u043e \u0441\u0442\u0430\u0442\u044c\u0438 \u0436\u0443\u0440\u043d\u0430\u043b\u0430, \u043d\u0435 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0435;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0431\u0440\u0435\u0437\u043a\u0438 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430: \u0444\u0440\u0430\u0437\u044b, \u043e\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0435\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0433;<\/p>\n<\/li>\n<li>\n<p>\u0444\u0440\u0430\u0437\u044b \u0441 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u043c\u0438 \u0431\u0443\u043a\u0432\u0430\u043c\u0438 \u0438 \u0446\u0438\u0444\u0440\u0430\u043c\u0438-\u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u0430\u043c\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043e\u0431\u0449\u0438\u0435 \u0444\u0440\u0430\u0437\u044b \u043a\u043e\u0440\u043e\u0447\u0435 \u0434\u0432\u0443\u0445 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0445 \u0441\u043b\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043d\u0430\u0445\u043e\u0434\u043a\u0430: \u043f\u0443\u0441\u0442\u044b\u0435 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0435 \u0432 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445<\/h3>\n<p>\u041c\u0430\u0442\u0447\u0438\u043d\u0433 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044f \u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u0434\u0430\u0451\u0442 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0430\u0443\u0434\u0438\u0442\u0430:<\/p>\n<pre><code>url_pattern, url_count, slug_tokens, query_cluster, frequency, geo_frequency, commerciality, competitors_present, current_template, decision<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u0432\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e, \u0440\u0430\u0434\u0438 \u0447\u0435\u0433\u043e \u0432\u0441\u0451 \u0437\u0430\u0442\u0435\u0432\u0430\u043b\u043e\u0441\u044c, \u2014 \u043f\u0443\u0441\u0442\u044b\u0435 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0435. \u041f\u0443\u0441\u0442\u0430\u044f \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u0430\u044f \u2014 \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u0431\u0435\u0437 \u0442\u0435\u043a\u0441\u0442\u0430. \u042d\u0442\u043e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u0431\u0435\u0437 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>\u043d\u0435\u0442 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043d\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0438 \u043e\u0434\u0438\u043d \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442 \u043d\u0435 \u0434\u0435\u0440\u0436\u0438\u0442 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0443\u044e \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u0443\u044e;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435\u0442 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 URL \u0438 \u0448\u0430\u0431\u043b\u043e\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043d\u0442, \u0433\u0434\u0435 Title \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0430\u0439\u0434\u0435 \u0442\u0430\u043a\u0438\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0440\u043e\u0436\u0434\u0430\u044e\u0442\u0441\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0442\u043e\u0440\u043d\u043e: \u043a\u0430\u0436\u0434\u0430\u044f \u043e\u0441\u044c \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0433\u0435\u043e \u0438 \u043d\u0430 \u043a\u043e\u043c\u043d\u0430\u0442\u043d\u043e\u0441\u0442\u044c, \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 URL \u043c\u0435\u0445\u0430\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u0451\u0442 <code>\u043a\u0443\u043f\u0438\u0442\u044c 4-\u043a\u043e\u043c\u043d\u0430\u0442\u043d\u0443\u044e \u043a\u0432\u0430\u0440\u0442\u0438\u0440\u0443 \u0432 \u0431\u0440\u0435\u0436\u043d\u0435\u0432\u043a\u0435 \u0441 \u043f\u0430\u043d\u043e\u0440\u0430\u043c\u043d\u044b\u043c\u0438 \u043e\u043a\u043d\u0430\u043c\u0438 \u0440\u044f\u0434\u043e\u043c \u0441 \u043e\u0437\u0435\u0440\u043e\u043c \u0432 {\u0434\u0435\u0440\u0435\u0432\u043d\u044f}<\/code>. URL \u0432\u0430\u043b\u0438\u0434\u0435\u043d. \u0421\u043f\u0440\u043e\u0441\u0430 \u2014 \u043d\u043e\u043b\u044c. \u0418 \u0442\u0430\u043a\u0438\u0445 \u2014 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447.<\/p>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u0438\u0447\u0438\u043d\u044b, \u0438 \u0435\u0433\u043e \u0443\u0434\u043e\u0431\u043d\u043e \u0441\u0432\u0435\u0441\u0442\u0438 \u043a \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0441\u0442\u0430\u0442\u0443\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0442\u0434\u0430\u0451\u0448\u044c \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0442\u0430\u0442\u0443\u0441<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0423\u0441\u043b\u043e\u0432\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0435\u0448\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>has_demand<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0435\u0441\u0442\u044c \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0438 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0441\u0442\u0438\u0442\u044c: \u0443\u0441\u0438\u043b\u0438\u0442\u044c \u0448\u0430\u0431\u043b\u043e\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>weak_demand<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u043d\u0430 \u0433\u0440\u0430\u043d\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c, \u043d\u0435 \u043f\u043b\u043e\u0434\u0438\u0442\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>rename<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043f\u0440\u043e\u0441 \u0436\u0438\u0432\u0451\u0442 \u0432 \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u0442\u044c slug + 301<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>no_demand + duplicate<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435\u0442 \u0441\u043f\u0440\u043e\u0441\u0430, \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u0435\u0442 \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>canonical<\/code> \/ <code>301<\/code> \/ merge<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>no_demand + garbage<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435\u0442 \u0441\u043f\u0440\u043e\u0441\u0430, \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0445\u0432\u043e\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0443\u0431\u0440\u0430\u0442\u044c \u0438\u0437 sitemap, <code>noindex<\/code>\/<code>Disallow<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>demand + weak_page<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043f\u0440\u043e\u0441 \u0435\u0441\u0442\u044c, \u0448\u0430\u0431\u043b\u043e\u043d \u0441\u043b\u0430\u0431\u0435\u0435 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u0417 \u043d\u0430 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0442\u0438\u043f\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>demand + JS_only<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u043d\u0435 \u043e\u0442\u0434\u0430\u0451\u0442\u0441\u044f \u0431\u0435\u0437 JS<\/p>\n<\/td>\n<td>\n<p align=\"left\">SSR\/prerender \u0434\u043b\u044f SEO-\u0431\u043b\u043e\u043a\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0430\u0443\u0434\u0438\u0442\u0430 \u2014 \u043d\u0435 \u0441\u043f\u0438\u0441\u043e\u043a \u0438\u0437 \u0441\u043e\u0442\u0435\u043d \u0442\u044b\u0441\u044f\u0447 URL. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u2014 <strong>\u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 URL<\/strong>. \u042d\u0442\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u043e\u0441\u0442\u0438 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442.<\/p>\n<h3>On-page: \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0442\u0438\u043f\u044b \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u0430 \u043d\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043c\u0430\u0442\u0447\u0438\u043d\u0433\u0430 \u0441\u043f\u0440\u043e\u0441\u0430 \u044f \u0431\u0435\u0440\u0443 \u043d\u0435 \u0432\u0441\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u0430 \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443: \u043f\u043e 10\u201320 URL \u0438\u0437 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u0440\u0443\u043f\u043d\u043e\u0433\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u0430, \u043f\u043b\u044e\u0441 \u043f\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0438 \u2014 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u0440\u043e\u0441 \u043f\u0440\u0438 \u0441\u043b\u0430\u0431\u043e\u0439 \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u0433\u0435\u043e \u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438, \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043d\u043e \u043d\u0435 \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u044e\u0442\u0441\u044f.<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e \u0441 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430\u043c\u0438 \u043f\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0443 \u0431\u043b\u043e\u043a\u043e\u0432: Title \u0438 H1 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043e\u043f\u0438\u0441\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 FAQ, \u0444\u0438\u043b\u044c\u0442\u0440\u044b, \u0445\u043b\u0435\u0431\u043d\u044b\u0435 \u043a\u0440\u043e\u0448\u043a\u0438, \u043b\u0438\u0441\u0442\u0438\u043d\u0433 \u0438 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438, \u043c\u0438\u043a\u0440\u043e\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430, \u0431\u043b\u043e\u043a\u0438 \u043f\u0435\u0440\u0435\u043b\u0438\u043d\u043a\u043e\u0432\u043a\u0438 \u043f\u043e \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u043c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f\u043c \/ \u0433\u0435\u043e \/ \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430\u043c, \u0447\u0438\u0441\u043b\u043e \u0438 \u0430\u043d\u043a\u043e\u0440\u044b \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0441\u0441\u044b\u043b\u043e\u043a, \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043f\u0430\u0433\u0438\u043d\u0430\u0446\u0438\u0438, canonical, soft 404, \u043f\u0443\u0441\u0442\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<\/p>\n<p>\u0412\u044b\u0432\u043e\u0434 \u044d\u0442\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u2014 \u043d\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u043f\u043e URL, \u0430 \u0422\u0417 \u043d\u0430 \u0448\u0430\u0431\u043b\u043e\u043d:<\/p>\n<blockquote>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u0448\u0430\u0431\u043b\u043e\u043d \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447 URL, \u043f\u0440\u0430\u0432\u043a\u0430 \u0448\u0430\u0431\u043b\u043e\u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u0430\u043d\u0438\u0446. \u0417\u0430\u0434\u0430\u0447\u0430 SEO \u0437\u0434\u0435\u0441\u044c \u2014 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u043c\u0435\u043d\u044f\u0442\u044c \u0438 \u043f\u043e\u0447\u0435\u043c\u0443, \u0430 \u043d\u0435 \u043f\u0438\u0441\u0430\u0442\u044c \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b.<\/p>\n<\/blockquote>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043e\u043a \u0422\u0417, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0445\u043e\u0434\u044f\u0442 \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443:<\/p>\n<pre><code>TZ-01  \u0443\u0441\u0438\u043b\u0438\u0442\u044c \u0448\u0430\u0431\u043b\u043e\u043d geo-category: \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432\u0432\u043e\u0434\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 + FAQ \u0438\u0437 \u0441\u043f\u0440\u043e\u0441\u0430TZ-02  \u0431\u043b\u043e\u043a \u00ab\u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u0440\u0430\u0439\u043e\u043d\u044b\u00bb \u0432 \u043b\u0438\u0441\u0442\u0438\u043d\u0433\u0435 \u2192 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u043f\u0435\u0440\u0435\u043b\u0438\u043d\u043a\u043e\u0432\u043a\u0430 \u043f\u043e \u0433\u0435\u043eTZ-03  \u0431\u043b\u043e\u043a \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432 (\u043a\u043e\u043c\u043d\u0430\u0442\u043d\u043e\u0441\u0442\u044c \u00d7 \u0440\u044b\u043d\u043e\u043a \u00d7 \u043e\u0442\u0434\u0435\u043b\u043a\u0430)TZ-04  \u043f\u0440\u0430\u0432\u0438\u043b\u0430 canonical\/noindex \u0434\u043b\u044f \u0441\u043b\u0430\u0431\u044b\u0445 \u0444\u0430\u0441\u0435\u0442\u043e\u0432TZ-05  \u0432\u044b\u043d\u0435\u0441\u0442\u0438 SEO-\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u043b\u0438\u0441\u0442\u0438\u043d\u0433\u0430 \u0432 server-side HTML<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h3>\u0420\u0435\u043d\u0434\u0435\u0440\u0438\u043d\u0433: \u0447\u0442\u043e \u0431\u043e\u0442 \u0432\u0438\u0434\u0438\u0442 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435<\/h3>\n<p>\u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 URL \u0435\u0441\u0442\u044c, \u0441\u043f\u0440\u043e\u0441 \u0435\u0441\u0442\u044c \u0438 \u0448\u0430\u0431\u043b\u043e\u043d \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e, \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0431\u043e\u0442 \u043c\u043e\u0436\u0435\u0442 \u0432\u0438\u0434\u0435\u0442\u044c \u0434\u0440\u0443\u0433\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u043d\u0434\u0435\u0440-\u0430\u0443\u0434\u0438\u0442 \u2014 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u043e\u0439, \u0438 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u0430\u0445 \u043e\u043d \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0442\u0438\u043f\u043e\u0432, \u0430 \u043d\u0435 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044e.<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e \u0442\u0440\u0438 \u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b:<\/p>\n<pre><code>raw HTML      \u2014 \u0447\u0442\u043e \u043e\u0442\u0434\u0430\u0451\u0442 \u0441\u0435\u0440\u0432\u0435\u0440 \u043d\u0430 curl \u0441 UA \u0431\u043e\u0442\u0430rendered DOM  \u2014 \u0447\u0442\u043e \u0432\u0438\u0434\u0438\u0442 headless-\u0431\u0440\u0430\u0443\u0437\u0435\u0440 \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f JSbot view      \u2014 \u0447\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 URL Inspection \u0432 GSC \/ \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0432 \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440\u0435<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u2014 \u0442\u0440\u0438 \u0444\u0430\u0437\u044b. \u0421\u044b\u0440\u043e\u0439 HTML \u0434\u0432\u0443\u043c\u044f user-agent (Googlebot Desktop \u0438 Googlebot Smartphone), \u0437\u0430\u0442\u0435\u043c \u0440\u0435\u043d\u0434\u0435\u0440 \u0432 headless Chrome \u0441 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c <code>networkidle<\/code> \u0438 \u043f\u0430\u0443\u0437\u043e\u0439 \u043d\u0430 \u0433\u0438\u0434\u0440\u0430\u0442\u0430\u0446\u0438\u044e, \u0437\u0430\u0442\u0435\u043c \u0434\u0438\u0444 \u043f\u043e SEO-\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u043c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u043c.<\/p>\n<pre><code>Googlebot Desktop:Mozilla\/5.0 AppleWebKit\/537.36 (KHTML, like Gecko; compatible; Googlebot\/2.1;  +http:\/\/www.google.com\/bot.html) Chrome\/W.X.Y.Z Safari\/537.36Googlebot Smartphone:Mozilla\/5.0 (Linux; Android 6.0.1; Nexus 5X Build\/MMB29P) AppleWebKit\/537.36  (KHTML, like Gecko) Chrome\/W.X.Y.Z Mobile Safari\/537.36  (compatible; Googlebot\/2.1; +http:\/\/www.google.com\/bot.html)YandexBot:Mozilla\/5.0 (compatible; YandexBot\/3.0; +http:\/\/yandex.com\/bots)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0427\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u044e \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e \u043c\u0435\u0436\u0434\u0443 raw \u0438 rendered:<\/p>\n<pre><code>raw_status         vs render_statusraw_title          vs render_titleraw_canonical      vs render_canonicalrobots_meta        (\u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u0430 noindex \u043f\u043e\u0441\u043b\u0435 JS)raw_h1             vs render_h1raw_links_count    vs render_links_count    # \u0442\u0440\u0435\u0432\u043e\u0433\u0430: raw &lt; 0.7 \u00d7 renderedraw_text_len       vs render_text_lenschema_in_raw      vs schema_in_renderedjs_errors_count, api_errors_count, render_time<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0440\u043e\u0433 70% \u2014 \u043d\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u043e\u0432, \u0430 \u043c\u043e\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0442\u0440\u0438\u0433\u0433\u0435\u0440 \u0434\u043b\u044f \u0440\u0443\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0448\u0430\u0431\u043b\u043e\u043d\u0430.<\/p>\n<p>\u0421\u043d\u0438\u043c\u043e\u043a \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u044f \u043a\u043b\u0430\u0434\u0443 \u0432 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043d\u0430\u0431\u043e\u0440 \u043f\u043e\u043b\u0435\u0439 \u2014 \u0442\u043e\u0433\u0434\u0430 diff \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0434\u0432\u0443\u0445 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440:<\/p>\n<pre><code class=\"python\">@dataclassclass PageSnapshot:    url: str; status_code: int | None    title: str; meta_description: str; canonical: str    headings: list[str]; links: list[str]    structured_data: list[str]; schema_types: list[str]    visible_text_lines: list[str]; html_bytes: int    errors: list[str]<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>Raw-\u0432\u0435\u0440\u0441\u0438\u044e \u0434\u0430\u0451\u0442 <code>requests<\/code> \u0441 UA \u0431\u043e\u0442\u0430 + \u0440\u0430\u0437\u0431\u043e\u0440 <code>BeautifulSoup<\/code>. Rendered-\u0432\u0435\u0440\u0441\u0438\u044e \u2014 Playwright (<code>networkidle<\/code>, fallback \u043d\u0430 <code>load<\/code>). \u041a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0434\u0435\u0442\u0430\u043b\u044c, \u0431\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0440\u0435\u043d\u0434\u0435\u0440-\u0430\u0443\u0434\u0438\u0442 \u0432\u0440\u0451\u0442: \u0438\u0437 \u043e\u0442\u0440\u0435\u043d\u0434\u0435\u0440\u0435\u043d\u043d\u043e\u0433\u043e DOM \u044f \u0441\u043e\u0431\u0438\u0440\u0430\u044e \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u0438 \u0441\u0441\u044b\u043b\u043a\u0438 <strong>\u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u0438\u0434\u0438\u043c\u044b<\/strong> \u2014 \u043d\u0435 <code>display:none<\/code>, \u043d\u0435 <code>visibility:hidden<\/code>, \u043d\u0435 <code>opacity:0<\/code>, \u043d\u0435 \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440:<\/p>\n<pre><code class=\"javascript\">const isVisible = (el) =&gt; {  const s = window.getComputedStyle(el);  if (!s || s.display === 'none' || s.visibility === 'hidden' || s.opacity === '0')    return false;  if (el.getClientRects().length === 0) return false;  if (el.offsetWidth &lt;= 0 || el.offsetHeight &lt;= 0) return false;  return true;};\/\/ h1..h6 \u0438 &lt;a&gt; \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 snapshot, \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0439\u0434\u044f isVisible<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0418\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043b\u043e\u0432\u0438\u0442 \u0441\u0430\u043c\u044b\u0439 \u043a\u043e\u0432\u0430\u0440\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0435\u0441\u0442\u044c \u0432 DOM, \u0432 \u0441\u044b\u0440\u043e\u043c HTML \u043e\u043d \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442, \u043d\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0434\u0435\u0440\u0436\u0438\u0442 \u0435\u0433\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0434\u043e JS. \u0411\u043e\u0442, \u0441\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u0439 \u0432\u0438\u0434\u0438\u043c\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443, \u0435\u0433\u043e \u043d\u0435\u0434\u043e\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2d6\/58f\/4ed\/2d658f4ed8a11ecdb15dac9736ab6d34.png\" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/2d6\/58f\/4ed\/2d658f4ed8a11ecdb15dac9736ab6d34.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2d6\/58f\/4ed\/2d658f4ed8a11ecdb15dac9736ab6d34.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041e\u043f\u0430\u0441\u043d\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044d\u0442\u043e\u0442 \u0434\u0438\u0444 \u0432\u044b\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445:<\/p>\n<ul>\n<li>\n<p><strong>Title\/canonical \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 JS<\/strong> \u2014 \u0434\u043b\u044f \u0440\u0435\u043d\u0434\u0435\u0440-\u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u044d\u0442\u043e \u0440\u0438\u0441\u043a: \u043f\u0440\u0438 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u043c \u0440\u0435\u043d\u0434\u0435\u0440\u0438\u043d\u0433\u0435 \u0431\u043e\u0442 \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u0432\u0438\u0434\u0438\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0431\u0435\u0437 \u043d\u0438\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u041b\u0438\u0441\u0442\u0438\u043d\u0433 \u0438 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0441\u0441\u044b\u043b\u043a\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043d\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u0435<\/strong> \u2014 \u043d\u0430\u0432\u0438\u0433\u0430\u0446\u0438\u044f \u0438 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0435\u0441\u0442\u044c \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435, \u043d\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 \u0441\u044b\u0440\u043e\u043c HTML. \u041a\u0440\u0430\u0443\u043b\u0435\u0440 \u043d\u0435\u0434\u043e\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0433\u0440\u0430\u0444 \u0441\u0441\u044b\u043b\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u044b\u0440\u044b\u0435 \u0448\u0430\u0431\u043b\u043e\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0432 Title \u0438 description<\/strong> \u2014 \u0432 <code>&lt;title&gt;<\/code> \u0443\u0445\u043e\u0434\u0438\u0442 \u043d\u0435\u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u044b\u0439 \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440 CMS \u0432\u043c\u0435\u0441\u0442\u043e \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u0430 \u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043d\u0435 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u043f\u0440\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u043c \u0440\u0435\u043d\u0434\u0435\u0440\u0435. \u041f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0432\u0438\u0434\u0438\u0442 <code>CML2_ARTICLE.VALUE<\/code> \u0432 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0435. \u042d\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u0431\u0430\u0433 \u0448\u0430\u0431\u043b\u043e\u043d\u0430, \u0431\u044c\u044e\u0449\u0438\u0439 \u043f\u043e CTR \u043d\u0430 \u0432\u0441\u0451\u043c \u043a\u043b\u0430\u0441\u0441\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u0435\u043a.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043e\u043d\u0442\u0435\u043d\u0442 \u0441\u043a\u0440\u044b\u0442 CSS \u0434\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f JS.<\/strong> \u0421\u0430\u043c\u044b\u0439 \u043a\u043e\u0432\u0430\u0440\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439. \u041a\u043e\u043d\u0442\u0435\u043d\u0442 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 DOM, \u043d\u043e \u0441\u043a\u0435\u043b\u0435\u0442\u043e\u043d\u044b \u0438 <code>display:none<\/code> \u0434\u0435\u0440\u0436\u0430\u0442 \u0435\u0433\u043e \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u043c, \u043f\u043e\u043a\u0430 \u043d\u0435 \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043a\u0440\u0438\u043f\u0442. \u0412 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u0440\u0435\u043d\u0434\u0435\u0440-\u0430\u0443\u0434\u0438\u0442\u043e\u0432 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f bot view-\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u043c\u0438 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 70% \u043f\u0440\u043e\u0442\u0438\u0432 20% \u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430 \u2014 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435. \u042d\u0442\u043e \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u044f, \u0430 \u0441\u0438\u043c\u043f\u0442\u043e\u043c: \u0448\u0430\u0431\u043b\u043e\u043d \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0432 \u043a\u0430\u043a\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0431\u043e\u0442 \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>Hydration error.<\/strong> \u0420\u0430\u0441\u0441\u0438\u043d\u0445\u0440\u043e\u043d \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u0438 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 (\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 React error #418), \u043f\u043e\u0441\u043b\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u0430\u0442\u0440\u043e\u043d\u0443\u0442\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0443\u0445\u043e\u0434\u044f\u0442 \u0432 client-side \u0440\u0435\u043d\u0434\u0435\u0440 \u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043d\u0435\u043d\u0430\u0434\u0451\u0436\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u0431\u043e\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0435\u0441 HTML 1\u20131.7 \u041c\u0411<\/strong> \u0438\u0437-\u0437\u0430 \u0438\u043d\u043b\u0430\u0439\u043d-JSON \u0432\u0441\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0432 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443. \u0411\u044c\u0451\u0442 \u043f\u043e TTFB \u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u0443\u0435\u0442 crawl budget \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0442\u0440\u0435\u043d\u0434\u0435\u0440\u0438\u0442\u044c \u0432\u0435\u0441\u044c \u0441\u0430\u0439\u0442 \u043d\u0435\u043b\u044c\u0437\u044f \u2014 \u043d\u043e \u044d\u0442\u043e \u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u043c\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u0448\u0430\u0431\u043b\u043e\u043d\u044b \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 JavaScript \u0434\u043b\u044f SEO-\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430. \u0414\u0430\u043b\u044c\u0448\u0435 \u044d\u0442\u043e \u0441\u043d\u043e\u0432\u0430 \u0422\u0417 \u043d\u0430 \u0448\u0430\u0431\u043b\u043e\u043d, \u0430 \u043d\u0435 \u043d\u0430 URL.<\/p>\n<h3>\u0427\u0442\u043e \u0441\u043e\u0431\u0440\u0430\u043d\u043e \u0434\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a GSC \u0438 \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440\u0443<\/h3>\n<p>\u041a \u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u043c\u0435\u043d\u0442\u0443, \u0435\u0449\u0451 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a \u043f\u0430\u043d\u0435\u043b\u044f\u043c, \u043d\u0430 \u0440\u0443\u043a\u0430\u0445:<\/p>\n<ul>\n<li>\n<p>\u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u044b\u0439 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c URL \u0438\u0437 sitemap;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u0440\u0442\u0430 URL-\u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043f\u0438\u0441\u043e\u043a \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0438 \u0434\u0443\u0431\u043b\u044c-\u0441\u043b\u043e\u044f \u043f\u043e\u0434 \u0437\u0430\u043a\u0440\u044b\u0442\u0438\u0435 \u0432 robots\/canonical;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043f\u0440\u043e\u0441 \u043f\u043e slug-\u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430\u043c \u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u00ab\u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u00d7 \u0441\u043f\u0440\u043e\u0441\u00bb;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043f\u0438\u0441\u043e\u043a \u043a\u043b\u0430\u0441\u0441\u043e\u0432 URL \u0431\u0435\u0437 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u043e\u043c;<\/p>\n<\/li>\n<li>\n<p>on-page gap \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u0440\u0442\u0430 \u0440\u0435\u043d\u0434\u0435\u0440-\u0440\u0438\u0441\u043a\u043e\u0432 \u043f\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u0430\u043c;<\/p>\n<\/li>\n<li>\n<p>\u0447\u0435\u0440\u043d\u043e\u0432\u044b\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 <code>noindex<\/code>\/<code>canonical<\/code>\/sitemap;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0430\u043a\u0435\u0442 \u0422\u0417 \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u043d\u0435 \u0433\u0430\u0434\u0430\u043d\u0438\u0435. \u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0441\u043e\u0431\u0440\u0430\u043d\u0430 \u0438\u0437 \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432:<\/p>\n<pre><code>\u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c URL  + \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0441\u043b\u0430\u0433\u043e\u0432  + \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043f\u0440\u043e\u0441  + \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0435 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432  + on-page \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435  + \u0440\u0435\u043d\u0434\u0435\u0440-\u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>GSC \u0438 \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440 \u043d\u0443\u0436\u043d\u044b \u043d\u0435 \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0447\u0430\u0442\u044c \u0430\u0443\u0434\u0438\u0442, \u0430 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u044c, \u0443\u0442\u043e\u0447\u043d\u0438\u0442\u044c \u0438 \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0435.<\/p>\n<h3>\u041f\u043e\u0441\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u0430: \u043b\u043e\u0433\u0438 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b<\/h3>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043b\u043e\u0433\u0438 \u0438 \u043f\u0430\u043d\u0435\u043b\u0438, \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u0435\u043d\u044f\u0435\u0442 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440 \u2014 \u0441 \u043f\u043e\u0438\u0441\u043a\u0430 \u043d\u0430 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e.<\/p>\n<p>\u0421\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 \u043b\u043e\u0433\u0438 \u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u043f\u0440\u0430\u0432\u0434\u044b \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0431\u043e\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0445\u043e\u0434\u0438\u0442 \u043f\u043e \u0441\u0430\u0439\u0442\u0443. \u041f\u0430\u0440\u0441\u044e access-\u043b\u043e\u0433\u0438, \u0432\u044b\u0434\u0435\u043b\u044f\u044e \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0431\u043e\u0442\u0430 (\u043f\u043e IP-\u043b\u0438\u0441\u0442\u0430\u043c \u0431\u043e\u0442\u0430, \u0430 \u043d\u0435 \u043f\u043e \u043f\u043e\u0434\u043c\u0435\u043d\u044f\u0435\u043c\u043e\u043c\u0443 user-agent), \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u044e \u043a\u0430\u0436\u0434\u044b\u0439 URL \u0442\u0435\u043c \u0436\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u043c \u0442\u0438\u043f\u043e\u0432, \u0447\u0442\u043e \u0438 \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 slug mining, \u0438 \u0441\u0447\u0438\u0442\u0430\u044e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 crawl budget.<\/p>\n<pre><code class=\"python\"># Googlebot \u043e\u0442\u0434\u0435\u043b\u044f\u0435\u043c \u043f\u043e \u0432\u0435\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c IP-\u043b\u0438\u0441\u0442\u0430\u043c, \u043d\u0435 \u043f\u043e UA (UA \u043f\u043e\u0434\u0434\u0435\u043b\u044b\u0432\u0430\u044e\u0442)GOOGLE_BOT_LISTS = {\"googlebot.json\", \"special-crawlers.json\"}def classify_url(url: str) -&gt; str:    for pattern, label in URL_TEMPLATES:   # \u0442\u0435 \u0436\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u0447\u0442\u043e \u0432 slug mining        if pattern.search(url):            return label    return \"\u041f\u0440\u043e\u0447\u0435\u0435\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0427\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043b\u043e\u0433-\u0430\u043d\u0430\u043b\u0438\u0437 \u0438 \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u0440\u043e\u0433\u0438 \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"223\" width=\"223\">\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043e\u0431\u0445\u043e\u0434\u0430<\/p>\n<\/th>\n<th data-colwidth=\"159\" width=\"159\">\n<p align=\"left\">\u0421\u0438\u0433\u043d\u0430\u043b<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"223\" width=\"223\">\n<p align=\"left\">\u0420\u0435\u0434\u0438\u0440\u0435\u043a\u0442\u044b 301\/302<\/p>\n<\/td>\n<td data-colwidth=\"159\" width=\"159\">\n<p align=\"left\">&gt; 3% \u043e\u0431\u0445\u043e\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0431\u043e\u0442 \u043b\u0438\u0441\u0442\u0430\u0435\u0442 \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, \u043e\u0442\u0434\u0430\u044e\u0449\u0438\u0435 301 \u2192 \u043f\u0440\u044f\u043c\u0430\u044f \u043f\u043e\u0442\u0435\u0440\u044f \u0431\u044e\u0434\u0436\u0435\u0442\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"223\" width=\"223\">\n<p align=\"left\">\u041e\u0448\u0438\u0431\u043a\u0438 4xx<\/p>\n<\/td>\n<td data-colwidth=\"159\" width=\"159\">\n<p align=\"left\">&gt; 1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0431\u044e\u0434\u0436\u0435\u0442 \u0442\u0440\u0430\u0442\u0438\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 URL<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"223\" width=\"223\">\n<p align=\"left\">\u0421\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0435 5xx<\/p>\n<\/td>\n<td data-colwidth=\"159\" width=\"159\">\n<p align=\"left\">&gt; 0.5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u0430\u0434\u0430\u0435\u0442 \u0434\u043e\u0432\u0435\u0440\u0438\u0435 \u0438 crawl rate<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"223\" width=\"223\">\n<p align=\"left\">URL \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438<\/p>\n<\/td>\n<td data-colwidth=\"159\" width=\"159\">\n<p align=\"left\">&gt; 5%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0444\u0430\u0441\u0435\u0442\u043d\u044b\u0439 \u043c\u0443\u0441\u043e\u0440 \u0432 \u043e\u0431\u0445\u043e\u0434\u0435 \u2014 \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u043c\u0435\u0442\u0438\u043b\u0438 \u043f\u043e\u0434 robots<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"223\" width=\"223\">\n<p align=\"left\">\u041e\u0442\u0432\u0435\u0442 &gt; 2\u0441<\/p>\n<\/td>\n<td data-colwidth=\"159\" width=\"159\">\n<p align=\"left\">&gt; 3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0431\u043e\u0442 \u0441\u043d\u0438\u0436\u0430\u0435\u0442 crawl rate \u043d\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430\u0445<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"223\" width=\"223\">\n<p align=\"left\">\u0417\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0430\u043d\u0442\u0438\u0431\u043e\u0442\u043e\u043c<\/p>\n<\/td>\n<td data-colwidth=\"159\" width=\"159\">\n<p align=\"left\">&gt; 100<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0431\u043e\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442\u043a\u0430\u0437\u044b \u043e\u0442 \u0437\u0430\u0449\u0438\u0442\u044b \u2014 IP \u043d\u0435 \u0432 whitelist<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042d\u0442\u043e \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u044b \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u043e\u0432, \u0430 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043f\u043e\u0440\u043e\u0433\u0438 \u0442\u0440\u0435\u0432\u043e\u0433\u0438 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0439 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438 \u043b\u043e\u0433\u043e\u0432. \u041d\u0430 \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c \u043e\u0431\u043e\u0440\u043e\u0442\u043e\u043c URL, \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439 \u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u043d\u0438 \u0434\u0432\u0438\u0433\u0430\u044e\u0442\u0441\u044f \u2014 \u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u043d\u0430\u0432\u0435\u0440\u0445, \u0430 \u043d\u0435 \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0432\u0435\u0440\u0434\u0438\u043a\u0442.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/89b\/936\/822\/89b936822267e5a587f5aa7de8e7b177.png\" width=\"1400\" height=\"1000\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/89b\/936\/822\/89b936822267e5a587f5aa7de8e7b177.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/89b\/936\/822\/89b936822267e5a587f5aa7de8e7b177.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>Crawl Stats \u0432 GSC \u0434\u0430\u044e\u0442 \u0435\u0449\u0451 \u0434\u0432\u0430 \u0441\u0440\u0435\u0437\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0441\u043c\u043e\u0442\u0440\u044e \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c. \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u0434\u043e\u0432 \u043e\u0442\u0432\u0435\u0442\u0430: \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u043a\u0440\u0443\u043f\u043d\u043e\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u043e\u043d\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u043e \u043a\u0430\u043a 200 \u2014 67%, 301 \u2014 17%, 404 \u2014 10%, 304 \u2014 5%. \u0414\u043e\u043b\u044f 301 \u0431\u044b\u043b\u0430 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0432\u044b\u0448\u0435 \u043c\u043e\u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0430 \u2014 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0435\u0441\u0442\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0431\u043e\u0442\u0430 \u0443\u0445\u043e\u0434\u0438\u043b \u0432 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442. \u0418 \u0446\u0435\u043b\u0438 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u2014 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u00ab\u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e\u00bb \u043a \u00ab\u043e\u0442\u043a\u0440\u044b\u0442\u0438\u044e \u043d\u043e\u0432\u043e\u0433\u043e\u00bb. \u041a\u043e\u0433\u0434\u0430 \u043d\u0430 \u043f\u0435\u0440\u0435\u043e\u0431\u0445\u043e\u0434 \u0441\u0442\u0430\u0440\u043e\u0433\u043e \u0443\u0445\u043e\u0434\u0438\u0442 \u0442\u0440\u0438 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u0438 \u0431\u044e\u0434\u0436\u0435\u0442\u0430, \u043d\u043e\u0432\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0436\u0434\u0443\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u0451\u043d\u043d\u0430\u044f \u0440\u0443\u0447\u043a\u0430 \u2014 <code>304 Not Modified<\/code>. \u0415\u0441\u043b\u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043e\u0442\u0434\u0430\u0451\u0442 <code>Last-Modified<\/code> \u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 <code>304<\/code> \u043d\u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441, \u0431\u043e\u0442 \u043d\u0435 \u043a\u0430\u0447\u0430\u0435\u0442 \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u0438\u0432\u0448\u0438\u0439\u0441\u044f HTML \u0438 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u0431\u044e\u0434\u0436\u0435\u0442. \u041d\u0430 \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430\u0445 \u044f \u043e\u0431\u044b\u0447\u043d\u043e \u0445\u043e\u0447\u0443 \u0432\u0438\u0434\u0435\u0442\u044c \u0434\u043e\u043b\u044e 304 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0432\u044b\u0448\u0435 5% \u2014 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0440\u0435\u0434\u043a\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0438 \u0441\u0435\u0440\u0432\u0435\u0440 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 <code>Last-Modified<\/code>. \u041d\u0438\u0437\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0442\u0440\u0451\u0445 \u043f\u0440\u0438\u0447\u0438\u043d: <code>Last-Modified<\/code> \u043d\u0435 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0432\u0441\u0435, \u043e\u0442\u0434\u0430\u0451\u0442\u0441\u044f \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u0430\u0442\u043e\u0439 (\u0431\u043e\u0442 \u0435\u0439 \u043d\u0435 \u0432\u0435\u0440\u0438\u0442) \u0438\u043b\u0438 \u0440\u0430\u0441\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d \u043c\u0435\u0436\u0434\u0443 www \u0438 \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0434\u043e\u043c\u0435\u043d\u043e\u043c. \u041a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439 <code>Last-Modified<\/code> \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0440\u0435\u0434\u043a\u043e \u043c\u0435\u043d\u044f\u044e\u0449\u0435\u043c\u0441\u044f \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u043e\u0431\u044a\u0451\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u0435\u043c\u043e\u0433\u043e HTML \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0439 \u043f\u0440\u0430\u0432\u043a\u0438 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u043f\u0440\u0438\u0451\u043c \u2014 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u043a\u0430\u043a\u0443\u044e \u0434\u043e\u043b\u044e \u043e\u0431\u0445\u043e\u0434\u0430 \u0441\u044a\u0435\u0434\u0430\u044e\u0442 \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, \u043e\u0442\u0434\u0430\u044e\u0449\u0438\u0435 301. \u041d\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0430\u0439\u0434\u0435 \u0441 \u0431\u044b\u0441\u0442\u0440\u044b\u043c \u043e\u0431\u043e\u0440\u043e\u0442\u043e\u043c \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043e \u0434\u0432\u0443\u0437\u043d\u0430\u0447\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0431\u044e\u0434\u0436\u0435\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u043d\u0438\u043a\u0443\u0434\u0430. \u041d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u00ab\u0432\u0441\u0435\u0433\u0434\u0430 410\u00bb, \u0430 decision tree. \u0414\u043b\u044f \u0441\u043d\u044f\u0442\u043e\u0433\u043e \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0435\u0437 \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0430 \u2014 <code>410 Gone<\/code> \u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0438\u0437 sitemap. \u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u2014 \u043d\u043e\u0432\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u0442\u043e\u0433\u043e \u0436\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u0430, \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u043b\u043e\u0442, \u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u0431\u043b\u0438\u0437\u043a\u0430\u044f \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f \u2014 \u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d <code>301<\/code>. \u041e\u0448\u0438\u0431\u043a\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043c, \u0433\u0434\u0435 \u0432\u0441\u0435 \u0441\u043d\u044f\u0442\u044b\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442\u044f\u0442\u0441\u044f \u043d\u0430 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u043b\u0438\u0441\u0442\u0438\u043d\u0433\u0438: \u0434\u043b\u044f \u0431\u043e\u0442\u0430 \u044d\u0442\u043e \u043d\u0435 \u00ab\u043f\u0435\u0440\u0435\u0435\u0437\u0434\u00bb, \u0430 \u0448\u0443\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043d \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u043b\u0438\u0441\u0442\u0430\u0442\u044c.<\/p>\n<p>\u0418 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0432\u0435\u0440\u043a\u0430 \u2014 \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u0442\u0440\u0451\u0445 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432: sitemap, \u043f\u0440\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0438\u0437 \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440\u0430, \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u0432\u0445\u043e\u0434\u0430 \u0438\u0437 \u041c\u0435\u0442\u0440\u0438\u043a\u0438. \u0421\u0430\u043c\u043e\u0435 \u0446\u0435\u043d\u043d\u043e\u0435 \u0432\u044b\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u0442\u044b\u043a\u0435:<\/p>\n<pre><code class=\"python\"># URL, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043d\u043e\u0441\u0438\u0442 \u0442\u0440\u0430\u0444\u0438\u043a \u0438\u0437 \u043f\u043e\u0438\u0441\u043a\u0430, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435,# \u043d\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u041d\u0415\u0422 \u0432 sitemap \u2014 \u0441\u0430\u0439\u0442 \u0441\u0430\u043c \u0441\u0435\u0431\u044f \u043d\u0435 \u0434\u0435\u043a\u043b\u0430\u0440\u0438\u0440\u0443\u0435\u0442valuable_missing = (    url in metrika_entries        # \u0435\u0441\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0442\u0440\u0430\u0444\u0438\u043a    and url in webmaster_indexed  # \u0431\u043e\u0442 \u0435\u0433\u043e \u0437\u043d\u0430\u0435\u0442    and url not in sitemap_urls   # \u043d\u043e \u0432 \u043a\u0430\u0440\u0442\u0435 \u0435\u0433\u043e \u043d\u0435\u0442)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5b7\/4f3\/0d8\/5b74f30d88747aa3d86b908643fd387f.png\" width=\"1094\" height=\"435\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/5b7\/4f3\/0d8\/5b74f30d88747aa3d86b908643fd387f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5b7\/4f3\/0d8\/5b74f30d88747aa3d86b908643fd387f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0417\u0435\u0440\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u2014 URL \u0432 sitemap \u0438 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435, \u043d\u043e \u0441 \u043d\u0443\u043b\u0451\u043c \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u0438 \u043d\u0443\u043b\u0451\u043c \u0441\u043f\u0440\u043e\u0441\u0430. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0451\u043d\u043d\u0430\u044f \u043f\u0443\u0441\u0442\u0430\u044f \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u0430\u044f: \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430, \u0432\u044b\u0434\u0432\u0438\u043d\u0443\u0442\u0430\u044f \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043c\u0430\u0442\u0447\u0438\u043d\u0433\u0430, \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u0442\u043e\u0438\u0442 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u0440\u0451\u0445 \u0441\u0438\u0441\u0442\u0435\u043c.<\/p>\n<p>\u041e\u0442\u0447\u0451\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u0432 GSC \u0440\u0430\u0437\u0432\u043e\u0434\u0438\u0442 \u043f\u0443\u0441\u0442\u044b\u0435 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0435 \u043d\u0430 \u0434\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0430, \u0438 \u043b\u0435\u0447\u0430\u0442\u0441\u044f \u043e\u043d\u0438 \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443. \u00ab\u041f\u0440\u043e\u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0430, \u043d\u043e \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u0440\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0430\u00bb \u2014 \u0431\u043e\u0442 \u0434\u043e\u0448\u0451\u043b, \u0443\u0432\u0438\u0434\u0435\u043b \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u0438 \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0435\u0451 \u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c: \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u043d\u044b\u0439 \u043b\u0438\u0441\u0442\u0438\u043d\u0433 \u0431\u0435\u0437 \u0441\u043f\u0440\u043e\u0441\u0430 \u0438\u043b\u0438 \u0434\u0443\u0431\u043b\u044c \u043f\u043e canonical. \u00ab\u041e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0430, \u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0430\u00bb \u2014 \u0431\u043e\u0442 \u0443\u0437\u043d\u0430\u043b \u043f\u0440\u043e URL, \u043d\u043e \u0434\u0430\u0436\u0435 \u043d\u0435 \u0441\u0445\u043e\u0434\u0438\u043b \u043d\u0430 \u043d\u0435\u0433\u043e: \u0441\u0438\u043c\u043f\u0442\u043e\u043c \u0438\u0441\u0447\u0435\u0440\u043f\u0430\u043d\u043d\u043e\u0433\u043e crawl budget \u0438\u043b\u0438 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430 robots\/sitemap. \u041f\u0435\u0440\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u2014 \u0441\u0438\u0433\u043d\u0430\u043b \u0447\u0438\u0441\u0442\u0438\u0442\u044c \u0448\u0430\u0431\u043b\u043e\u043d\u044b \u0438 \u0441\u043f\u0440\u043e\u0441, \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u0447\u0438\u043d\u0438\u0442\u044c \u043e\u0431\u0445\u043e\u0434. \u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435 \u043e\u0431\u0430 \u0438\u0441\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u0430\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044f, \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u0438\u0445 \u044f \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043c\u0435\u0442\u0438\u043b \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u00ab\u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u00d7 \u0441\u043f\u0440\u043e\u0441\u00bb.<\/p>\n<blockquote>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u044b \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c, \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u043e\u0432 \u043d\u0435 \u043e\u0442\u043a\u0440\u044b\u043b\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0441 \u043d\u0443\u043b\u044f. \u041e\u043d\u0438 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443: \u0447\u0430\u0441\u0442\u044c \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0445 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0431\u0435\u0437 \u0441\u043f\u0440\u043e\u0441\u0430, \u0447\u0430\u0441\u0442\u044c \u0438\u043c\u0435\u0435\u0442 \u0441\u043f\u0440\u043e\u0441, \u043d\u043e \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043f\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u0443, \u0447\u0430\u0441\u0442\u044c SEO-\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0433\u043e \u0440\u0435\u043d\u0434\u0435\u0440\u0438\u043d\u0433\u0430.<\/p>\n<\/blockquote>\n<h3>\u0421\u043a\u0432\u043e\u0437\u043d\u043e\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0451 \u0432 \u043e\u0434\u043d\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0430\u0443\u0434\u0438\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code>\u041d\u0430\u0439\u0442\u0438 sitemap (robots.txt, \/sitemap.xml, \u0442\u0438\u043f\u043e\u0432\u044b\u0435 \u043f\u0443\u0442\u0438)\u0421\u043a\u0430\u0447\u0430\u0442\u044c sitemap graph \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e (index \u2192 gz \u2192 urlset)\u0418\u0437\u0432\u043b\u0435\u0447\u044c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c URL + lastmod\u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c URL\u0421\u0432\u0435\u0441\u0442\u0438 URL \u043a \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430\u043c (\u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c id \u043d\u0430 \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440\u044b)Slug mining: \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432, \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u041f\u0440\u043e\u0433\u043d\u0430\u0442\u044c \u0434\u0443\u0431\u043b\u0438 \u043f\u043e \u0427\u041f\u0423 \u2192 \u043f\u043b\u0430\u043d robots\/canonical\/301\u041f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c seed-\u0444\u0440\u0430\u0437\u044b \u043f\u043e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430\u043c\u0421\u043d\u044f\u0442\u044c \u0441\u043f\u0440\u043e\u0441 \u043f\u043e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430\u043c (keys.so), \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0448\u0443\u043c\u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u00ab\u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u00d7 \u0441\u043f\u0440\u043e\u0441\u00bb \u2192 \u0441\u0442\u0430\u0442\u0443\u0441\u044b \u0440\u0435\u0448\u0435\u043d\u0438\u0439\u0412\u044b\u0431\u043e\u0440\u043a\u0430 \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u044b\u0445 URL \u043f\u043e \u0442\u0438\u043f\u0430\u043cOn-page \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0442\u0438\u043f\u043e\u0432 \u0441 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430\u043c\u0438 \u2192 \u0422\u0417 \u043d\u0430 \u0448\u0430\u0431\u043b\u043e\u043d\u044b\u0420\u0435\u043d\u0434\u0435\u0440-\u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 (raw vs rendered vs bot view)\u041f\u043e\u0441\u043b\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043e\u0432: \u043b\u043e\u0433\u0438 + GSC + \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440 + \u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u2192 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h3>\u0427\u0442\u043e \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435<\/h3>\n<p>\u041d\u0435 \u00ab\u0430\u0443\u0434\u0438\u0442 \u043d\u0430 100 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u0442\u0435\u043a\u0441\u0442\u0430\u00bb, \u0430 \u043d\u0430\u0431\u043e\u0440 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 \u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u043b\u0430\u0441\u0441 URL:<\/p>\n<ul>\n<li>\n<p><strong>\u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c URL<\/strong> \u2014 \u043f\u0430\u0442\u0442\u0435\u0440\u043d, \u0442\u0438\u043f, \u0433\u043b\u0443\u0431\u0438\u043d\u0430, \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0432 sitemap, \u0441\u0442\u0430\u0442\u0443\u0441;<\/p>\n<\/li>\n<li>\n<p><strong>\u043a\u0430\u0440\u0442\u0430 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432<\/strong> \u2014 \u043f\u0430\u0442\u0442\u0435\u0440\u043d, \u0447\u0438\u0441\u043b\u043e URL, \u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0438\u043f, \u0440\u0438\u0441\u043a, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435;<\/p>\n<\/li>\n<li>\n<p><strong>\u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0441\u043f\u0440\u043e\u0441\u0430<\/strong> \u2014 \u043f\u0430\u0442\u0442\u0435\u0440\u043d, \u0442\u043e\u043a\u0435\u043d\u044b, \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u0447\u0430\u0441\u0442\u043e\u0442\u0430, \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u044b, \u0441\u0442\u0430\u0442\u0443\u0441;<\/p>\n<\/li>\n<li>\n<p><strong>\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043f\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438<\/strong> \u2014 \u043f\u0430\u0442\u0442\u0435\u0440\u043d, \u0447\u0438\u0441\u043b\u043e URL, \u0441\u043f\u0440\u043e\u0441, \u0440\u0438\u0441\u043a \u0434\u0443\u0431\u043b\u044f, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 (<code>grow<\/code>\/<code>merge<\/code>\/<code>noindex<\/code>\/<code>robots<\/code>\/<code>301<\/code>);<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0417 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446<\/strong> \u2014 \u0448\u0430\u0431\u043b\u043e\u043d, \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e, \u043c\u0430\u0441\u0448\u0442\u0430\u0431, \u0432\u043b\u0438\u044f\u043d\u0438\u0435, \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435, \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0413\u0434\u0435 sitemap-first \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f<\/h3>\n<p>\u041c\u0435\u0442\u043e\u0434 \u2014 \u043d\u0435 \u0441\u0435\u0440\u0435\u0431\u0440\u044f\u043d\u0430\u044f \u043f\u0443\u043b\u044f, \u0438 \u0447\u0435\u0441\u0442\u043d\u0435\u0435 \u0441\u0440\u0430\u0437\u0443 \u043e\u0447\u0435\u0440\u0442\u0438\u0442\u044c, \u0433\u0434\u0435 \u043e\u043d \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c:<\/p>\n<ul>\n<li>\n<p><strong>\u0427\u041f\u0423 \u043d\u0435 \u043d\u0435\u0441\u0443\u0442 \u0441\u043c\u044b\u0441\u043b\u0430<\/strong> \u2014 \u0441\u043b\u0430\u0433\u0438 \u0432\u0438\u0434\u0430 <code>\/item\/9283719283\/<\/code>. Sitemap \u0434\u0430\u0451\u0442 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c, \u043d\u043e \u043d\u0435 \u0438\u043d\u0442\u0435\u043d\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>Sitemap \u0443\u0441\u0442\u0430\u0440\u0435\u043b \u0438\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0440\u0438\u0432\u043e<\/strong> \u2014 <code>lastmod<\/code> \u0443 \u0432\u0441\u0435\u0445 \u043e\u0434\u0438\u043d, \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u043a\u0430\u0440\u0442 \u043e\u0442\u0434\u0430\u0451\u0442 404, \u0432 \u043a\u0430\u0440\u0442\u0430\u0445 \u043d\u0435\u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 URL. \u0422\u043e\u0433\u0434\u0430 \u0434\u0435\u043a\u043b\u0430\u0440\u0430\u0446\u0438\u044f \u0432\u0440\u0451\u0442, \u0438 \u0435\u0439 \u043d\u0435\u043b\u044c\u0437\u044f \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043a\u0430\u043a \u043a\u0430\u0440\u0442\u0435 \u0432\u0430\u0436\u043d\u043e\u0433\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0430\u0436\u043d\u044b\u0435 URL \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 sitemap<\/strong> \u2014 \u0442\u043e\u0433\u0434\u0430 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0439, \u0438 \u0447\u0430\u0441\u0442\u044c \u0446\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0445 \u0432\u044b \u043d\u0430\u0439\u0434\u0451\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u0440\u0435\u0437 \u043b\u043e\u0433\u0438 \u0438 \u041c\u0435\u0442\u0440\u0438\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0430\u0439\u0442 \u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0435 \u043d\u0430 query-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445<\/strong> \u2014 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u043b\u043e\u0439 \u0441\u043f\u0440\u043e\u0441\u0430 \u0436\u0438\u0432\u0451\u0442 \u0432 <code>?<\/code>, \u0430 \u043d\u0435 \u0432 \u043f\u0443\u0442\u0438. Slug mining \u043f\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u043c \u0435\u0433\u043e \u043d\u0435 \u0432\u0438\u0434\u0438\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0436\u0438\u0432\u0443\u0442 \u0447\u0435\u0440\u0435\u0437 JS\/API<\/strong>, \u0430 \u0432 sitemap \u0442\u043e\u043b\u044c\u043a\u043e shell-URL \u2014 \u0441\u043c\u044b\u0441\u043b \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0434\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0440\u0435\u043d\u0434\u0435\u0440\u043e\u043c \u0438 API, \u043d\u0435 \u0440\u0430\u0437\u0431\u043e\u0440\u043e\u043c \u0441\u0442\u0440\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043f\u0440\u043e\u0441 \u043d\u0435 \u0441\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u043e slug-\u0442\u043e\u043a\u0435\u043d\u0430\u043c<\/strong> \u2014 \u0443\u0437\u043a\u0430\u044f \u0438\u043b\u0438 \u043d\u043e\u0432\u0430\u044f \u043d\u0438\u0448\u0430, \u0433\u0434\u0435 keys.so\/Wordstat \u043f\u0443\u0441\u0442\u044b. \u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u00ab\u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u00d7 \u0441\u043f\u0440\u043e\u0441\u00bb \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0434\u044b\u0440\u044f\u0432\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u0435\u043e \u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0432 URL \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 \u0442\u0435\u043c, \u043a\u0430\u043a \u0438\u0449\u0443\u0442<\/strong> \u2014 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441\u0430\u0439\u0442\u0430 \u0440\u0430\u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441 \u044f\u0437\u044b\u043a\u043e\u043c \u0441\u043f\u0440\u043e\u0441\u0430, \u0438 \u043c\u0430\u0442\u0447\u0438\u043d\u0433 \u0434\u0430\u0451\u0442 \u043b\u043e\u0436\u043d\u044b\u0435 \u00ab\u043d\u0435\u0442 \u0441\u043f\u0440\u043e\u0441\u0430\u00bb.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0438\u043b\u0438 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u043b\u0438\u0441\u0442\u0438\u043d\u0433\u0438<\/strong> \u2014 \u0442\u043e, \u0447\u0442\u043e \u043e\u0442\u0434\u0430\u0451\u0442\u0441\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e, \u043d\u0435 \u0440\u0430\u0432\u043d\u043e \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432 sitemap.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0447\u0435\u0441\u0442\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430:<\/p>\n<blockquote>\n<p>Sitemap-first \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u043a\u0440\u0430\u0443\u043b, \u043b\u043e\u0433\u0438 \u0438 \u043f\u0430\u043d\u0435\u043b\u0438. \u041e\u043d \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c \u0430\u0443\u0434\u0438\u0442 \u0432\u0441\u043b\u0435\u043f\u0443\u044e.<\/p>\n<\/blockquote>\n<h3>\u0412\u044b\u0432\u043e\u0434<\/h3>\n<p>\u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0441\u0430\u0439\u0442\u0435 \u0430\u0443\u0434\u0438\u0442 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0441 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043a\u0440\u0430\u0443\u043b\u0430, \u0430 \u0441 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0438 URL-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430. Sitemap, \u0427\u041f\u0423, slug mining \u0438 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0430\u0442\u0447\u0438\u043d\u0433 \u043d\u0430\u0445\u043e\u0434\u044f\u0442 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0440\u0430\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u044b \u043a GSC, \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440\u0443 \u0438 \u043b\u043e\u0433\u0430\u043c.<\/p>\n<p>\u041f\u043e\u043b\u043d\u044b\u0439 \u043a\u0440\u0430\u0443\u043b \u2014 \u043d\u0435 \u043f\u0435\u0440\u0432\u044b\u0439 \u0448\u0430\u0433, \u0430 \u043e\u0434\u0438\u043d \u0438\u0437 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438. \u041d\u0430\u0447\u043d\u0451\u0442\u0435 \u0441 \u043d\u0435\u0433\u043e \u2014 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u0438 \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e. \u041d\u0430\u0447\u043d\u0451\u0442\u0435 \u0441 sitemap-first \u2014 \u043a \u043c\u043e\u043c\u0435\u043d\u0442\u0443 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043e\u0432 \u0443 \u0432\u0430\u0441 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043a\u0430\u0440\u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u0441\u043f\u0438\u0441\u043e\u043a \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u0438 \u0422\u0417 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043d\u0430 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447 URL.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 sitemap-first \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043d\u0435 \u0432 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0430 \u0432 \u0441\u043c\u0435\u043d\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u0430\u043d\u0430\u043b\u0438\u0437\u0430: \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 URL \u0432\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435 \u0441 \u0434\u0435\u0441\u044f\u0442\u043a\u0430\u043c\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441\u0442\u0440\u0430\u043d\u0438\u0446.<\/p>\n<p>\u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u0430\u0439\u0442 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0435\u0441\u0442\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0415\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0438\u0437 \u0445\u0430\u043e\u0441\u0430 URL \u0432 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443. \u0412\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u2014 \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u0451.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1049136\/\">https:\/\/habr.com\/ru\/articles\/1049136\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0415\u0441\u0442\u044c \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0430\u0443\u0434\u0438\u0442\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432: \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043a\u0440\u0430\u0443\u043b\u0435\u0440, \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043b\u0438\u043c\u0438\u0442 \u043f\u043e\u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u043f\u0440\u043e\u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0451.\u041d\u0430 \u0441\u0430\u0439\u0442\u0435 \u0432 \u043f\u0430\u0440\u0443 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041d\u0430 \u0441\u0430\u0439\u0442\u0435 \u0441 \u0441\u0435\u043c\u0438\u0437\u043d\u0430\u0447\u043d\u044b\u043c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u0451\u043c URL \u2014 \u043d\u0435\u0442. \u0418 \u0434\u0435\u043b\u043e \u043d\u0435 \u0432 \u0446\u0435\u043d\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430. \u041f\u043e\u043b\u043d\u044b\u0439 \u043a\u0440\u0430\u0443\u043b \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0430\u043c\u044f\u0442\u044c, \u0434\u0438\u0441\u043a, \u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u0442\u0430\u0439\u043c\u0430\u0443\u0442\u044b, rate limit, JavaScript-\u0440\u0435\u043d\u0434\u0435\u0440\u0438\u043d\u0433, \u0434\u0443\u0431\u043b\u0438, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 \u0444\u0430\u0441\u0435\u0442\u044b \u0438 \u0432 \u0442\u043e, \u0447\u0442\u043e \u0447\u0435\u0440\u0435\u0437 \u0434\u0432\u043e\u0435 \u0441\u0443\u0442\u043e\u043a \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0441\u0442\u0440\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043d\u0443\u043b\u044f.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0430\u0447\u0438\u043d\u0430\u044e \u043d\u0435 \u0441 \u043a\u0440\u0430\u0443\u043b\u0435\u0440\u0430. \u042f \u043d\u0430\u0447\u0438\u043d\u0430\u044e \u0441 sitemap.\u041d\u0435 \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e sitemap \u0438\u0434\u0435\u0430\u043b\u0435\u043d: \u043e\u043d \u0447\u0430\u0441\u0442\u043e \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0430\u0435\u0442, \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043d\u0435\u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 URL, \u0434\u0443\u0431\u043b\u0438 \u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0445\u0432\u043e\u0441\u0442\u044b. \u0410 \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u044b\u0439 URL-\u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c, \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0442\u0438\u043f\u044b \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u0432\u044b\u0442\u0430\u0449\u0438\u0442\u044c \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b, \u043d\u0430\u043b\u043e\u0436\u0438\u0442\u044c \u043d\u0430 \u0441\u043f\u0440\u043e\u0441 \u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043d\u0430\u0439\u0442\u0438 \u0437\u043e\u043d\u044b, \u0433\u0434\u0435 \u043f\u0440\u043e\u0435\u043a\u0442 \u0433\u043e\u0434\u0430\u043c\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447 \u043f\u043e\u0441\u0430\u0434\u043e\u0447\u043d\u044b\u0445 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f.\u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u044f \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u044e, \u0432 \u043a\u0430\u043a\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435, \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u0441\u0451 \u044d\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u043e\u044f\u0432\u044f\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u044b \u043a GSC, \u042f\u043d\u0434\u0435\u043a\u0441.\u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440\u0443 \u0438 \u043b\u043e\u0433\u0430\u043c.\u0412\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d\u044b: \u044f \u0443\u0431\u0440\u0430\u043b \u0434\u043e\u043c\u0435\u043d, \u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044f \u0438 \u0443\u0437\u043d\u0430\u0432\u0430\u0435\u043c\u044b\u0435 URL-\u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b. \u041c\u0435\u0442\u043e\u0434 \u0432\u0430\u0436\u043d\u0435\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430.\u0427\u0442\u043e \u0431\u044b\u043b\u043e \u043d\u0430 \u0432\u0445\u043e\u0434\u0435\u0412\u0432\u043e\u0434\u043d\u0430\u044f \u0442\u0438\u043f\u0438\u0447\u043d\u0430\u044f \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430:\u0434\u043e\u0441\u0442\u0443\u043f\u044b \u043a \u0434\u0430\u043d\u043d\u044b\u043c \u0435\u0449\u0451 \u043d\u0435 \u0432\u044b\u0434\u0430\u043d\u044b \u2014 GSC \u0438 \u0412\u0435\u0431\u043c\u0430\u0441\u0442\u0435\u0440 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442 \u043f\u043e\u0437\u0436\u0435;\u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0445 \u043b\u043e\u0433\u043e\u0432 \u043f\u043e\u043a\u0430 \u043d\u0435\u0442;\u0441\u0430\u0439\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043b\u044f \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e\u0433\u043e desktop-\u043a\u0440\u0430\u0443\u043b\u0430;\u0440\u0435\u043d\u0434\u0435\u0440\u0438\u0442\u044c \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b URL \u2014 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e;\u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0433\u0434\u0435 \u043b\u0435\u0436\u0438\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435, \u0441\u043f\u0440\u043e\u0441\u0435, \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438, \u0448\u0430\u0431\u043b\u043e\u043d\u0430\u0445 \u0438\u043b\u0438 \u0440\u0435\u043d\u0434\u0435\u0440\u0438\u043d\u0433\u0435.\u0422\u043e \u0435\u0441\u0442\u044c \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f: \u0430\u0443\u0434\u0438\u0442 \u043d\u0443\u0436\u0435\u043d \u0441\u0435\u0439\u0447\u0430\u0441, \u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u0442\u043e\u043c. \u0418 \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u0432\u043e\u0434 \u0441\u0438\u0434\u0435\u0442\u044c \u0431\u0435\u0437 \u0440\u0430\u0431\u043e\u0442\u044b \u2014 \u044d\u0442\u043e \u043f\u043e\u0432\u043e\u0434 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u0438\u0437 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0441\u0430\u0439\u0442 \u0438 \u0442\u0430\u043a \u043e\u0442\u0434\u0430\u0451\u0442 \u043d\u0430\u0440\u0443\u0436\u0443.\u041f\u043e\u0447\u0435\u043c\u0443 \u043f\u043e\u043b\u043d\u044b\u0439 \u043a\u0440\u0430\u0443\u043b \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u2014 \u043f\u043b\u043e\u0445\u043e\u0439 \u043f\u0435\u0440\u0432\u044b\u0439 \u0448\u0430\u0433\u041f\u0440\u044f\u043c\u043e\u0439 \u043e\u0431\u0445\u043e\u0434 \u0442\u0430\u043a\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u0435\u043d \u2014 \u043d\u043e \u043a\u0430\u043a \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u0430\u0443\u0434\u0438\u0442\u0430 \u043e\u043d \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043e\u0448\u0438\u0431\u043a\u0430. \u041a\u0440\u0430\u0443\u043b\u0435\u0440 \u0447\u0435\u0441\u0442\u043d\u043e \u0436\u0436\u0451\u0442 \u0440\u0435\u0441\u0443\u0440\u0441 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 SEO-\u0432\u043e\u043f\u0440\u043e\u0441: \u043d\u0430 \u0434\u0443\u0431\u043b\u0438, \u043f\u0430\u0433\u0438\u043d\u0430\u0446\u0438\u044e, \u0444\u0430\u0441\u0435\u0442\u043d\u044b\u0435 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438, \u0442\u0440\u0435\u043a\u0438\u043d\u0433\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438 \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, \u043e\u0442\u0434\u0430\u044e\u0449\u0438\u0435 301.\u041e\u0431\u043b\u0430\u0447\u043d\u044b\u0435 \u043a\u0440\u0430\u0443\u043b\u0435\u0440\u044b \u2014 JetOctopus, Sitebulb Cloud, OnCrawl \u2014 \u0441\u043d\u0438\u043c\u0430\u044e\u0442 \u0447\u0430\u0441\u0442\u044c \u0431\u043e\u043b\u0438 \u0441 \u0432\u0430\u0448\u0435\u0433\u043e \u0436\u0435\u043b\u0435\u0437\u0430, \u043d\u043e \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u044e\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438. \u0423 \u043e\u0434\u043d\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0442\u0430\u0440\u0438\u0444\u044b \u043e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432-\u0441\u043e\u0442\u0435\u043d \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0438\u043b\u0438 \u0444\u0443\u043d\u0442\u043e\u0432 \u0432 \u043c\u0435\u0441\u044f\u0446, \u0443 \u0434\u0440\u0443\u0433\u0438\u0445 enterprise-\u0446\u0435\u043d\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u043e\u0431\u044a\u0451\u043c\u0443 \u043e\u0431\u0445\u043e\u0434\u0430, \u043b\u043e\u0433\u0430\u043c, \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u043c \u0438\u043b\u0438 \u043a\u0440\u0435\u0434\u0438\u0442\u0430\u043c. JetOctopus \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0433\u043e\u0440\u0434\u0438\u0442\u0441\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u2014 200 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0438 \u044d\u0442\u043e \u043f\u0440\u0430\u0432\u0434\u0430 \u0431\u044b\u0441\u0442\u0440\u043e; \u043d\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u043f\u043e \u043c\u043d\u043e\u0433\u043e\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u043e\u043c\u0443, \u0434\u0430 \u0435\u0449\u0451 \u0438 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0441\u0430\u0439\u0442\u0443 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c, \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u0447\u0435\u0433\u043e-\u0442\u043e \u0441\u0442\u043e\u0438\u0442. \u041d\u0430 \u0441\u0435\u043c\u0438\u0437\u043d\u0430\u0447\u043d\u043e\u043c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0435 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043a\u0440\u0430\u0443\u043b\u0435\u0440 \u00ab\u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442\u00bb. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0431\u0435\u0437 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043e\u043d \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u0434\u043e\u0440\u043e\u0433\u043e \u0441\u043e\u0431\u0435\u0440\u0451\u0442 \u043c\u0443\u0441\u043e\u0440.\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0442\u0435\u0437\u0438\u0441 \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u043f\u0440\u043e \u0434\u0435\u043d\u044c\u0433\u0438:\u041d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u0430\u0445 \u0446\u0435\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u044b\u0448\u0435 \u0446\u0435\u043d\u044b \u0441\u0430\u043c\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430. \u0415\u0441\u043b\u0438 \u043d\u0435 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c URL \u0437\u0430\u0440\u0430\u043d\u0435\u0435, \u043b\u044e\u0431\u043e\u0439 \u043a\u0440\u0430\u0443\u043b\u0435\u0440 \u2014 \u0445\u043e\u0442\u044c \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0439, \u0445\u043e\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u2014 \u0434\u043e\u0431\u0440\u043e\u0441\u043e\u0432\u0435\u0441\u0442\u043d\u043e \u0441\u043e\u0431\u0435\u0440\u0451\u0442 \u0432\u0430\u043c \u043c\u0443\u0441\u043e\u0440. \u0411\u044b\u0441\u0442\u0440\u043e \u0438 \u0434\u043e\u0440\u043e\u0433\u043e.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0441\u043b\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0440\u0430\u0443\u043b \u2014 \u043f\u043e\u0442\u043e\u043c, \u0442\u043e\u0447\u0435\u0447\u043d\u043e, \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u043e\u043d \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u0435\u043d.Sitemap-first \u0432\u043c\u0435\u0441\u0442\u043e crawl-first\u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a \u0447\u0442\u043e-\u0442\u043e \u043a\u0430\u0447\u0430\u0442\u044c, \u044f \u0441\u043c\u043e\u0442\u0440\u044e \u043d\u0430 \u0441\u0430\u043c sitemap \u043a\u0430\u043a \u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438. \u0423 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 \u044d\u0442\u043e \u043d\u0435 \u043e\u0434\u0438\u043d \u0444\u0430\u0439\u043b, \u0430 \u0433\u0440\u0430\u0444:robots.txt\u2514\u2500\u2500 sitemap index    \u251c\u2500\u2500 sitemap-listing-sale-*.xml.gz    \u251c\u2500\u2500 sitemap-listing-rent-*.xml.gz    \u251c\u2500\u2500 sitemap-newbuilding-*.xml.gz    \u251c\u2500\u2500 sitemap-geo-*.xml.gz    \u2514\u2500\u2500 sitemap-static.xmlSitemap graph \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430: robots.txt \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 sitemap index, \u0430 \u0442\u043e\u0442 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0430\u0431\u043e\u0440 gzip-\u043a\u0430\u0440\u0442 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446. \u041e\u0434\u0438\u043d sitemap-\u0444\u0430\u0439\u043b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d 50 000 URL \u0438 50 \u041c\u0411 \u0432 \u043d\u0435\u0441\u0436\u0430\u0442\u043e\u043c \u0432\u0438\u0434\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0436\u0438\u0432\u0443\u0442 \u0447\u0435\u0440\u0435\u0437 sitemap index.\u0423 sitemap \u0435\u0441\u0442\u044c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f: \u043e\u0434\u0438\u043d sitemap-\u0444\u0430\u0439\u043b \u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0442\u044c \u043d\u0438 50 000 URL, \u043d\u0438 50 \u041c\u0411 \u0432 \u043d\u0435\u0441\u0436\u0430\u0442\u043e\u043c \u0432\u0438\u0434\u0435 (\u044d\u0442\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442 Google Search Central). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u0430\u0445 sitemap \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0433\u0440\u0430\u0444: index-\u0444\u0430\u0439\u043b, \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u044b, gzip \u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u044b\u0435 sitemap \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u0441\u0442\u0440\u0430\u043d\u0438\u0446. \u0421\u0430\u043c \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u0443 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 gzip-\u043a\u0430\u0440\u0442 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435, \u2014 \u0443\u0436\u0435 \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u0438 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438.\u0427\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e \u0434\u043e \u0432\u044b\u0433\u0440\u0443\u0437\u043a\u0438 URL:\u0435\u0441\u0442\u044c \u043b\u0438 sitemap index \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432 \u043d\u0451\u043c \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043a\u0430\u0440\u0442;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u0438 gzip;\u043a\u0430\u043a\u0438\u0435 \u0442\u0438\u043f\u044b \u043a\u0430\u0440\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442: \u043b\u0438\u0441\u0442\u0438\u043d\u0433\u0438, \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438, \u0433\u0435\u043e, \u0444\u0438\u043b\u044c\u0442\u0440\u044b, \u0441\u0442\u0430\u0442\u0438\u043a\u0430, \u043d\u043e\u0432\u043e\u0441\u0442\u0438;\u0436\u0438\u0432\u0451\u0442 \u043b\u0438 lastmod \u0438\u043b\u0438 \u0442\u0430\u043c \u0443 \u0432\u0441\u0435\u0445 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 \u043e\u0434\u043d\u0430 \u0434\u0430\u0442\u0430 \u0441 \u043f\u0440\u043e\u0448\u043b\u043e\u0433\u043e \u0434\u0435\u043f\u043b\u043e\u044f;\u043d\u0435\u0442 \u043b\u0438 \u043a\u0430\u0440\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u0434\u0430\u044e\u0442 HTML \u0432\u043c\u0435\u0441\u0442\u043e XML \u0438\u043b\u0438 404;\u043d\u0435\u0442 \u043b\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0435\u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 URL, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438, \u043f\u0430\u0433\u0438\u043d\u0430\u0446\u0438\u0438 \u0438 \u0442\u0440\u0435\u043a\u0438\u043d\u0433\u0430;\u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u043b\u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043a\u0430\u0440\u0442 \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u0441\u0430\u0439\u0442\u0430.\u0424\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0434\u0435\u0440\u0436\u0443 \u0432 \u0433\u043e\u043b\u043e\u0432\u0435 \u0438 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0435 \u0441\u0442\u044b\u0434\u043d\u043e \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0432 \u043e\u0442\u0447\u0451\u0442:Sitemap \u2014 \u044d\u0442\u043e \u043d\u0435 \u0438\u0441\u0442\u0438\u043d\u0430. \u042d\u0442\u043e \u0434\u0435\u043a\u043b\u0430\u0440\u0430\u0446\u0438\u044f \u0441\u0430\u0439\u0442\u0430 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 URL \u043e\u043d \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u043e\u0439\u043d\u044b\u043c\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430. \u041d\u043e \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u0438\u0447\u043d\u043e\u0433\u043e \u0430\u0443\u0434\u0438\u0442\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0434\u0435\u043a\u043b\u0430\u0440\u0430\u0446\u0438\u044f \u0443\u0436\u0435 \u0431\u0435\u0441\u0446\u0435\u043d\u043d\u0430: \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c, \u0440\u0430\u0441\u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043d\u0435\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0432\u043e\u0441\u0442\u044c.\u041d\u0430 \u044d\u0442\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u044f \u0437\u0430\u0431\u0438\u0440\u0430\u044e \u0442\u043e\u043b\u044c\u043a\u043e XML \u0438 GZ. \u041d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0442\u044f\u0436\u0451\u043b\u043e\u0433\u043e \u043e\u0431\u0445\u043e\u0434\u0430 HTML \u2014 \u044d\u0442\u043e \u0434\u0435\u0448\u0451\u0432\u044b\u0439 \u0441\u043b\u043e\u0439, \u0438 \u043e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u043e\u0441\u0442\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u0435\u0448\u0451\u0432\u044b\u043c.\u041d\u0438\u0436\u0435 \u2014 \u043e\u0431\u0440\u0435\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043c\u043e\u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u043e\u0440\u0442\u0451\u0440\u0430 (\u0443\u0431\u0440\u0430\u043d\u044b CLI, \u0437\u0430\u043f\u0438\u0441\u044c \u0444\u0430\u0439\u043b\u043e\u0432 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432). \u0421\u0435\u0440\u0434\u0446\u0435 \u2014 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u044b\u0439 \u043e\u0431\u0445\u043e\u0434: \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u043b\u0438\u0431\u043e urlset, \u043b\u0438\u0431\u043e sitemapindex, \u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u044b. visited \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u0442 \u043e\u0442 \u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0441\u044b\u043b\u043e\u043a \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438 \u2014 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u0430\u0445 \u043e\u043d\u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f.import gzipfrom io import BytesIOimport requestsfrom lxml import etreeNS = {&#171;ns&#187;: &#171;http:\/\/www.sitemaps.org\/schemas\/sitemap\/0.9&#187;}UA = &#171;Mozilla\/5.0 (compatible; SitemapURLExporter\/1.0)&#187;def fetch_xml(source: str) -&gt; bytes:    if source.startswith((&#171;http:\/\/&#187;, &#171;https:\/\/&#187;)):        r = requests.get(source, headers={&#171;User-Agent&#187;: UA,                         &#171;Accept-Encoding&#187;: &#171;gzip, deflate&#187;}, timeout=30)        r.raise_for_status()        data = r.content    else:        data = open(source, &#171;rb&#187;).read()    # .gz \u043f\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044e + \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 gzip-\u0441\u0438\u0433\u043d\u0430\u0442\u0443\u0440\u044b    if source.endswith(&#171;.gz&#187;) and data[:2] == b&#187;\\x1f\\x8b&#187;:        return gzip.decompress(data)    return datadef walk_sitemap(source: str, visited: set[str] | None = None):    &#171;&#187;&#187;\u0420\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442 sitemapindex \u2192 urlset \u2192 \u043f\u043b\u043e\u0441\u043a\u0438\u0439 \u0441\u043f\u0438\u0441\u043e\u043a URL.&#187;&#187;&#187;    visited = visited if visited is not None else set()    if source in visited:        return []    visited.add(source)    root = etree.parse(BytesIO(fetch_xml(source))).getroot()    tag = etree.QName(root).localname    if tag == &#171;urlset&#187;:        return [loc.text.strip()                for loc in root.findall(&#171;.\/\/ns:url\/ns:loc&#187;, NS)                if loc.text and loc.text.strip()]    if tag != &#171;sitemapindex&#187;:        raise ValueError(f&#187;Unsupported root tag &#8216;{tag}&#8217; in {source}&#187;)    urls = []    for loc in root.findall(&#171;.\/\/ns:sitemap\/ns:loc&#187;, NS):        urls.extend(walk_sitemap(loc.text.strip(), visited))    return urls\u0412 \u043f\u043e\u043b\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u043e\u0445\u043e\u0434 \u0441\u0440\u0430\u0437\u0443 \u043f\u0438\u0448\u0435\u0442 \u0442\u0440\u0438 \u0444\u0430\u0439\u043b\u0430: \u0432\u0441\u0435 URL, \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 (dict.fromkeys \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a) \u0438 \u043e\u0442\u0447\u0451\u0442 \u043f\u043e \u0434\u0443\u0431\u043b\u044f\u043c \u2014 \u043a\u0430\u043a\u0438\u0435 URL \u0432 sitemap \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0442\u0441\u044f \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437. \u0414\u0443\u0431\u043b\u0438 \u043f\u0440\u044f\u043c\u043e \u0432 \u043a\u0430\u0440\u0442\u0435 \u2014 \u044d\u0442\u043e \u0443\u0436\u0435 \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b: \u0441\u0430\u0439\u0442 \u0441\u0430\u043c \u0434\u0435\u043a\u043b\u0430\u0440\u0438\u0440\u0443\u0435\u0442 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 URL \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u0435\u0441\u0442. \u0422\u0443\u0434\u0430 \u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u044b retry\/backoff, \u0436\u0443\u0440\u043d\u0430\u043b \u043e\u0448\u0438\u0431\u043e\u043a, \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 source-\u043a\u0430\u0440\u0442\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e URL \u0438 stream-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430: \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u0432\u044b\u0448\u0435 \u0447\u0435\u0440\u0435\u0437 etree.parse \u0433\u0440\u0443\u0437\u0438\u0442 XML \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432 \u043f\u0430\u043c\u044f\u0442\u044c, \u0430 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0430\u0445 \u044d\u0442\u043e \u043c\u0435\u043d\u044f\u044e\u0442 \u043d\u0430 \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u044b\u0439 iterparse. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u2014 \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c \u0432\u0441\u0435\u0433\u043e \u0441\u0430\u0439\u0442\u0430, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0437\u0430 \u043c\u0438\u043d\u0443\u0442\u044b, \u0430 \u043d\u0435 \u0437\u0430 \u0434\u0432\u043e\u0435 \u0441\u0443\u0442\u043e\u043a, \u0438 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043a \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d\u0443 \u0442\u044f\u0436\u0435\u043b\u0435\u0435 \u0441\u0430\u043c\u0438\u0445 \u043a\u0430\u0440\u0442.\u041f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c URL \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0421\u043f\u0438\u0441\u043e\u043a URL \u2014 \u044d\u0442\u043e \u0435\u0449\u0451 \u043d\u0435 \u0430\u0443\u0434\u0438\u0442. \u0410\u0443\u0434\u0438\u0442 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 URL \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u043a\u043e\u0439 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0441 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439:url, scheme, host, path, depth,seg_1, seg_2, seg_3, &#8230;,query, has_query, trailing_slash,sitemap_source, lastmod,template_candidate, path_hash\u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u0441\u043a\u0443\u0447\u043d\u0430\u044f, \u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0430\u044f \u0447\u0430\u0441\u0442\u044c. \u0415\u0441\u043b\u0438 \u0435\u0451 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c, \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \/kupit\/kvartira \u0438 \/kupit\/kvartira\/ \u0437\u0430 \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u0438 \u0432\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043f\u043e\u0435\u0434\u0435\u0442.\u0435\u0434\u0438\u043d\u044b\u0439 host, \u0431\u0435\u0437 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430;query \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u043d\u0435 \u043f\u0440\u0438\u043a\u043b\u0435\u0435\u043d \u043a \u043f\u0443\u0442\u0438;percent-encoding \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d;trailing slash \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0432\u0438\u0434\u0443;\u043f\u0443\u0442\u044c \u0440\u0430\u0437\u0431\u0438\u0442 \u043d\u0430 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b, \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0430;\u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0438.\u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043f\u0440\u0438\u0451\u043c \u2014 \u0441\u0432\u0435\u0441\u0442\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 URL \u043a \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0443, \u0437\u0430\u043c\u0435\u043d\u0438\u0432 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u043d\u0430 \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440. \u041a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u0438 \u0433\u0435\u043e-\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0441 \u0447\u0438\u0441\u043b\u043e\u0432\u044b\u043c\u0438 ID \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432:import redef url_to_pattern(url: str, host: str) -&gt; str:    path = url.replace(host, &#171;&#187;).strip(&#171;\/&#187;)    out = []    for seg in path.split(&#171;\/&#187;):        # \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0439 id \u0438\u043b\u0438 slug, \u043e\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u043d\u0430 -NNNNN \u2192 \u043f\u043b\u0435\u0439\u0441\u0445\u043e\u043b\u0434\u0435\u0440        if re.fullmatch(r&#187;\\d{5,}&#187;, seg) or re.search(r&#187;-\\d{5,}$&#187;, seg):            out.append(&#171;{id}&#187;)        else:            out.append(seg)    return &#171;\/&#187; + &#171;\/&#187;.join(out) + &#171;\/&#187;\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 URL \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u043e\u0431\u043e\u0437\u0440\u0438\u043c\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0441\u0430\u0439\u0442 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u2014 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0437\u0430\u0445\u043e\u0434\u0430 \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443.\u041f\u043e\u0447\u0435\u043c\u0443 \u0427\u041f\u0423 \u0440\u0435\u0448\u0430\u0435\u0442 \u0432\u0441\u0451\u041c\u0435\u0442\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u043c \u0436\u0451\u0441\u0442\u043a\u043e\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u0438: URL \u043d\u0435\u0441\u0443\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443.\u0425\u043e\u0440\u043e\u0448\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u2014 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u043e\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u0430\u0434\u0440\u0435\u0441\u0430:\/{geo}\/kupit\/kvartira\/odnokomnatnaya\/{\u0440\u0430\u0439\u043e\u043d}\/\/{geo}\/kupit\/novostrojka\/{\u0436\u043a}\/ipoteka\/\/{geo}\/snyat\/kvartira\/{\u0440\u0430\u0439\u043e\u043d}\/posutochno\/\u0422\u0430\u043a\u043e\u0439 URL \u0443\u0436\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0447\u0430\u0441\u0442\u044c \u0441\u043c\u044b\u0441\u043b\u0430: \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 (\u043a\u0443\u043f\u0438\u0442\u044c\/\u0441\u043d\u044f\u0442\u044c), \u0442\u0438\u043f \u043e\u0431\u044a\u0435\u043a\u0442\u0430, \u043a\u043e\u043c\u043d\u0430\u0442\u043d\u043e\u0441\u0442\u044c, \u0440\u044b\u043d\u043e\u043a, \u0444\u0438\u043b\u044c\u0442\u0440, \u0433\u0435\u043e. \u042f \u043c\u043e\u0433\u0443 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u0430\u0439\u0442 \u043d\u0430 \u0442\u0438\u043f\u044b \u0441\u0442\u0440\u0430\u043d\u0438\u0446, \u043d\u0435 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044f \u043d\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445.\u041f\u043b\u043e\u0445\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u2014 \u0430\u0434\u0440\u0435\u0441\u0430 \u0432\u0438\u0434\u0430:\/item\/9283719283\/\/search\/?x=abc&amp;y=123\/p?id=918273\u0417\u0434\u0435\u0441\u044c sitemap \u0434\u0430\u0451\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0432\u0435\u043d\u0442\u0430\u0440\u044c, \u043d\u043e \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u0422\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0434\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0441\u043c\u044b\u0441\u043b \u0438\u0437 HTML, API, \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0438\u043b\u0438 \u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0430\u0443\u043b\u0430. \u042d\u0442\u043e \u0447\u0435\u0441\u0442\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u0435\u0442\u043e\u0434\u0430, \u0438 \u043e \u043d\u0435\u0439 \u043d\u0430\u0434\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u044f\u043c\u043e:Sitemap-first \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0427\u041f\u0423 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b. \u041d\u0435\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0441\u043b\u0430\u0433\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0432 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044c URL \u0431\u0435\u0437 \u0438\u043d\u0442\u0435\u043d\u0442\u043e\u0432.\u041c\u043d\u0435 \u043f\u043e\u0432\u0435\u0437\u043b\u043e: \u043d\u0430 \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u0441\u043b\u0430\u0433\u0438 \u0431\u044b\u043b\u0438 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u043d\u044b \u0438 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b. \u0414\u0430\u043b\u044c\u0448\u0435 \u2014 \u0440\u0430\u0437\u0431\u043e\u0440 \u044d\u0442\u0438\u0445 \u0441\u043b\u0430\u0433\u043e\u0432.Slug mining: \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c URL \u043d\u0430 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u0430\u0442\u043e\u043c\u044bSlug mining \u2014 \u044d\u0442\u043e \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0445 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432 \u0438\u0437 \u0441\u0442\u0440\u043e\u043a URL. \u042f \u0441\u043c\u043e\u0442\u0440\u044e \u043d\u0430 \u0430\u0434\u0440\u0435\u0441 \u043d\u0435 \u043a\u0430\u043a \u043d\u0430 \u043f\u0443\u0442\u044c \u043a \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0443, \u0430 \u043a\u0430\u043a \u043d\u0430 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c \u0441 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430\u043c\u0438.\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u2014 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c. \u0411\u0435\u0440\u0451\u043c \u0432\u0441\u0435 \u043f\u0443\u0442\u0438,&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-484132","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/484132","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=484132"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/484132\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=484132"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=484132"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=484132"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}