{"id":492220,"date":"2026-08-25T23:38:35","date_gmt":"2026-08-25T23:38:35","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=492220"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=492220","title":{"rendered":"\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0441\u0430\u0439\u0442\u0430 \u0434\u043b\u044f \u0418\u0418 \u0431\u043e\u0442\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 curl \u0437\u0430 5 \u043c\u0438\u043d\u0443\u0442"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0421\u0430\u0439\u0442 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435, \u043e\u0442\u0434\u0430\u0451\u0442 <code>200 OK<\/code>, \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u0440\u0435\u043d\u0434\u0435\u0440\u0438\u0442\u0441\u044f \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0438 ChatGPT, \u043d\u0438 Claude, \u043d\u0438 Perplexity \u043d\u0438 \u0440\u0430\u0437\u0443 \u043d\u0435 \u0441\u043e\u0441\u043b\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u0432\u0430\u0448 \u043a\u043e\u043d\u0442\u0435\u043d\u0442. \u041f\u0435\u0440\u0432\u043e\u0435, \u043d\u0430 \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0433\u0440\u0435\u0448\u0430\u0442 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u2014 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u043b\u0438 \u0435\u0433\u043e SEO-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0430 \u0447\u0430\u0449\u0435 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043d\u0438\u0436\u0435: \u0431\u043e\u0442\u044b \u044d\u0442\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0442\u0443 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u0438\u0434\u0438\u0442\u0435 \u0432\u044b.<\/p>\n<p>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0447\u0430\u0441\u0442\u043e \u044d\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 shared-\u0445\u043e\u0441\u0442\u0438\u043d\u0433\u0435 \u0438\u043b\u0438 \u0437\u0430 CDN. \u0410\u043d\u0442\u0438\u0431\u043e\u0442-\u0437\u0430\u0449\u0438\u0442\u0430 \u0442\u0430\u043c \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u2014 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u043c \u0438\u043b\u0438 \u0445\u043e\u0441\u0442\u0438\u043d\u0433-\u043f\u0430\u043d\u0435\u043b\u044c\u044e, \u0430 \u043d\u0435 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430 \u0441\u0430\u0439\u0442\u0430. Cloudflare, WAF \u0445\u043e\u0441\u0442\u0438\u043d\u0433\u0430 \u0438\u043b\u0438 \u043c\u043e\u0434\u0443\u043b\u044c \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430 \u043c\u043e\u0436\u043d\u043e \u0433\u043e\u0434\u0430\u043c\u0438 \u043d\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u044c: \u043e\u0431\u044b\u0447\u043d\u044b\u043c \u043f\u043e\u0441\u0435\u0442\u0438\u0442\u0435\u043b\u044f\u043c \u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u043c \u0431\u043e\u0442\u0430\u043c Google \u043e\u043d \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442, \u0430 \u0432\u043e\u0442 \u043d\u043e\u0432\u044b\u0435 \u043a\u0440\u0430\u0443\u043b\u0435\u0440\u044b \u0432\u0440\u043e\u0434\u0435 <code>GPTBot<\/code> \u0438\u043b\u0438 <code>ClaudeBot<\/code> \u043f\u043e\u0434 \u0440\u0430\u0437\u0434\u0430\u0447\u0443 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u2014 \u0438\u0445 \u043b\u0438\u0431\u043e \u0435\u0449\u0451 \u043d\u0435 \u0437\u0430\u043d\u0435\u0441\u043b\u0438 \u0432 \u0431\u0435\u043b\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a, \u043b\u0438\u0431\u043e \u0440\u0435\u0436\u0443\u0442 \u043f\u043e \u0440\u0435\u043f\u0443\u0442\u0430\u0446\u0438\u0438 IP-\u043f\u043e\u0434\u0441\u0435\u0442\u0438 \u0438\u043b\u0438 \u043f\u043e \u0441\u0430\u043c\u043e\u043c\u0443 User-Agent. \u0418\u0442\u043e\u0433 \u043e\u0434\u0438\u043d: \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440 \u0441\u0430\u0439\u0442\u0430 \u0438\u0441\u043a\u0440\u0435\u043d\u043d\u0435 \u043d\u0435 \u043f\u043e\u0434\u043e\u0437\u0440\u0435\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u043d\u0435\u0432\u0438\u0434\u0438\u043c \u0434\u043b\u044f \u0418\u0418-\u0441\u0438\u0441\u0442\u0435\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 \u0438 \u0432 Google Search Console \u0432\u0441\u0451 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e \u043d\u0430 \u0433\u043b\u0430\u0437 \u043d\u0435\u043b\u044c\u0437\u044f \u2014 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0441\u0430\u0439\u0442 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430. \u041d\u0438\u0436\u0435 \u2014 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0430, \u0441\u043f\u0438\u0441\u043e\u043a \u0431\u043e\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043f\u043e\u0438\u043c\u0451\u043d\u043d\u043e, \u0438 Python-\u0441\u043a\u0440\u0438\u043f\u0442, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0432\u0441\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/p>\n<h3>\u041b\u043e\u0432\u0443\u0448\u043a\u0430 HEAD-\u0437\u0430\u043f\u0440\u043e\u0441\u0430<\/h3>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435, \u043d\u0430 \u0447\u0451\u043c \u0441\u043f\u043e\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043b\u044e\u0431\u0430\u044f \u0440\u0443\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430: curl -I \u0432\u0430\u0448\u0435\u0433\u043e \u0434\u043e\u043c\u0435\u043d\u0430.<\/p>\n<p><code>curl -I https:\/\/example.com<\/code><\/p>\n<p>\u0421\u0435\u0440\u0432\u0435\u0440 \u0447\u0435\u0441\u0442\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 HTTP\/2 200. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u2014 \u00ab\u0432\u0441\u0451 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u00bb. \u0412\u044b\u0432\u043e\u0434 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439. -I \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 HEAD-\u0437\u0430\u043f\u0440\u043e\u0441: \u0441\u0435\u0440\u0432\u0435\u0440 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u0438 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0442\u0435\u043b\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b. \u0410 \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u044e\u0449\u0438\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u2014 Cloudflare, WAF, \u0430\u043d\u0442\u0438\u0431\u043e\u0442-\u043c\u043e\u0434\u0443\u043b\u044c \u2014 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0438\u0441\u0438\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 GET, \u0442\u0430\u043c, \u0433\u0434\u0435 \u043e\u0442\u0434\u0430\u0451\u0442\u0441\u044f \u0442\u0435\u043b\u043e \u043e\u0442\u0432\u0435\u0442\u0430.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0441\u0442\u043e\u0438\u0442, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u0441\u0430\u043c\u0430 \u0441\u0435\u0431\u044f \u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u0435\u0442. \u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u2014 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 GET \u0441 \u0432\u044b\u0432\u043e\u0434\u043e\u043c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u0432 \u0438 \u0442\u0435\u043b\u043e\u043c:<\/p>\n<p><code>curl -sS -L -A \"Mozilla\/5.0 (compatible; GPTBot\/1.0; +https:\/\/openai.com\/gptbot)\" \\ <br \/>-D - -o \/tmp\/response.html https:\/\/example.com<\/code><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c:<\/p>\n<ul>\n<li>\n<p>-A \u2014 \u043f\u043e\u0434\u043c\u0435\u043d\u0430 User-Agent (\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c\u0441\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u0431\u043e\u0442\u043e\u043c);<\/p>\n<\/li>\n<li>\n<p>-L \u2014 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442\u0430\u043c, \u0438\u043d\u0430\u0447\u0435 \u043b\u0435\u0433\u043a\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044c 301 \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0437\u0430 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443;<\/p>\n<\/li>\n<li>\n<p>-D &#8212; \u2014 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u0432 stdout;<\/p>\n<\/li>\n<li>\n<p>-sS \u2014 \u0442\u0438\u0445\u0438\u0439 \u0440\u0435\u0436\u0438\u043c, \u043d\u043e \u0441 \u043f\u043e\u043a\u0430\u0437\u043e\u043c \u043e\u0448\u0438\u0431\u043e\u043a;<\/p>\n<\/li>\n<li>\n<p>-o \u2014 \u0442\u0435\u043b\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0433\u0440\u0435\u043f\u0430\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<h3>\u041a\u043e\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043f\u043e\u0438\u043c\u0451\u043d\u043d\u043e<\/h3>\n<p>\u0423 \u043a\u0430\u0436\u0434\u043e\u0439 \u0418\u0418-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0441\u0432\u043e\u0439 \u043a\u0440\u0430\u0443\u043b\u0435\u0440, \u0438 \u043e\u043d\u0438 \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u2014 \u0447\u0430\u0441\u0442\u044c \u0441\u0430\u0439\u0442\u043e\u0432 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u0442 \u043e\u0434\u043d\u0438\u0445 \u0431\u043e\u0442\u043e\u0432 \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0434\u0440\u0443\u0433\u0438\u0445. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u00ab\u0432 \u0446\u0435\u043b\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0441\u0430\u0439\u0442\u0430\u00bb \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e: \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0439\u0442\u0438\u0441\u044c \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p><strong>\u0411\u043e\u0442<\/strong><\/p>\n<\/th>\n<th>\n<p><strong>\u041a\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442<\/strong><\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GPTBot<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 OpenAI<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">ChatGPT-User<\/p>\n<\/td>\n<td>\n<p align=\"left\">live-\u0437\u0430\u043f\u0440\u043e\u0441\u044b ChatGPT \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">ClaudeBot<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 Anthropic<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Claude-SearchBot<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u043e\u0438\u0441\u043a \u0438 \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 Claude<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">PerplexityBot<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044f Perplexity<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Google-Extended<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430 \u0432 Gemini \/ AI Overviews<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Applebot-Extended<\/p>\n<\/td>\n<td>\n<p align=\"left\">Apple Intelligence<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">CCBot<\/p>\n<\/td>\n<td>\n<p align=\"left\">Common Crawl \u2014 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Amazonbot<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u044b Amazon<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">bingbot<\/p>\n<\/td>\n<td>\n<p align=\"left\">Bing + Copilot<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">meta-externalagent<\/p>\n<\/td>\n<td>\n<p align=\"left\">Meta AI<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0415\u0441\u043b\u0438 \u0441\u0430\u0439\u0442 \u0437\u0430\u043a\u0440\u044b\u043b CCBot \u0434\u0432\u0430 \u0433\u043e\u0434\u0430 \u043d\u0430\u0437\u0430\u0434 \u00ab\u043d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u00bb \u0438 \u0437\u0430\u0431\u044b\u043b \u2014 \u0432\u043e\u0442 \u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435, \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e \u0432\u0430\u0441 \u043d\u0435 \u0437\u043d\u0430\u044e\u0442.<\/p>\n<h3>\u0427\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 GET-\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441 \u043d\u0443\u0436\u043d\u044b\u043c User-Agent \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0440\u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f:<\/p>\n<ol>\n<li>\n<p><strong>200 \u0438 \u0447\u0438\u0441\u0442\u044b\u0439 HTML.<\/strong> \u0422\u0435\u043b\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b. \u0411\u043e\u0442 \u0432\u0438\u0434\u0438\u0442 \u0442\u043e \u0436\u0435, \u0447\u0442\u043e \u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a. \u042d\u0442\u043e \u0446\u0435\u043b\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>200, \u043d\u043e \u0441 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439.<\/strong> \u0421\u0442\u0430\u0442\u0443\u0441 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0439, \u0430 \u0432 \u0442\u0435\u043b\u0435 \u2014 \u0444\u043e\u0440\u043c\u0430 \u043a\u0430\u043f\u0447\u0438 \u0438\u043b\u0438 JS-\u0447\u0435\u043b\u043b\u0435\u043d\u0434\u0436 Cloudflare. \u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u0430\u0439\u0442 \u00ab\u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d\u00bb, \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0431\u043e\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0443\u0441\u0442\u044b\u0448\u043a\u0443. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0442\u0430\u043a:<\/p>\n<\/li>\n<\/ol>\n<p><code>grep -Ei 'captcha|challenge|cloudflare|verify you are human' \/tmp\/response.html<\/code><\/p>\n<p>\u0421\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u2014 \u0441\u0438\u0433\u043d\u0430\u043b, \u0447\u0442\u043e WAF \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043b \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0433\u043e \u043a\u043b\u0438\u0435\u043d\u0442\u0430.<\/p>\n<ol start=\"3\">\n<li>\n<p><strong>403 \u0438\u043b\u0438 503.<\/strong> \u041f\u0440\u044f\u043c\u043e\u0439 \u0437\u0430\u043f\u0440\u0435\u0442. \u0427\u0430\u0441\u0442\u043e \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430 \u043f\u043e User-Agent \u0438\u043b\u0438 \u043f\u043e \u043f\u043e\u0434\u0441\u0435\u0442\u0438, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0445\u043e\u0434\u0438\u0442 \u043a\u0440\u0430\u0443\u043b\u0435\u0440.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f: \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0432 robots.txt \u043d\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u21162, \u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 Cloudflare bot-fight mode \u043d\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u21163.<\/p>\n<h3>\u0421\u043a\u0440\u0438\u043f\u0442: \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f curl \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0431\u043e\u0442\u043e\u0432 \u0441\u0440\u0430\u0437\u0443<\/h3>\n<p>\u0420\u0443\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u043e\u0434\u0438\u043d\u043d\u0430\u0434\u0446\u0430\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434 \u0440\u0430\u0434\u0438 \u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f. \u041d\u0438\u0436\u0435 \u2014 \u0441\u043a\u0440\u0438\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442 curl \u0432 \u0446\u0438\u043a\u043b \u043f\u043e \u0432\u0441\u0435\u043c User-Agent, \u043f\u0430\u0440\u0441\u0438\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0442\u0430\u0442\u0443\u0441 \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0432 \u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<pre><code class=\"python\">#!\/usr\/bin\/env python3\"\"\"\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0441\u0430\u0439\u0442\u0430 \u0434\u043b\u044f AI-\u0431\u043e\u0442\u043e\u0432: curl \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 User-Agent.\"\"\"import reimport subprocessimport sysUSER_AGENTS = {    \"GPTBot\": \"Mozilla\/5.0 (compatible; GPTBot\/1.0; +https:\/\/openai.com\/gptbot)\",    \"ChatGPT-User\": \"Mozilla\/5.0 (compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot)\",    \"ClaudeBot\": \"Mozilla\/5.0 (compatible; ClaudeBot\/1.0; +claudebot@anthropic.com)\",    \"Claude-SearchBot\": \"Mozilla\/5.0 (compatible; Claude-SearchBot\/1.0; +claudebot@anthropic.com)\",    \"PerplexityBot\": \"Mozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)\",    \"Google-Extended\": \"Mozilla\/5.0 (compatible; Google-Extended\/1.0)\",    \"Applebot-Extended\": \"Mozilla\/5.0 (compatible; Applebot-Extended\/1.0)\",    \"CCBot\": \"CCBot\/2.0 (+https:\/\/commoncrawl.org\/faq\/)\",    \"Amazonbot\": \"Mozilla\/5.0 (compatible; Amazonbot\/0.1; +https:\/\/developer.amazon.com\/support\/amazonbot)\",    \"bingbot\": \"Mozilla\/5.0 (compatible; bingbot\/2.0; +http:\/\/www.bing.com\/bingbot.htm)\",    \"meta-externalagent\": \"meta-externalagent\/1.1\",}CHALLENGE_MARKERS = re.compile(r\"captcha|challenge|cloudflare|verify you are human\", re.I)def fetch(url: str, user_agent: str) -&gt; tuple[int, str]:    \"\"\"\u0412\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 GET \u0447\u0435\u0440\u0435\u0437 curl \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 (\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0442\u0430\u0442\u0443\u0441, \u0442\u0435\u043b\u043e).\"\"\"    result = subprocess.run(        [\"curl\", \"-sS\", \"-L\", \"-A\", user_agent, \"-D\", \"-\", \"-o\", \"-\",         \"--max-time\", \"15\", url],        capture_output=True, text=True, check=False,    )    # -L \u043c\u043e\u0436\u0435\u0442 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043b\u043e\u043a\u043e\u0432 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u0432 (\u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043d\u0430 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442),    # \u0440\u0430\u0437\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u043f\u0443\u0441\u0442\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u043e\u0439 \u2014 \u0442\u0435\u043b\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u043a\u0443\u0441\u043a\u0435.    parts = result.stdout.split(\"\\r\\n\\r\\n\")    body = parts[-1]    headers = \"\\r\\n\\r\\n\".join(parts[:-1])    statuses = re.findall(r\"HTTP\/\\S+\\s+(\\d+)\", headers)    status = int(statuses[-1]) if statuses else 0    return status, bodydef classify(status: int, body: str) -&gt; str:    if status in (403, 503):        return \"\u0417\u0410\u0411\u041b\u041e\u041a\u0418\u0420\u041e\u0412\u0410\u041d\"    if status == 200 and CHALLENGE_MARKERS.search(body):        return \"\u041f\u0420\u041e\u0412\u0415\u0420\u041a\u0410 (WAF\/Cloudflare)\"    if status == 200:        return \"\u0414\u041e\u0421\u0422\u0423\u041f\u0415\u041d\"    return f\"\u041d\u0415\u0418\u0417\u0412\u0415\u0421\u0422\u041d\u041e ({status})\"def run_report(url: str) -&gt; None:    print(f\"{'\u0411\u043e\u0442':&lt;20} {'HTTP':&lt;6} \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\")    print(\"-\" * 50)    for name, ua in USER_AGENTS.items():        status, body = fetch(url, ua)        print(f\"{name:&lt;20} {status:&lt;6} {classify(status, body)}\")def _demo() -&gt; None:    \"\"\"\u0421\u0430\u043c\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043b\u043e\u0433\u0438\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0431\u0435\u0437 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.\"\"\"    assert classify(403, \"\") == \"\u0417\u0410\u0411\u041b\u041e\u041a\u0418\u0420\u041e\u0412\u0410\u041d\"    assert classify(200, \"please verify you are human\") == \"\u041f\u0420\u041e\u0412\u0415\u0420\u041a\u0410 (WAF\/Cloudflare)\"    assert classify(200, \"&lt;html&gt;ok&lt;\/html&gt;\") == \"\u0414\u041e\u0421\u0422\u0423\u041f\u0415\u041d\"    assert classify(500, \"\") == \"\u041d\u0415\u0418\u0417\u0412\u0415\u0421\u0422\u041d\u041e (500)\"    print(\"self-check OK\\n\")if __name__ == \"__main__\":    _demo()    if len(sys.argv) &gt; 1:        run_report(sys.argv[1])    else:        print(\"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435: python check_ai_bots.py https:\/\/example.com\")<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a:<\/p>\n<p><code>python3 check_ai_bots.py <\/code><a href=\"https:\/\/example.com\" rel=\"noopener noreferrer nofollow\"><code>https:\/\/example.com<\/code><\/a><\/p>\n<p>\u0412\u044b\u0432\u043e\u0434 \u2014 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0438\u0437 \u043e\u0434\u0438\u043d\u043d\u0430\u0434\u0446\u0430\u0442\u0438 \u0441\u0442\u0440\u043e\u043a: \u0431\u043e\u0442, HTTP-\u0441\u0442\u0430\u0442\u0443\u0441, \u0432\u0435\u0440\u0434\u0438\u043a\u0442. \u041d\u0438\u0447\u0435\u0433\u043e \u043b\u0438\u0448\u043d\u0435\u0433\u043e \u2014 \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u043d\u044f\u0442\u044c, \u0434\u043b\u044f \u043a\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0441\u0430\u0439\u0442 \u0437\u0430\u043a\u0440\u044b\u0442.<\/p>\n<p><em>\u0421\u043a\u0440\u0438\u043f\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e curl \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 Python \u2014 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/em><\/p>\n<h3>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c<\/h3>\n<ul>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u0443\u0441 403\/503 \u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430<\/strong> \u2014 \u0438\u0449\u0438\u0442\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430 \u0438\u043b\u0438 CDN \u043f\u043e \u0438\u043c\u0435\u043d\u0438 \u044d\u0442\u043e\u0433\u043e User-Agent \u0438 \u0441\u043d\u0438\u043c\u0430\u0439\u0442\u0435 \u0435\u0433\u043e \u0442\u043e\u0447\u0435\u0447\u043d\u043e, \u043d\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u044f \u0437\u0430\u0449\u0438\u0442\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>200 \u0441 \u0447\u0435\u043b\u043b\u0435\u043d\u0434\u0436\u0435\u043c<\/strong> \u2014 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435 User-Agent&#8217;\u044b \u0431\u043e\u0442\u043e\u0432 \u0438\u0437 \u043f\u0440\u0430\u0432\u0438\u043b bot-fight\/JS-challenge \u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 Cloudflare \u0438\u043b\u0438 WAF.<\/p>\n<\/li>\n<li>\n<p><strong>200 \u0438 \u0447\u0438\u0441\u0442\u043e<\/strong> \u2014 \u0441\u0430\u0439\u0442 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u043e\u0442\u043a\u0440\u044b\u0442; \u0435\u0441\u043b\u0438 \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0439 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0435\u0442, \u043f\u0440\u0438\u0447\u0438\u043d\u0430 \u0443\u0436\u0435 \u043d\u0435 \u0432 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438, \u0430 \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u044d\u0442\u043e \u0440\u0443\u043a\u0430\u043c\u0438 \u2014 \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0441\u0430\u0439\u0442\u0430 \u0434\u043b\u044f \u0418\u0418-\u0431\u043e\u0442\u043e\u0432 \u0443\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c-\u0431\u043e\u0442\u0435 <a href=\"https:\/\/t.me\/AvigroupAI_bot\" rel=\"noopener noreferrer nofollow\"><strong>@AvigroupAI_bot<\/strong><\/a>: \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0441\u043b\u0430\u0442\u044c \u0441\u0441\u044b\u043b\u043a\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u043e\u0442\u0447\u0451\u0442 \u0431\u0435\u0437 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0430.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1074550\/\">https:\/\/habr.com\/ru\/articles\/1074550\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0421\u0430\u0439\u0442 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435, \u043e\u0442\u0434\u0430\u0451\u0442 200 OK, \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u0440\u0435\u043d\u0434\u0435\u0440\u0438\u0442\u0441\u044f \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0438 ChatGPT, \u043d\u0438 Claude, \u043d\u0438 Perplexity \u043d\u0438 \u0440\u0430\u0437\u0443 \u043d\u0435 \u0441\u043e\u0441\u043b\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u0432\u0430\u0448 \u043a\u043e\u043d\u0442\u0435\u043d\u0442. \u041f\u0435\u0440\u0432\u043e\u0435, \u043d\u0430 \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0433\u0440\u0435\u0448\u0430\u0442 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u2014 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u043b\u0438 \u0435\u0433\u043e SEO-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0430 \u0447\u0430\u0449\u0435 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043d\u0438\u0436\u0435: \u0431\u043e\u0442\u044b \u044d\u0442\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0442\u0443 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u0438\u0434\u0438\u0442\u0435 \u0432\u044b.\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0447\u0430\u0441\u0442\u043e \u044d\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 shared-\u0445\u043e\u0441\u0442\u0438\u043d\u0433\u0435 \u0438\u043b\u0438 \u0437\u0430 CDN. \u0410\u043d\u0442\u0438\u0431\u043e\u0442-\u0437\u0430\u0449\u0438\u0442\u0430 \u0442\u0430\u043c \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u2014 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u043c \u0438\u043b\u0438 \u0445\u043e\u0441\u0442\u0438\u043d\u0433-\u043f\u0430\u043d\u0435\u043b\u044c\u044e, \u0430 \u043d\u0435 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430 \u0441\u0430\u0439\u0442\u0430. Cloudflare, WAF \u0445\u043e\u0441\u0442\u0438\u043d\u0433\u0430 \u0438\u043b\u0438 \u043c\u043e\u0434\u0443\u043b\u044c \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430 \u043c\u043e\u0436\u043d\u043e \u0433\u043e\u0434\u0430\u043c\u0438 \u043d\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u044c: \u043e\u0431\u044b\u0447\u043d\u044b\u043c \u043f\u043e\u0441\u0435\u0442\u0438\u0442\u0435\u043b\u044f\u043c \u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u043c \u0431\u043e\u0442\u0430\u043c Google \u043e\u043d \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442, \u0430 \u0432\u043e\u0442 \u043d\u043e\u0432\u044b\u0435 \u043a\u0440\u0430\u0443\u043b\u0435\u0440\u044b \u0432\u0440\u043e\u0434\u0435 GPTBot \u0438\u043b\u0438 ClaudeBot \u043f\u043e\u0434 \u0440\u0430\u0437\u0434\u0430\u0447\u0443 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u2014 \u0438\u0445 \u043b\u0438\u0431\u043e \u0435\u0449\u0451 \u043d\u0435 \u0437\u0430\u043d\u0435\u0441\u043b\u0438 \u0432 \u0431\u0435\u043b\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a, \u043b\u0438\u0431\u043e \u0440\u0435\u0436\u0443\u0442 \u043f\u043e \u0440\u0435\u043f\u0443\u0442\u0430\u0446\u0438\u0438 IP-\u043f\u043e\u0434\u0441\u0435\u0442\u0438 \u0438\u043b\u0438 \u043f\u043e \u0441\u0430\u043c\u043e\u043c\u0443 User-Agent. \u0418\u0442\u043e\u0433 \u043e\u0434\u0438\u043d: \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440 \u0441\u0430\u0439\u0442\u0430 \u0438\u0441\u043a\u0440\u0435\u043d\u043d\u0435 \u043d\u0435 \u043f\u043e\u0434\u043e\u0437\u0440\u0435\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u043d\u0435\u0432\u0438\u0434\u0438\u043c \u0434\u043b\u044f \u0418\u0418-\u0441\u0438\u0441\u0442\u0435\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 \u0438 \u0432 Google Search Console \u0432\u0441\u0451 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e.\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e \u043d\u0430 \u0433\u043b\u0430\u0437 \u043d\u0435\u043b\u044c\u0437\u044f \u2014 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0441\u0430\u0439\u0442 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430. \u041d\u0438\u0436\u0435 \u2014 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0430, \u0441\u043f\u0438\u0441\u043e\u043a \u0431\u043e\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043f\u043e\u0438\u043c\u0451\u043d\u043d\u043e, \u0438 Python-\u0441\u043a\u0440\u0438\u043f\u0442, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0432\u0441\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.\u041b\u043e\u0432\u0443\u0448\u043a\u0430 HEAD-\u0437\u0430\u043f\u0440\u043e\u0441\u0430\u041f\u0435\u0440\u0432\u043e\u0435, \u043d\u0430 \u0447\u0451\u043c \u0441\u043f\u043e\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043b\u044e\u0431\u0430\u044f \u0440\u0443\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430: curl -I \u0432\u0430\u0448\u0435\u0433\u043e \u0434\u043e\u043c\u0435\u043d\u0430.curl -I https:\/\/example.com\u0421\u0435\u0440\u0432\u0435\u0440 \u0447\u0435\u0441\u0442\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 HTTP\/2 200. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u2014 \u00ab\u0432\u0441\u0451 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u00bb. \u0412\u044b\u0432\u043e\u0434 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439. -I \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 HEAD-\u0437\u0430\u043f\u0440\u043e\u0441: \u0441\u0435\u0440\u0432\u0435\u0440 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u0438 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0442\u0435\u043b\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b. \u0410 \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u044e\u0449\u0438\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u2014 Cloudflare, WAF, \u0430\u043d\u0442\u0438\u0431\u043e\u0442-\u043c\u043e\u0434\u0443\u043b\u044c \u2014 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0438\u0441\u0438\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 GET, \u0442\u0430\u043c, \u0433\u0434\u0435 \u043e\u0442\u0434\u0430\u0451\u0442\u0441\u044f \u0442\u0435\u043b\u043e \u043e\u0442\u0432\u0435\u0442\u0430.\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0441\u0442\u043e\u0438\u0442, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u0441\u0430\u043c\u0430 \u0441\u0435\u0431\u044f \u043e\u0431\u043c\u0430\u043d\u044b\u0432\u0430\u0435\u0442. \u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u2014 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 GET \u0441 \u0432\u044b\u0432\u043e\u0434\u043e\u043c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u0432 \u0438 \u0442\u0435\u043b\u043e\u043c:curl -sS -L -A &#171;Mozilla\/5.0 (compatible; GPTBot\/1.0; +https:\/\/openai.com\/gptbot)&#187; \\ -D &#8212; -o \/tmp\/response.html https:\/\/example.com\u0417\u0434\u0435\u0441\u044c:-A \u2014 \u043f\u043e\u0434\u043c\u0435\u043d\u0430 User-Agent (\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c\u0441\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u0431\u043e\u0442\u043e\u043c);-L \u2014 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442\u0430\u043c, \u0438\u043d\u0430\u0447\u0435 \u043b\u0435\u0433\u043a\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044c 301 \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0437\u0430 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443;-D &#8212; \u2014 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u0432 stdout;-sS \u2014 \u0442\u0438\u0445\u0438\u0439 \u0440\u0435\u0436\u0438\u043c, \u043d\u043e \u0441 \u043f\u043e\u043a\u0430\u0437\u043e\u043c \u043e\u0448\u0438\u0431\u043e\u043a;-o \u2014 \u0442\u0435\u043b\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0433\u0440\u0435\u043f\u0430\u0442\u044c.\u041a\u043e\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043f\u043e\u0438\u043c\u0451\u043d\u043d\u043e\u0423 \u043a\u0430\u0436\u0434\u043e\u0439 \u0418\u0418-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0441\u0432\u043e\u0439 \u043a\u0440\u0430\u0443\u043b\u0435\u0440, \u0438 \u043e\u043d\u0438 \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u2014 \u0447\u0430\u0441\u0442\u044c \u0441\u0430\u0439\u0442\u043e\u0432 \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u0435\u0442 \u043e\u0434\u043d\u0438\u0445 \u0431\u043e\u0442\u043e\u0432 \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0434\u0440\u0443\u0433\u0438\u0445. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u00ab\u0432 \u0446\u0435\u043b\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0441\u0430\u0439\u0442\u0430\u00bb \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e: \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0439\u0442\u0438\u0441\u044c \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443.\u0411\u043e\u0442\u041a\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442GPTBot\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 OpenAIChatGPT-Userlive-\u0437\u0430\u043f\u0440\u043e\u0441\u044b ChatGPT \u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044fClaudeBot\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 AnthropicClaude-SearchBot\u043f\u043e\u0438\u0441\u043a \u0438 \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 ClaudePerplexityBot\u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044f PerplexityGoogle-Extended\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430 \u0432 Gemini \/ AI OverviewsApplebot-ExtendedApple IntelligenceCCBotCommon Crawl \u2014 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439Amazonbot\u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u044b AmazonbingbotBing + Copilotmeta-externalagentMeta AI\u0415\u0441\u043b\u0438 \u0441\u0430\u0439\u0442 \u0437\u0430\u043a\u0440\u044b\u043b CCBot \u0434\u0432\u0430 \u0433\u043e\u0434\u0430 \u043d\u0430\u0437\u0430\u0434 \u00ab\u043d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u00bb \u0438 \u0437\u0430\u0431\u044b\u043b \u2014 \u0432\u043e\u0442 \u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435, \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e \u0432\u0430\u0441 \u043d\u0435 \u0437\u043d\u0430\u044e\u0442.\u0427\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0442\u0432\u0435\u0442\u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 GET-\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441 \u043d\u0443\u0436\u043d\u044b\u043c User-Agent \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0440\u0438 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f:200 \u0438 \u0447\u0438\u0441\u0442\u044b\u0439 HTML. \u0422\u0435\u043b\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b. \u0411\u043e\u0442 \u0432\u0438\u0434\u0438\u0442 \u0442\u043e \u0436\u0435, \u0447\u0442\u043e \u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a. \u042d\u0442\u043e \u0446\u0435\u043b\u044c.200, \u043d\u043e \u0441 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439. \u0421\u0442\u0430\u0442\u0443\u0441 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0439, \u0430 \u0432 \u0442\u0435\u043b\u0435 \u2014 \u0444\u043e\u0440\u043c\u0430 \u043a\u0430\u043f\u0447\u0438 \u0438\u043b\u0438 JS-\u0447\u0435\u043b\u043b\u0435\u043d\u0434\u0436 Cloudflare. \u0424\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u0430\u0439\u0442 \u00ab\u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d\u00bb, \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0431\u043e\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0443\u0441\u0442\u044b\u0448\u043a\u0443. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0442\u0430\u043a:grep -Ei &#8216;captcha|challenge|cloudflare|verify you are human&#8217; \/tmp\/response.html\u0421\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u2014 \u0441\u0438\u0433\u043d\u0430\u043b, \u0447\u0442\u043e WAF \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043b \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0433\u043e \u043a\u043b\u0438\u0435\u043d\u0442\u0430.403 \u0438\u043b\u0438 503. \u041f\u0440\u044f\u043c\u043e\u0439 \u0437\u0430\u043f\u0440\u0435\u0442. \u0427\u0430\u0441\u0442\u043e \u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430 \u043f\u043e User-Agent \u0438\u043b\u0438 \u043f\u043e \u043f\u043e\u0434\u0441\u0435\u0442\u0438, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0445\u043e\u0434\u0438\u0442 \u043a\u0440\u0430\u0443\u043b\u0435\u0440.\u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f: \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0432 robots.txt \u043d\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u21162, \u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 Cloudflare bot-fight mode \u043d\u0435 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u21163.\u0421\u043a\u0440\u0438\u043f\u0442: \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f curl \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0431\u043e\u0442\u043e\u0432 \u0441\u0440\u0430\u0437\u0443\u0420\u0443\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u043e\u0434\u0438\u043d\u043d\u0430\u0434\u0446\u0430\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434 \u0440\u0430\u0434\u0438 \u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f. \u041d\u0438\u0436\u0435 \u2014 \u0441\u043a\u0440\u0438\u043f\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442 curl \u0432 \u0446\u0438\u043a\u043b \u043f\u043e \u0432\u0441\u0435\u043c User-Agent, \u043f\u0430\u0440\u0441\u0438\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0442\u0430\u0442\u0443\u0441 \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0432 \u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442.#!\/usr\/bin\/env python3&#8243;&#187;&#187;\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0441\u0430\u0439\u0442\u0430 \u0434\u043b\u044f AI-\u0431\u043e\u0442\u043e\u0432: curl \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 User-Agent.&#187;&#187;&#187;import reimport subprocessimport sysUSER_AGENTS = {    &#171;GPTBot&#187;: &#171;Mozilla\/5.0 (compatible; GPTBot\/1.0; +https:\/\/openai.com\/gptbot)&#187;,    &#171;ChatGPT-User&#187;: &#171;Mozilla\/5.0 (compatible; ChatGPT-User\/1.0; +https:\/\/openai.com\/bot)&#187;,    &#171;ClaudeBot&#187;: &#171;Mozilla\/5.0 (compatible; ClaudeBot\/1.0; +claudebot@anthropic.com)&#187;,    &#171;Claude-SearchBot&#187;: &#171;Mozilla\/5.0 (compatible; Claude-SearchBot\/1.0; +claudebot@anthropic.com)&#187;,    &#171;PerplexityBot&#187;: &#171;Mozilla\/5.0 (compatible; PerplexityBot\/1.0; +https:\/\/perplexity.ai\/perplexitybot)&#187;,    &#171;Google-Extended&#187;: &#171;Mozilla\/5.0 (compatible; Google-Extended\/1.0)&#187;,    &#171;Applebot-Extended&#187;: &#171;Mozilla\/5.0 (compatible; Applebot-Extended\/1.0)&#187;,    &#171;CCBot&#187;: &#171;CCBot\/2.0 (+https:\/\/commoncrawl.org\/faq\/)&#187;,    &#171;Amazonbot&#187;: &#171;Mozilla\/5.0 (compatible; Amazonbot\/0.1; +https:\/\/developer.amazon.com\/support\/amazonbot)&#187;,    &#171;bingbot&#187;: &#171;Mozilla\/5.0 (compatible; bingbot\/2.0; +http:\/\/www.bing.com\/bingbot.htm)&#187;,    &#171;meta-externalagent&#187;: &#171;meta-externalagent\/1.1&#8243;,}CHALLENGE_MARKERS = re.compile(r&#187;captcha|challenge|cloudflare|verify you are human&#187;, re.I)def fetch(url: str, user_agent: str) -&gt; tuple[int, str]:    &#171;&#187;&#187;\u0412\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 GET \u0447\u0435\u0440\u0435\u0437 curl \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 (\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0442\u0430\u0442\u0443\u0441, \u0442\u0435\u043b\u043e).&#187;&#187;&#187;    result = subprocess.run(        [&#171;curl&#187;, &#171;-sS&#187;, &#171;-L&#187;, &#171;-A&#187;, user_agent, &#171;-D&#187;, &#171;-&#171;, &#171;-o&#187;, &#171;-&#171;,         &#171;&#8212;max-time&#187;, &#171;15&#187;, url],        capture_output=True, text=True, check=False,    )    # -L \u043c\u043e\u0436\u0435\u0442 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043b\u043e\u043a\u043e\u0432 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u0432 (\u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043d\u0430 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442),    # \u0440\u0430\u0437\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u043f\u0443\u0441\u0442\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u043e\u0439 \u2014 \u0442\u0435\u043b\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u043a\u0443\u0441\u043a\u0435.    parts = result.stdout.split(&#171;\\r\\n\\r\\n&#187;)    body = parts[-1]    headers = &#171;\\r\\n\\r\\n&#187;.join(parts[:-1])    statuses = re.findall(r&#187;HTTP\/\\S+\\s+(\\d+)&#187;, headers)    status = int(statuses[-1]) if statuses else 0    return status, bodydef classify(status: int, body: str) -&gt; str:    if status in (403, 503):        return &#171;\u0417\u0410\u0411\u041b\u041e\u041a\u0418\u0420\u041e\u0412\u0410\u041d&#187;    if status == 200 and CHALLENGE_MARKERS.search(body):        return &#171;\u041f\u0420\u041e\u0412\u0415\u0420\u041a\u0410 (WAF\/Cloudflare)&#187;    if status == 200:        return &#171;\u0414\u041e\u0421\u0422\u0423\u041f\u0415\u041d&#187;    return f&#187;\u041d\u0415\u0418\u0417\u0412\u0415\u0421\u0422\u041d\u041e ({status})&#187;def run_report(url: str) -&gt; None:    print(f&#187;{&#8216;\u0411\u043e\u0442&#8217;:&lt;20} {&#8216;HTTP&#8217;:&lt;6} \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442&#187;)    print(&#171;-&#187; * 50)    for name, ua in USER_AGENTS.items():        status, body = fetch(url, ua)        print(f&#187;{name:&lt;20} {status:&lt;6} {classify(status, body)}&#187;)def _demo() -&gt; None:    &#171;&#187;&#187;\u0421\u0430\u043c\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043b\u043e\u0433\u0438\u043a\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0431\u0435\u0437 \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.&#187;&#187;&#187;    assert classify(403, &#171;&#187;) == &#171;\u0417\u0410\u0411\u041b\u041e\u041a\u0418\u0420\u041e\u0412\u0410\u041d&#187;    assert classify(200, &#171;please verify you are human&#187;) == &#171;\u041f\u0420\u041e\u0412\u0415\u0420\u041a\u0410 (WAF\/Cloudflare)&#187;    assert classify(200, &#171;&lt;html&gt;ok&lt;\/html&gt;&#187;) == &#171;\u0414\u041e\u0421\u0422\u0423\u041f\u0415\u041d&#187;    assert classify(500, &#171;&#187;) == &#171;\u041d\u0415\u0418\u0417\u0412\u0415\u0421\u0422\u041d\u041e (500)&#187;    print(&#171;self-check OK\\n&#187;)if __name__ == &#171;__main__&#187;:    _demo()    if len(sys.argv) &gt; 1:        run_report(sys.argv[1])    else:        print(&#171;\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435: python check_ai_bots.py https:\/\/example.com&#187;)\u0417\u0430\u043f\u0443\u0441\u043a:python3 check_ai_bots.py https:\/\/example.com\u0412\u044b\u0432\u043e\u0434 \u2014 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0438\u0437 \u043e\u0434\u0438\u043d\u043d\u0430\u0434\u0446\u0430\u0442\u0438 \u0441\u0442\u0440\u043e\u043a: \u0431\u043e\u0442, HTTP-\u0441\u0442\u0430\u0442\u0443\u0441, \u0432\u0435\u0440\u0434\u0438\u043a\u0442. \u041d\u0438\u0447\u0435\u0433\u043e \u043b\u0438\u0448\u043d\u0435\u0433\u043e \u2014 \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u043d\u044f\u0442\u044c, \u0434\u043b\u044f \u043a\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0441\u0430\u0439\u0442 \u0437\u0430\u043a\u0440\u044b\u0442.\u0421\u043a\u0440\u0438\u043f\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e curl \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 Python \u2014 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c\u0421\u0442\u0430\u0442\u0443\u0441 403\/503 \u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u2014 \u0438\u0449\u0438\u0442\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0444\u0430\u0439\u0440\u0432\u043e\u043b\u0430 \u0438\u043b\u0438 CDN \u043f\u043e \u0438\u043c\u0435\u043d\u0438 \u044d\u0442\u043e\u0433\u043e User-Agent \u0438 \u0441\u043d\u0438\u043c\u0430\u0439\u0442\u0435 \u0435\u0433\u043e \u0442\u043e\u0447\u0435\u0447\u043d\u043e, \u043d\u0435 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u044f \u0437\u0430\u0449\u0438\u0442\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.200 \u0441 \u0447\u0435\u043b\u043b\u0435\u043d\u0434\u0436\u0435\u043c \u2014 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435 User-Agent&#8217;\u044b \u0431\u043e\u0442\u043e\u0432 \u0438\u0437 \u043f\u0440\u0430\u0432\u0438\u043b bot-fight\/JS-challenge \u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 Cloudflare \u0438\u043b\u0438 WAF.200 \u0438 \u0447\u0438\u0441\u0442\u043e \u2014 \u0441\u0430\u0439\u0442 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0431\u043e\u0442\u0430 \u043e\u0442\u043a\u0440\u044b\u0442; \u0435\u0441\u043b\u0438 \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0439 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0435\u0442, \u043f\u0440\u0438\u0447\u0438\u043d\u0430 \u0443\u0436\u0435 \u043d\u0435 \u0432 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438, \u0430 \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430.\u0415\u0441\u043b\u0438 \u043d\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u044d\u0442\u043e \u0440\u0443\u043a\u0430\u043c\u0438 \u2014 \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0441\u0430\u0439\u0442\u0430 \u0434\u043b\u044f \u0418\u0418-\u0431\u043e\u0442\u043e\u0432 \u0443\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c-\u0431\u043e\u0442\u0435 @AvigroupAI_bot: \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0441\u043b\u0430\u0442\u044c \u0441\u0441\u044b\u043b\u043a\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u043e\u0442\u0447\u0451\u0442 \u0431\u0435\u0437 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0430.\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 https:\/\/habr.com\/ru\/articles\/1074550\/<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-492220","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/492220","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=492220"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/492220\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=492220"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=492220"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=492220"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}