Двуликий REQUEST_URI или в поисках корректного HTTP/1.1 сервера

Сможете в .htaccess на уровне Apache сделать корректную переадресацию 301 с домена с префиксом www или на него?

Для последнего вопроса я и сейчас не смогу предложить решение. Причина в протоколе HTTP/1.1, который пришлось изучить подробнее, когда «изобретал велосипед» (создавал ядро для сайта).

Всё дело в HTTP-заголовке запроса «Host:». При определённых условиях там может быть всё, что угодно, причём сервер должен полностью это проигнорировать согласно HTTP/1.1. Большинство же разработчиков используют значение этого поля, например, для SEO-оптимизаций. Забегая вперёд, скажу, что дополнительный прокси (например, nginx) позволит решить эту проблему.

Для иллюстрации некорректного поведения серверов решил перебрать сайты компаний Хабра. Для дюжины сайтов сделал это вручную, а потом обнаружил, что некоторые сайты на ошибочные запросы отвечают «правильно». После этого была написана небольшая утилита для тестирования, что позволило увеличить количество тестовых шаблонов и проверяемых сайтов.

Что же скрывает REQUEST_URI в HTTP/1.1?

Теория

HTTP/1.0

Начну с протокола HTTP/1.0, который описан в RfC1945 www.w3.org/Protocols/rfc1945/rfc1945 и датирован маем 1996 года. Для получения нужной страницы достаточно было подключиться к серверу и отправить одну строку:

GET /path/to/resource.html HTTP/1.0

При обращении к прокси-серверу необходимо было использовать не абсолютный путь, а полный адрес:

GET http://domain.name/path/to/resource.html HTTP/1.0

Это всё описано в разделе 5.1.2 «Request-URI».

Появление Host

Чтобы один сервер мог обслуживать сразу несколько доменных имён создатели протокола добавили заголовок запроса «Host:», который должен был содержать домен, к которому идёт обращение. Хотя данный заголовок и не является частью стандарта HTTP/1.0, но некоторыми серверами и клиентами он стал поддерживаться. Например, wget отправляет запросы по протоколу HTTP/1.0, но добавляет «Host:».

HTTP/1.1

В июне 1999 года (четырнадцать лет назад) появился протокол HTTP/1.1, который описан в RfC2616 www.w3.org/Protocols/rfc2616/rfc2616.html. В разделе 14.23 новый протокол потребовал, чтобы каждый заголовок запроса содержал поле «Host»:

A client MUST include a Host header field in all HTTP/1.1 request messages. If the requested URI does not include an Internet host name for the service being requested, then the Host header field MUST be given with an empty value.

Кроме этого значительные изменения коснулись Request-URI из строки запросов (раздел 5.1.2). Как и в предыдущем протоколе полный адрес требуется при запросах к прокси серверам («The absoluteURI form is REQUIRED when the request is being made to a proxy.»). Но отвечать на подобные запросы должны все сервера, хотя оформлять подобные запросы клиенты будут лишь к прокси серверам:

To allow for transition to absoluteURIs in all requests in future versions of HTTP, all HTTP/1.1 servers MUST accept the absoluteURI form in requests, even though HTTP/1.1 clients will only generate them in requests to proxies.

Обращаю внимание, что предполагался переход на полные адреса, поэтому от клиентов не требуется обязательного использования лишь абсолютных путей. Кроме того, от сервера в явном виде требуется умение отвечать на запросы клиентов с absoluteURI, поэтому возражение, что в данном случае запрос клиента не является корректным, исключаю сразу, поскольку «клиент всегда прав».

Host в HTTP/1.1

Изменения в Request-URI могут показаться безобидными, но раздел 5.2 содержит одно важное требование: «If Request-URI is an absoluteURI, the host is part of the Request-URI. Any Host header field value in the request MUST be ignored.» То есть интерпретация запроса

GET http://domain.name/path/to/resource.html HTTP/1.1 Host: любой_текст_тут

должна совпадать с запросом

GET /path/to/resource.html HTTP/1.1 Host: domain.name

Вы игнорируете «Host:» при запросах с absoluteURI?

%{REQUEST_URI} и $_SERVER["REQUEST_URI"]

В документации по mod_rewrite написано следующее:

THE_REQUEST
The full HTTP request line sent by the browser to the server (e.g., «GET /index.html HTTP/1.1»). This does not include any additional headers sent by the browser. This value has not been unescaped (decoded), unlike most other variables below.

REQUEST_URI
The path component of the requested URI, such as "/index.html". This notably excludes the query string which is available as as its own variable named QUERY_STRING.

То есть в %{REQUEST_URI} всегда будет абсолютный путь и никогда полного адреса.

Попробуйте стандартную SEO задачу по добавлению «www» к домену без него решить с помощью mod_rewrite, если пользователь отправит следующий запрос:

GET http://domain.name/path/to/resource.html HTTP/1.1 Host: www.domain.name

Вначале статьи спрашивал про отличие %{REQUEST_URI} в Apache mod_rewrite от $_SERVER["REQUEST_URI"] в PHP, поэтому приведу выдержку из документации к PHP:

REQUEST_URI
The URI which was given in order to access this page; for instance, ‘/index.html’.

Может быть это где-нибудь и настраивается, но у меня PHP/5.3.13 возвращает absoluteURI при запросе с полным адресом.

Практика

Давайте теперь рассмотрим, что же происходит при запросах к реальным серверам. Адреса сайтов взял со страницы компаний Хабра (там список меняется, брал в конце прошлой недели). Набросал небольшой скрипт на Node.JS, в котором функция http_check отправляет одиночные запросы, а full_http_check формирует к одному серверу несколько запросов по определённым шаблонам.

var net = require('net');  var default_result = function(title) { 	if (title) { 		return 	{'title': 'title', 'step': 'step', 'host': 'host', 'request': 'request', 'header': 'header', 'full_response': 'full_response', 'response': 'response', 'server': 'server', 'length': 'length', 'location': 'location', 'error': 'error'}; 	} else { 		return 	{'title': '', 'step': '', 'host': '', 'request': '', 'header': '', 'full_response': '', 'response': '', 'server': '', 'length': '', 'location': '', 'error': ''}; 	} };  var format_result = function(result) { 	return '' + result['title'].toString() + '\t' 		+ result['step'] + '\t' 		+ result['host'] + '\t' 		+ result['request'].toString() + '\t'  		+ result['header'].toString() + '\t'  		+ result['response'].toString() + '\t'  		+ result['server'].toString() + '\t'  		+ result['length'].toString() + '\t' 		+ result['error'].toString() + '\t'  		+ result['location'].toString() + '\t'  		+ result['full_response'].toString(); };  var http_check = function(title, step, host, req, host_hdr) { 	var host_header = host_hdr || ''; 	var result = default_result(false); 	result['title'] = title; 	result['step'] = step; 	result['host'] = host; 	result['request'] = req; 	result['header'] = host_header; 	var dat = ''; 	  	var client = net.connect({port: 80, host: host}, 		function() { //'connect' listener 			client.on('data', function (data) { 				dat = dat + data; 				var lines = dat.toString().split('\r\n'); 				result['full_response'] = JSON.stringify(dat.toString().split('\r\n\r\n')[0]); 				result['response']  = lines[0] || false; 				if (lines[0].substring(0, 5) == 'HTTP/') { 					var i = 1; 					while (lines[i] != '') { 						var title = lines[i].match(/^([^:]+:)\s(.+)$/); 						if (title[1] == 'Location:') { 							result['location'] = title[2]; 						} else if (title[1] == 'Server:') { 							result['server'] = title[2]; 						} else if (title[1] == 'Content-Length:') { 							result['length'] = title[2]; 						} 						i++; 					} 					if (dat.indexOf('\r\n\r\n') >= 0) { 						client.end(); 						client.destroy(); 					} 				} else { 					client.end(); 					client.destroy(); 				} 				 			}); 			client.on('end', function () { 			  console.log('client disconnected'); 			});  			client.on('error', function (error) { 				console.log('ERROR: ' + error.toString()); 			});  			client.on('timeout', function () { 				console.log('Timeout'); 			}); 				 			client.on('close', function (had_error)	{ 				result['error'] = result['error'] || had_error || ''; 				console.log(format_result(result)); 			});  				client.write(req + '\r\n'); 				host_hdr && client.write('Host: ' + host_hdr + '\r\n'); 				client.write('\r\n'); 			});  	 };  var full_http_check = function(title, url) { 	var parts = url.match(/^http:\/\/([^\/]+)(.+)$/);  // 1 // GET /path/to/resource.html HTTP/1.1 // Host: domain.name 	http_check(title, '01', parts[1], 'GET ' + parts[2] + ' HTTP/1.1', parts[1]); 	 // 2 // GET http://domain.name/path/to/resource.html HTTP/1.1 // Host: domain.name 	http_check(title, '02', parts[1], 'GET http://' + parts[1] + parts[2] + ' HTTP/1.1', parts[1]);  // 3 // GET /path/to/resource.html HTTP/1.0 	http_check(title, '03', parts[1], 'GET ' + parts[2] + ' HTTP/1.0', '');  // 4 // GET /path/to/resource.html HTTP/1.0 // Host: domain.name 	http_check(title, '04', parts[1], 'GET ' + parts[2] + ' HTTP/1.0', parts[1]);  // 5 // GET http://domain.name/path/to/resource.html HTTP/1.0 	http_check(title, '05', parts[1], 'GET http://' + parts[1] + parts[2] + ' HTTP/1.0', '');  // 6 // GET http://domain.name/path/to/resource.html HTTP/1.0 // Host: domain.name 	http_check(title, '06', parts[1], 'GET http://' + parts[1] + parts[2] + ' HTTP/1.0', parts[1]);  // 7 // GET http://domain.name/path/to/resource.html HTTP/1.1 // Host: void.domain.name 	http_check(title, '07', parts[1], 'GET http://' + parts[1] + parts[2] + ' HTTP/1.1', 'void.' + parts[1]);  // 8 // GET http://domain.name/path/to/resource.html HTTP/1.1 // Host: local.fake 	http_check(title, '08', parts[1], 'GET http://' + parts[1] + parts[2] + ' HTTP/1.1', 'local.fake');  // 9 // GET http://domain.name/path/to/resource.html HTTP/1.1 // Host: l-IjFN=fiG(w+J2p:#.{92!m`d^? 	http_check(title, '09', parts[1], 'GET http://' + parts[1] + parts[2] + ' HTTP/1.1', 'l-IjFN=fiG(w+J2p:#.{92!m`d^?');  // 10 // GET http://fake.domain.name/path/to/resource.html HTTP/1.1 // Host: domain.name 	http_check(title, '10', parts[1], 'GET http://fake.' + parts[1] + parts[2] + ' HTTP/1.1', parts[1]);  // 11 // GET http://local.fake/path/to/resource.html HTTP/1.1 // Host: domain.name 	http_check(title, '11', parts[1], 'GET http://local.fake' + parts[2] + ' HTTP/1.1', parts[1]);  // 12 // GET http://l-IjFN=fiG(w+J2p:#.{92!m`d^?/path/to/resource.html HTTP/1.1 // Host: domain.name 	http_check(title, '12', parts[1], 'GET http://l-IjFN=fiG(w+J2p:#.{92!m`d^?' + parts[2] + ' HTTP/1.1', parts[1]);  // 13 // GET http://local.fake/path/to/resource.html HTTP/1.1 // Host: void.domain.name 	http_check(title, '13', parts[1], 'GET http://local.fake' + parts[2] + ' HTTP/1.1', 'void.' + parts[1]);  // 14 // GET habr://domain.name/path/to/resource.html HTTP/1.1 // Host: domain.name 	http_check(title, '14', parts[1], 'GET habr://' + parts[1] + parts[2] + ' HTTP/1.1', parts[1]);  // 15 // GET habr://void.domain.name/path/to/resource.html HTTP/1.1 // Host: domain.name 	http_check(title, '15', parts[1], 'GET habr://void.' + parts[1] + parts[2] + ' HTTP/1.1', parts[1]);  // 16 // GET habr://local.fake/path/to/resource.html HTTP/1.1 // Host: domain.name 	http_check(title, '16', parts[1], 'GET habr://local.fake' + parts[2] + ' HTTP/1.1', parts[1]);  // 17 // GET habr://l-IjFN=fiG(w+J2p:#.{92!m`d^?/path/to/resource.html HTTP/1.1 // Host: domain.name 	http_check(title, '17', parts[1], 'GET habr://l-IjFN=fiG(w+J2p:#.{92!m`d^?' + parts[2] + ' HTTP/1.1', parts[1]);  // 18 // GET habr://l-IjFN=fiG(w+J2p:#.{92!m`d^?/path/to/resource.html HTTP/1.1 // Host: local.fake 	http_check(title, '18', parts[1], 'GET habr://l-IjFN=fiG(w+J2p:#.{92!m`d^?' + parts[2] + ' HTTP/1.1', 'local.fake'); };    console.log(format_result(default_result(true)));  /* http_check('IBM Fake', 'www.ibm.com', 'GET ttp://com/midmarket/ru/ru/ HTTP/1.1', 'ibm'); full_http_check('IBM', 'http://www.ibm.com/midmarket/ru/ru/'); */  full_http_check('Яндекс', 'http://company.yandex.ru/about/main/'); full_http_check('JetBrains', 'http://www.jetbrains.com/products.html'); full_http_check('Box Overview', 'http://7del.net/texts/galaxy-note.html'); full_http_check('KolibriOS Project Team', 'http://kolibrios.org/en/download.htm'); full_http_check('Opera Software ASA', 'http://www.opera.com/about'); full_http_check('Apps4All', 'http://apps4all.ru/news/apple/apple-ios-7-beta.html'); full_http_check('Нордавинд', 'http://nordavind.ru/node/207'); full_http_check('Mail.Ru Group', 'http://corp.mail.ru/about/'); full_http_check('Microsoft', 'http://windows.microsoft.com/ru-RU/windows/home'); full_http_check('Zfort Group', 'http://www.zfort.com.ua/company/about/'); full_http_check('IBM', 'http://www.ibm.com/contact/ru/ru/'); full_http_check('UIDG', 'http://uidesign.ru/about/'); full_http_check('Intel', 'http://www.intel.ru/content/www/ru/ru/company-overview/company-overview.html'); full_http_check('Rusonyx', 'http://www.rusonyx.ru/company/reasons/'); full_http_check('Мосигра', 'http://www.mosigra.ru/page/about/'); full_http_check('DevConf', 'http://devconf.ru/about/'); full_http_check('e-Legion Ltd.', 'http://www.e-legion.ru/contacts/'); full_http_check('Badoo', 'http://corp.badoo.com/company/'); full_http_check('ВымпелКом (Билайн)', 'http://mobile.beeline.ru/msk/setup/index.wbp'); 

Теперь рассмотрим подробнее каждый из шаблонов и реакцию сайтов.

Запрос 1

Самый распространённый вариант запроса HTTP/1.1, включающий абсолютный путь и правильный заголовок Host. На него должен корректно отвечать любой сервер, то есть ждём «HTTP/1.1 200 OK».

GET /path/to/resource.html HTTP/1.1 Host: domain.name

Все сервера вернули «HTTP/1.1 200 OK». Ниже представлена таблица значений заголовка ответа «Server»:

Запрос 2

Вариант первого типа запросов, но вместо абсолютного пути указываем полный адрес.

GET http://domain.name/path/to/resource.html HTTP/1.1 Host: domain.name

В ответ на этот запрос все сервера опять проявили единодушие. «Лёгкие» запросы разбирать каждый сервер умеет.

Запрос 3

Запрос на HTTP/1.0 с абсолютным путём, без «Host:». Должны получить «HTTP/1.0 200 OK».

GET /path/to/resource.html HTTP/1.0

На третьем запросе сервера «посыпались». И нет ни одного ответа «HTTP/1.0 200 OK».

Запрос 4

Предыдущий запрос, но добавим «Host:». От первого запроса отличается лишь версией протокола.

GET /path/to/resource.html HTTP/1.0 Host: domain.name

Очень положительным образом подействовал Host на сервера — у всех ответ «200 OK», но HTTP/1.0 был лишь у следующих: Intel и KolibriOS Project Team.

Запрос 5

Запрос на HTTP/1.0 с полным адресом, без «Host:». Было бы здорово прочитать «HTTP/1.0 200 OK».

GET http://domain.name/path/to/resource.html HTTP/1.0

Картина полностью совпадает с результатами предыдущего запроса, но вот e-Legion Ltd. выдал «HTTP/1.1 500 INTERNAL SERVER ERROR».

Запрос 6

Предыдущий запрос, но добавим «Host:». От второго запроса отличается лишь версией протокола.

GET http://domain.name/path/to/resource.html HTTP/1.0 Host: domain.name

Результаты полностью совпадают с четвёртым запросом, то есть «Host:» исправил внутреннюю ошибку у сервера e-Legion Ltd.

Запрос 7

Вариант второго запроса с полным адресом, но в «Host:» запишем несуществующий поддомен. Запрос абсолютно корректный, поэтому сервер должен отвечать «HTTP/1.1 200 OK».

GET http://domain.name/path/to/resource.html HTTP/1.1 Host: void.domain.name

Запрос 8

Теперь в качестве «Host:» укажем несуществующий домен. В запросе ничего не изменилось, но некоторым серверам это может уже не понравиться.

GET http://domain.name/path/to/resource.html HTTP/1.1 Host: local.fake

Запрос 9

Заголовок «Host:» должен полностью игнорироваться, поэтому запишем произвольный текст, которому позавидуют многие пароли. По стандарту будем ожидать «HTTP/1.1 200 OK».

GET http://domain.name/path/to/resource.html HTTP/1.1 Host: l-IjFN=fiG(w+J2p:#.{92!m`d^?

На запросы 7-9 сервера отвечали одинаково следующим образом:

Запрос 10

Первый из неправильных запросов. Отправим правильный «Host:», но в полном адресе добавим несуществующий поддомен.

GET http://fake.domain.name/path/to/resource.html HTTP/1.1 Host: domain.name

Поскольку начались запросы с ошибками, то результаты пугать не должны.

Почти треть серверов не стала тратить время на попытку подсказать правильный путь (перенаправить). К сожалению, многие сервера просто перенаправляют на главную страницу.

Запрос 11

Теперь попробуем отправить несуществующий домен.

GET http://local.fake/path/to/resource.html HTTP/1.1 Host: domain.name

Здесь результаты полностью совпадают с предыдущим запросом, но Мосигра вместо «HTTP/1.1 301 Moved Permanently» выдала уже «HTTP/1.1 404 Not Found».

Запрос 12

А сработает ли вообще произвольный текст в качестве домена?

GET http://l-IjFN=fiG(w+J2p:#.{92!m`d^?/path/to/resource.html HTTP/1.1 Host: domain.name

Ответ «HTTP/1.1 200 OK» пришёл от Intel и Opera Software ASA. IBM и Мосигра вернули «HTTP/1.1 404 Not Found». Все остальные написали 404 Bad Request, причём часть вообще без заголовка (возможный вариант в HTTP/1.0).

Запрос 13

Копия одинадцатого запроса, но ещё и с поддоменом в качестве «Host:». Вряд ли имеет смысл проверять другие некорректные комбинации.

GET http://local.fake/path/to/resource.html HTTP/1.1 Host: void.domain.name

Результаты тоже стали копией запроса 11, но сдался Intel и вернул «HTTP/1.0 400 Bad Request».

Запрос 14

Второй запрос, но воспользуемся несуществующим протоколом при указании полного адреса. Здесь-то уже точно должна быть ошибка.

GET habr://domain.name/path/to/resource.html HTTP/1.1 Host: domain.name

Оказалось, что довольно много сайтов воспринимают протокол HABR:

Запрос 15

Попробуем окончательно сломить сопротивление сервера и отправим предыдущий запрос, но с некорректным поддоменом.

GET habr://void.domain.name/path/to/resource.html HTTP/1.1 Host: domain.name

Результаты похожи на десятый запрос, но есть и изменения:

Запрос 16

Попробуем использовать произвольный домен.

GET habr://local.fake/path/to/resource.html HTTP/1.1 Host: domain.name

Результаты совпали с предыдущим запросом.

Запрос 17

И в третий раз попробуем заменить домен на произвольный текст.

GET habr://l-IjFN=fiG(w+J2p:#.{92!m`d^?/path/to/resource.html HTTP/1.1 Host: domain.name

Уже ни одного положительного ответа от сервера. По сравнению с запросом 12 изменения есть у следующих сайтов:

Запрос 18

А теперь попробуем избавиться и от корректного заголовка «Host:».

GET habr://l-IjFN=fiG(w+J2p:#.{92!m`d^?/path/to/resource.html HTTP/1.1 Host: local.fake

Всего одно изменение по сравнению с предыдущим результатом — сервер KolibriOS Project Team стал возвращать «HTTP/1.1 404 Not Found» вместо «HTTP/1.1 301 Moved Permanently».

Запрос N

Напишите, если хотите попробовать какие-нибудь ещё варианты запросов. А можете сделать это и сами.

Заключение

Попробуем подвести некоторые итоги. Почти все рассмотренные сервера корректно отвечали на HTTP/1.1 запросы. Исключение составили DevConf, e-Legion Ltd. и Intel. Первые два используют nginx, поэтому проблема, скорее всего, именно в его настройке. Intel же использует AkamaiGHost, который либо неправильно настроен, либо плохо поддерживает HTTP/1.1. Допускаю, что одной из причин корректного прохождения тестов является именно nginx (его использовали 14 из 19 серверов). Из-за разницы в версиях обнаружилась цепочка из nginx/1.0.10 и nginx/1.4.1 у UIDG.

Считаете, что всё просто? Попробуйте настроить Apache с учётом SEO так, чтобы он корректно обрабатывал запросы с ошибочным «Host:» и основывался лишь на полном адресе в строке запроса.

Какой практический смысл от «неправильных» корректных запросов? Сомневаюсь, что получится найти какую-нибудь уязвимость. Но неужели почти за пятнадцать лет никто не научился создавать корректные HTTP/1.1 сервера?

P.S. Помните про различия между %{REQUEST_URI} в Apache mod_rewrite и $_SERVER["REQUEST_URI"] в PHP.