Еще немного про использование VPN в Билайн

Привет! В этой статье я расскажу о ещё двух вариантах VPN, используемых нами для включения клиентов с помощью Мультисим Резервирования, это L2TP и L2-VPN. Первый используется для включения сервисов Интернет, второй для включения каналов L2 MPLS.

Самый первый — L2TP

Исторически этот вариант был самым первым внедренным вариантом для предоставления сервиса Интернет клиентам, именно на нем мы обкатывали все бизнес-процессы включений, набивали первые шишки со сложностью настройки СРЕ, процессами активации Sim-карт и прописывания их в выделенные APN, выбирали наиболее оптимальные варианты настроек и конфигураций СРЕ и РЕ оборудования, суммарно за первые полгода мы подготовили восемь различных версий конфигураций оборудования. Такой итеративный подход позволил найти баланс между потребностями клиентов и нашими возможностями, мы посмотрели, что и как стоит настраивать, как выстроить процессы, а за что лучше не браться вообще.

Архитектурно схема выглядит так:

Описание:

В роутер устанавливаются две Sim-карты, прописываются APN и настраивается радио-интерфейс, плюс настраивается WAN-интерфейс для входящего проводного канала, если он есть. Sim-карты прописываются в типовые APN, все APN разных операторов связи объединены в один VRF и получают стандартизированные приватные IP-адреса из своих APN.

На нашем RADIUS-сервере при подключении создается сессионный аккаунт для клиента, информация о этом аккаунте будет использована BRAS при построении сессии. Роутер начинает строить L2TP-сессию либо через проводной WAN-интерфейс (интернет-канал), либо через радиоинтерфейс, в зависимости от типа работы (Fix+LTE/3G или «чистый» LTE/3G), сессия терминируется на BRAS с типовыми настройками прописанными на RADIUS сервере.

Также на RADIUS-сервере возможна настройка Framed Route с публичной интернет подсетью, которая настраивается на LAN-интерфейсе роутера и транслируется клиенту. Таким образом, каждый клиент имеет один статический IP-адрес на туннеле с приватной адресацией и NAT на трех LAN-интерфейсах, и дополнительно прописанную публичную подсеть (обычно это /31 или /30 подсеть) на одном LAN-интерфейсе.

Так как туннель может строиться через кабельное подключение (интернет-канал) или Sim-карты, а подсеть маршрутизируется за туннель, клиент получает статичные настройки вне зависимости от используемой транспортной сети.

При пропадании кабельного канала роутер за 10-20 секунд перекидывает трафик на радиоинтерфейс и первую Sim-карту, а в случае проблем и с ней производит смену рабочей Sim-карты на резервную, обычно эта смена занимает 60-90 секунд.

За выбор маршрута трафика между кабелем и радиосетью отвечает встроенный инструмент NQA (Network Quality Analysis) и значения preference route:

# nqa test-instance admin inet  test-type icmp  destination-address ipv4 4.2.2.2  frequency 20  source-interface GigabitEthernet0/0/4  start now #  # ip route-static 0.0.0.0 0.0.0.0 Virtual-Template1 preference 40 ip route-static 4.2.2.2 255.255.255.255 GigabitEthernet0/0/4 dhcp ip route-static 85.21.4.234 255.255.255.255 GigabitEthernet0/0/4 dhcp track nqa admin inet ip route-static 85.21.4.235 255.255.255.255 GigabitEthernet0/0/4 dhcp track nqa admin inet ip route-static 100.64.0.0 255.255.254.0 Cellular0/0/0 preference 70 ip route-static 100.64.0.0 255.255.254.0 NULL0 track nqa admin inet #

А за выбор активных Sim-карт отвечает скрипт автопереключения, написанный на Python.

Схема также имеет свои ограничения: cкорость доступа ограничена 30-50 Мбит/с, а MTU=1450.

Дальнейшее направление развития — это реализация этой же схемы с резервированием проводных каналов, но уже с использованием BGP, для анонса LAN-сети либо через кабель, либо через туннель, это позволит использовать роутер в виде резерва на широкополосных каналах в 100-200 Мбит/с и разделением маршрутов трафика по кабелю и по туннелю. Естественно, это будет работать только на проводных каналах от Билайн, для работы через других провайдеров мы отправляем весь трафик через L2TP-туннель.

Самый трудный — L2 MPLS

Этот вариант получился самым последним в наших решениях на сегодняшний день, и был самым тяжелым с точки зрения реализации. Используемый протокол для этого типа подключений на Huawei AR129 — SVPN L2TPv2, на ответной части стоит Cisco ASR1001-X, которая является ответной частью туннеля и выводит трафик в MEN сеть.

Архитектурно сеть выглядит так:

Настройка такого режима на роутере Huawei AR129 выглядит так:

# interface Tunnel0/0/0  tunnel-protocol svpn  encapsulation l2tpv3  l2tpv3 local session-id 3  l2tpv3 remote session-id 4  tunnel-source 100.64.16.63  tunnel-destination 100.64.0.43 #

Самый трудный для нашей реализации ввиду особенностей работы протокола, сессия для L2 MPLS инициируется с IP-адреса Sim-карты, которая активна в конкретный момент для этого туннеля, и к IP-адресу привязываются значения и на CPE и на ответном узловом PE, а в случае проблем с работающей LTE/3G сетью происходит смена IP на Sim-карте.

У нас были следующие варианты выхода из этой ситуации:

• Использовать GRE-туннель, и уже через этот туннель пускать туннель с L2 MPLS.

• Назначать одинаковые IP-адреса на Sim-карты при настройке.

• Сделать так, чтобы конфигурация туннелей менялась в роутере в зависимости от Sim-карты.

Первые два варианта хоть и выглядели оптимальными с точки зрения архитектуры сети (отдельный туннель — отдельная пара портов на MEN-сети), но с точки зрения синхронизации процессов и технической поддержки это гораздо большая проблема.

Соответственно, пришлось реализовывать реконфигурацию роутера «на лету”. Если учесть, что используемый нами Python-скрипт для автоматического переключения Sim-карт и так уже выполнял большую часть логики, нам осталось его немного дополнить парой функций:

При смене Sim-карт нужно было вызвать процесс изменения в параметрах настройки туннеля “remote session-id” и “tunnel-source”, и при обратной смене Sim-карт вернуть эти значения:

def l2_sim2(o, cli): 	log_syslog(o, ops.CRITICAL, "New parameters applied: " + l2_lses2 + " " + l2_rses2 + " " + l2_vcid2 + " " + l2_src2 + " " + l2_dst2) 	output, n1, n2 = o.cli.execute(cli, "system-view")   output, n1, n2 = o.cli.execute(cli, "interface Vlanif1") 	output, n1, n2 = o.cli.execute(cli, "undo link-bridge Tunnel0/0/0") 	output, n1, n2 = o.cli.execute(cli, "quit") 	output, n1, n2 = o.cli.execute(cli, "quit") 	result = o.timedelay(seconds=60, milliseconds=0) 	output, n1, n2 = o.cli.execute(cli, "system-view")   output, n1, n2 = o.cli.execute(cli, "interface Tunnel0/0/0") 	output, n1, n2 = o.cli.execute(cli, "tunnel-protocol svpn") 	output, n1, n2 = o.cli.execute(cli, "encapsulation l2tpv3") 	output, n1, n2 = o.cli.execute(cli, "interface Tunnel0/0/0") 	output, n1, n2 = o.cli.execute(cli, "l2tpv3 local session-id " + str(l2_lses2)) 	output, n1, n2 = o.cli.execute(cli, "l2tpv3 remote session-id " + str(l2_rses2)) 	output, n1, n2 = o.cli.execute(cli, "tunnel-source " + str(l2_src2)) 	output, n1, n2 = o.cli.execute(cli, "tunnel-destination " + str(l2_dst2)) 	output, n1, n2 = o.cli.execute(cli, "quit") 	output, n1, n2 = o.cli.execute(cli, "quit")     	output, n1, n2 = o.cli.execute(cli, "system-view")   output, n1, n2 = o.cli.execute(cli, "interface Vlanif1") 	output, n1, n2 = o.cli.execute(cli, "link-bridge Tunnel0/0/0 vc-id " + str(l2_vcid2) + " tagged") 	output, n1, n2 = o.cli.execute(cli, "quit") 	output, n1, n2 = o.cli.execute(cli, "quit") 	output, n1, n2 = o.cli.execute(cli, "save", {"continue": "Y"})  def l2_sim1(o, cli): 	log_syslog(o, ops.CRITICAL, "New parameters applied: " + l2_lses1 + " " + l2_rses1 + " " + l2_vcid1 + " " + l2_src1 + " " + l2_dst1)   output, n1, n2 = o.cli.execute(cli, "system-view")   output, n1, n2 = o.cli.execute(cli, "interface Vlanif1")   output, n1, n2 = o.cli.execute(cli, "undo link-bridge Tunnel0/0/0")   output, n1, n2 = o.cli.execute(cli, "quit") 	output, n1, n2 = o.cli.execute(cli, "quit") 	result = o.timedelay(seconds=60, milliseconds=0)   output, n1, n2 = o.cli.execute(cli, "system-view") 	output, n1, n2 = o.cli.execute(cli, "interface Tunnel0/0/0") 	output, n1, n2 = o.cli.execute(cli, "tunnel-protocol svpn") 	output, n1, n2 = o.cli.execute(cli, "encapsulation l2tpv3") 	output, n1, n2 = o.cli.execute(cli, "l2tpv3 local session-id " + str(l2_lses1)) 	output, n1, n2 = o.cli.execute(cli, "l2tpv3 remote session-id " + str(l2_rses1)) 	output, n1, n2 = o.cli.execute(cli, "tunnel-source " + str(l2_src1)) 	output, n1, n2 = o.cli.execute(cli, "tunnel-destination " + str(l2_dst1)) 	output, n1, n2 = o.cli.execute(cli, "quit") 	output, n1, n2 = o.cli.execute(cli, "quit") 	output, n1, n2 = o.cli.execute(cli, "system-view")   output, n1, n2 = o.cli.execute(cli, "interface Vlanif1") 	output, n1, n2 = o.cli.execute(cli, "link-bridge Tunnel0/0/0 vc-id " + str(l2_vcid1) + " tagged") 	output, n1, n2 = o.cli.execute(cli, "quit") 	output, n1, n2 = o.cli.execute(cli, "quit") 	output, n1, n2 = o.cli.execute(cli, "save", {"continue": "Y"})

Какие плюсы у этой схемы работы в режиме L2 MPLS:

• Роутер работает только прозрачным Ethernet до нашего РЕ, схему можно применять еще и как для Интернет, так и для IP VPN-включений.

• MTU стал побольше, чем у варианта с IPSec.

• Можно проводить легкую бесшовную подмену кабельных каналов при авариях.

Учитывая все варианты предоставления сервисов из предыдущих статей, мы смогли построить универсальную, надежную и масштабируемую инфраструктуру сети доступа с использованием преимуществ VPN, которую собираемся развивать в дальнейшем.

В следующих статьях расскажем про USB Deployment — инструмент по простой настройке роутеров, Python-скрипт, который используем для переключения Sim-карт, и интеграцию нашего Мультисим-решения с Облачной АТС (в роутере есть встроенный SIP-клиент и два FXS порта, мы просто не могли не попробовать их использовать).

В одном из комментариев спрашивали про скорости роутера по IPSec.

По результатам наших тестов скорость составляет больше 50 Мбит/с (IPSec в режиме IKEv2, iperf3 — server), то же самое к режиму работы с L2TP-туннелем. Скорости поднимали и выше, но мы и не планировали предлагать клиентам больше 50Мбит/с по нашему решению, т.к. во-первых упираемся в «гигиенический» предел по LTE, во-вторых роутеры планировали использовать вместе с настройкой доп. сервисов типа SIP PBX (расскажем в следующей статье), и в-третьих, на смену Huawei AR129 у нас приходит Huawei AR617, который более производителен, что нам ещё предстоит испытать.