Как траблшутить отечественный IPsec VPN. Часть 1

Ситуация

Выходной. Пью кофе. Студент настроил VPN соединение между двумя точками и исчез. Проверяю: туннель действительно есть, но трафика в туннеле нет. На звонки студент не отвечает.

Ставлю чайник и погружаюсь в траблшутинг С-Терра Шлюз. Делюсь своим опытом и методологией.

Исходные данные

Две территориально разделенные площадки связаны GRE туннелем. GRE нужно зашифровать:

Проверяю работоспособность GRE туннеля. Для этого запускаю ping с устройства R1 до GRE интерфейса устройства R2. Это целевой трафик для шифрования. Ответа нет:

root@R1:~# ping 1.1.1.2 -c 4 PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data.  --- 1.1.1.2 ping statistics --- 4 packets transmitted, 0 received, 100% packet loss, time 3057ms

Смотрю логи на Gate1 и Gate2. Лог радостно сообщает, что IPsec туннель успешно поднялся, никаких проблем:

root@Gate1:~# cat /var/log/cspvpngate.log Aug  5 16:14:23 localhost  vpnsvc: 00100119 <4:1> IPSec connection 5 established, traffic selector 172.17.0.1->172.16.0.1, proto 47, peer 10.10.10.251, id "10.10.10.251", Filter  IPsec:Protect:CMAP:1:LIST, IPsecAction IPsecAction:CMAP:1, IKERule IKERule:CMAP:1

В статистике IPsec туннеля на Gate1 вижу, что туннель действительно есть, но счетчик Rсvd обнулен:

root@Gate1:~# sa_mgr show ISAKMP sessions: 0 initiated, 0 responded  ISAKMP connections: Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd 1 3 (10.10.10.251,500)-(10.10.10.252,500) active 1070 1014  IPsec connections: Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd 1 3 (172.16.0.1,*)-(172.17.0.1,*) 47 ESP tunn 480 0

Я траблшучу С-Терру так: ищу, где теряются целевые пакеты на пути от R1 до R2. В процессе (спойлер) найду ошибку.

Траблшутинг

Шаг 1. Что получает Gate1 от R1

Использую встроенный пакетный сниффер – tcpdump. Запускаю сниффер на внутреннем (Gi0/1 в нотации Cisco-like или eth1 в нотации ОС Debian) интерфейсе:

root@Gate1:~# tcpdump -i eth1  tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on eth1, link-type EN10MB (Ethernet), capture size 262144 bytes 14:53:38.879525 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 1, length 64 14:53:39.896869 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 2, length 64 14:53:40.921121 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 3, length 64 14:53:41.944958 IP 172.16.0.1 > 172.17.0.1: GREv0, key=0x1, length 92: IP 1.1.1.1 > 1.1.1.2: ICMP echo request, id 2083, seq 4, length 64

Вижу, что Gate1 получает от R1 GRE пакеты. Двигаюсь далее.

Шаг 2. Что Gate1 делает с GRE пакетами

Утилитой klogview смотрю, что происходит с GRE пакетами внутри VPN драйвера С-Терра:

root@Gate1:~# klogview -f 0xffffffff  filtration result for out packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: chain 4 "IPsecPolicy:CMAP", filter 8, event id IPsec:Protect:CMAP:1:LIST, status PASS encapsulating with SA 31: 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0 passed out packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: encapsulated 

Вижу, что целевой GRE трафик (proto 47) 172.16.0.1 -> 172.17.0.1 попал (PASS) под правило шифрования LIST в криптокарте CMAP и зашифровался (encapsulated). Далее пакет смаршрутизировался (passed out). Ответного трафика в выводе klogview нет.

Проверяю списки доступа на устройстве Gate1. Вижу один список доступа LIST, который определяет целевой трафик для шифрования, значит правил МЭ не настроено:

Gate1#show access-lists Extended IP access list LIST     10 permit gre host 172.16.0.1 host 172.17.0.1

Вывод: проблема не на устройстве Gate1.

Дополнительно о klogview

VPN драйвер обрабатывает весь сетевой трафик, не только тот, который должен шифроваться. Вот такие сообщение видны в klogview, если VPN драйвер обработал сетевой трафик и передал его в незашифрованном виде:

root@R1:~# ping 172.17.0.1 -c 4

root@Gate1:~# klogview -f 0xffffffff  filtration result for out packet 172.16.0.1->172.17.0.1, proto 1, len 84, if eth0: chain 4 "IPsecPolicy:CMAP": no match passed out packet 172.16.0.1->172.17.0.1, proto 1, len 84, if eth0: filtered

Вижу, что ICMP трафик (proto 1) 172.16.0.1->172.17.0.1 не попал (no match) в правила шифрования криптокарты CMAP. Пакет смаршрутизировался (passed out) в открытом виде.

Шаг 3. Что получает Gate2 от Gate1

Запускаю сниффер на WAN (eth0) интерфейсе Gate2:

root@Gate2:~# tcpdump -i eth0 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes 16:05:45.104195 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x1), length 140 16:05:46.093918 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x2), length 140 16:05:47.117078 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x3), length 140 16:05:48.141785 IP 10.10.10.251 > 10.10.10.252: ESP(spi=0x30088112,seq=0x4), length 140

Вижу, что Gate2 получает ESP пакеты от Gate1.

Шаг 4. Что Gate2 делает с ESP пакетами

Запускаю утилиту klogview на Gate2:

root@Gate2:~# klogview -f 0xffffffff filtration result for in packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: chain 17 "FilterChain:L3VPN", filter 21, status DROP dropped in packet 10.10.10.251->10.10.10.252, proto 50, len 160, if eth0: firewall 

Вижу, что ESP пакеты (proto 50) были дропнуты (DROP), правилом (L3VPN) межсетевого экрана (firewall). Убеждаюсь, что к Gi0/0 действительно привязан список доступа L3VPN:

Gate2#show ip interface gi0/0 GigabitEthernet0/0 is up, line protocol is up   Internet address is 10.10.10.252/24   MTU is 1500 bytes   Outgoing access list is not set   Inbound  access list is L3VPN

Проблему обнаружил.

Шаг 5. Что не так со списком доступа

Смотрю, что из себя представляет список доступа L3VPN:

Gate2#show access-list L3VPN Extended IP access list L3VPN     10 permit udp host 10.10.10.251 any eq isakmp     20 permit udp host 10.10.10.251 any eq non500-isakmp     30 permit icmp host 10.10.10.251 any

Вижу, что разрешены ISAKMP пакеты, поэтому устанавливается IPsec туннель. А вот разрешающего правила для ESP нет. Видимо, студент перепутал icmp и esp.

Правлю список доступа:

Gate2(config)# ip access-list extended L3VPN no 30 30 permit esp host 10.10.10.251 any

Шаг 6. Проверяю работоспособность

Первым делом убеждаюсь, что список доступа L3VPN верный:

Gate2#show access-list L3VPN Extended IP access list L3VPN     10 permit udp host 10.10.10.251 any eq isakmp     20 permit udp host 10.10.10.251 any eq non500-isakmp     30 permit esp host 10.10.10.251 any

Теперь с устройства R1 запускаю целевой трафик:

root@R1:~# ping 1.1.1.2 -c 4 PING 1.1.1.2 (1.1.1.2) 56(84) bytes of data. 64 bytes from 1.1.1.2: icmp_seq=1 ttl=64 time=35.3 ms 64 bytes from 1.1.1.2: icmp_seq=2 ttl=64 time=3.01 ms 64 bytes from 1.1.1.2: icmp_seq=3 ttl=64 time=2.65 ms 64 bytes from 1.1.1.2: icmp_seq=4 ttl=64 time=2.87 ms  --- 1.1.1.2 ping statistics --- 4 packets transmitted, 4 received, 0% packet loss, time 3006ms rtt min/avg/max/mdev = 2.650/10.970/35.338/14.069 ms

Победа. GRE туннель установился. Счетчик входящего трафика в статистике IPsec не нулевой:

root@Gate1:~# sa_mgr show ISAKMP sessions: 0 initiated, 0 responded  ISAKMP connections: Num Conn-id (Local Addr,Port)-(Remote Addr,Port) State Sent Rcvd 1 3 (10.10.10.251,500)-(10.10.10.252,500) active 1474 1350  IPsec connections: Num Conn-id (Local Addr,Port)-(Remote Addr,Port) Protocol Action Type Sent Rcvd 1 4 (172.16.0.1,*)-(172.17.0.1,*) 47 ESP tunn 1920 480

На шлюзе Gate2 в выводе klogview появились сообщения, что целевой трафик 172.16.0.1->172.17.0.1 успешно (PASS) расшифрован (decapsulated) правилом LIST в криптокарте CMAP:

root@Gate2:~# klogview -f 0xffffffff filtration result for in packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: chain 18 "IPsecPolicy:CMAP", filter 25, event id IPsec:Protect:CMAP:1:LIST, status PASS passed in packet 172.16.0.1->172.17.0.1, proto 47, len 112, if eth0: decapsulated

Итоги

Студент подпортил выходной.
Аккуратнее с правилами МЭ.

Анонимный инженер
t.me/anonimous_engineer