Недоступен сервис ВКонтакте (совсем)

Сегодня 10.01.2014 примерно в 14:15 по Московскому времени стала недоступна социальная сеть ВКонтакте.

На сети DataIX трафик провалился на треть (примерно на 300Гбит):

Трассировки показывают, что пограничный маршрутизатор компании работает, но внутренняя инфраструктура уже недоступна.

HOST: rrr-tn                              Loss%   Snt   Last Avg  Best   Wrst StDev    1.|-- 192.168.98.1                          0.0%    10    0.3 0.5   0.3   0.6   0.1    2.|-- 44.130-224-87.telenet.ru             10.0%    10    1.3 2.5   1.3  10.9   3.2    3.|-- p1-ms145-xe9.telenet.ru              40.0%    10    1.1 1.0   0.9   1.1   0.1    4.|-- p1-vost92-xe29.telenet.ru             0.0%    10    1.1 1.2   1.1   1.4   0.1    5.|-- 45.92-54-92.telenet.ru                0.0%    10    1.0 0.9   0.9   1.0   0.0    6.|-- 178.18.224.203.spb.peering.dataix.ru  0.0%    10   39.0 38.9  38.8  39.2   0.1    7.|-- ???                                  100.0    10    0.0 0.0   0.0   0.0   0.0  HOST: rrr.rrrr.ru                             Loss%   Snt   Last Avg   Best  Wrst StDev    1.|-- 10.96.244.2                              0.0%    10 4.1   0.9   0.4   4.1   1.1    2.|-- 100.64.144.160                           0.0%    10 1.1   1.5   0.9   3.8   0.8    3.|-- 100.64.137.111                           0.0%    10 1.6   1.2   1.0   1.6   0.2    4.|-- 100.64.129.46                            0.0%    10 1.3   1.2   0.8   2.0   0.4    5.|-- ip-10-1-173-14.ec2.internal              0.0%    10 0.5   0.6   0.4   0.9   0.1    6.|-- 100.64.39.201                            0.0%    10 1.1   1.4   1.1   1.6   0.1    7.|-- ???                                     100.0    10 0.0   0.0   0.0   0.0   0.0    8.|-- ???                                     100.0    10 0.0   0.0   0.0   0.0   0.0    9.|-- ???                                     100.0    10 0.0   0.0   0.0   0.0   0.0   10.|-- 100.64.16.131                            0.0%    10 0.8   1.8   0.6   8.1   2.4   11.|-- 72.21.222.146                            0.0%    10 31.4   6.4   1.5  31.4   9.1   12.|-- 72.21.220.164                            0.0%    10 1.9  19.7   1.9  51.2  17.0   13.|-- xe-10-2-0.edge1.Washington1.Level3.net   0.0%    10 1.8   1.9   1.6   2.2   0.2   14.|-- vlan70.csw2.Washington1.Level3.net       0.0%    10  118.4 118.6 118.3 120.2   0.6   15.|-- ae-72-72.ebr2.Washington1.Level3.net     0.0%    10  120.0 120.1 119.7 121.8   0.6   16.|-- ae-44-44.ebr2.Paris1.Level3.net          0.0%    10  121.3 121.3 121.1 121.4   0.1   17.|-- ae-47-47.ebr1.Frankfurt1.Level3.net      0.0%    10  121.7 121.9 121.5 123.1   0.5   18.|-- ae-91-91.csw4.Frankfurt1.Level3.net      0.0%    10  119.2 119.3 119.1 120.0   0.2   19.|-- ae-93-93.ebr3.Frankfurt1.Level3.net      0.0%    10  138.9 123.0 121.1 138.9   5.6   20.|-- ae-46-46.ebr1.Dusseldorf1.Level3.net     0.0%    10  119.4 119.4 119.3 119.6   0.1   21.|-- ae-113-3503.ebr1.Dusseldorf1.Level3.net  0.0%    10  119.6 119.5 119.3 119.7   0.1   22.|-- VKONTAKTE.R.bar1.Stockholm1.Level3.net   0.0%    10  134.9 134.2 133.6 134.9   0.5   23.|-- ???                                     100.0    10 0.0   0.0   0.0   0.0   0.0  HOST: ctf.ustu.ru                 Loss%   Snt   Last   Avg  Best Wrst StDev    1. vpn.ustu.ru                   0.0%    10    0.8   0.8   0.5 1.4   0.3    2. ipaddress.ustu.ru             0.0%    10    2.9   2.1   1.1 4.4   1.1    3. ???                          100.0    10    0.0   0.0   0.0 0.0   0.0    4. 10.255.3.18                   0.0%    10    7.8   2.0   1.0 7.8   2.0    5. 10.255.100.3                  0.0%    10    1.7   1.4   0.9 2.1   0.4    6. m9-3-gw.msk.runnet.ru         0.0%    10   30.4  32.0  29.3 53.1   7.4    7. b57-1-gw.spb.runnet.ru        0.0%    10   41.2  40.9  40.3 41.3   0.3    8. VKontakte.spb.runnet.ru       0.0%    10   39.4  39.9  39.1 41.6   0.7    9. ???                          100.0    10    0.0   0.0   0.0 0.0   0.0

LookingGlass TTK говорит тоже самое:

lg.ttknn.net/cgi-bin/trace.cgi?host=vk.com

 traceroute to vk.com (87.240.131.117), 40 hops max, 40 byte packets  1  * * *  2  nnd02.transtelecom.net (217.150.50.254)  0.211 ms  0.201 ms  0.194 ms  3  msk04-spb.transtelecom.net (188.43.1.2)  10.749 ms  10.789 ms  10.775 ms  4  * * *  5  * * *  6  * * *  7  * * *  8  * * *  9  * * * 10  * * * 11  * * * 12  * * * 13  * * * 14  Vkontakte-gw.transtelecom.net (188.43.1.9)  20.809 ms !X * * 

Официальные сообщения:

Наблюдаем некоторые технические проблемы с доступом к ВКонтакте. Спешно чиним.— George Lobushkin (@lobushkin) 10 января 2014

ВКонтакте грузится с перебоями – исправляем аварию на уровне коммутаторов. Скоро все будет восстановлено. Пока можно почитать книгу.— Pavel Durov (durov) 10 января 2014