Управление интернет-связностью

Аннотация: Интернет-связность — способность клиентских устройств подключаться к Интернету и обмениваться данными с интересующими сервисами и серверами. Качество связности определяется доступностью (стабильностью) соединения, его скоростью, задержкой и джиттером. Качество связности оператора пропорционально количеству непосредственно подключённых к его сети интернет-игроков из спектра интересов его клиентов. Интересы интернет-пользователей — социальное понятие, это распределение клиентских предпочтений по источникам контента или сервисам. В разрезе межоператорских отношений ключевым ориентиром для установления пиринговой связности является распределение интересов пользователей по трафику.

Экономика операторского бизнеса, как правило, подразумевает максимизацию доходов на стороне клиентов с минимизацией расходов на связность на стороне апстрим и пиринговых подключений. В настоящей статье анализируются принципы и методы оптимизации связности на примере магистральных операторов национального уровня на базе российских интересов пользователя и их эволюции последнего времени.

Введение

Интернет-связность (англ. internet connectivity) — многогранное понятие, часто используемое в оценочном смысле как один из критериев качества оператора. В целом, чем больше у оператора IP-сети или Internet Service Provider (ISP) связей с другими операторами и владельцами контент-ресурсов и сетевых сервисов, тем выше ценность его связности.

Межоператорские связи плодотворнее всего описывать на языке BGP-взаимодействия автономных систем.

BGP — Border Gateway Protocol — это протокол маршрутизации, формализующий обмен информацией между сетевыми устройствами разных операторов о доступности через них сетей с другими автономными системами. BGP на настоящий момент является ключевым протоколом для глобальной маршрутизации в сети Интернет (RFC 4271).

Автономная система — (Autonomous System, AS) — это группа нескольких связанных IP-сетей, управляемая одним или несколькими сетевыми операторами, которая имеет единую и чётко определённую политику маршрутизации. Автономная система идентифицируется уникальным номером (ASN — Autonomous System Number) (RFC 1930).

Оценка связности оператора с каким-то конкретным сервисом или источником контента является простой технической задачей, так как число базовых измеряемых характеристик конечно: это доступность, задержка, джиттер.

Доступность услуги (Service Availability) — это метрика, отражающая долю времени, в течение которого услуга (например, интернет-соединение, облачный сервис, VoIP) функционирует в штатном режиме и доступна для пользователей. Это ключевой параметр качества обслуживания (QoS) и соглашений об уровне услуг – SLA (ITU-T Y.1540).

Джиттер (jitter) в характеристиках интернет-соединений — это нестабильность задержки (вариация времени задержки) между пакетами данных при их передаче по сети (RFC 3550).

Соответственно, операторы в конкретной локации по качеству связности с одним конкретным источником контента могут быть сравнены на основании измеримых характеристик. С точки зрения BGP важной измеряемой характеристикой является число транзитных AS (AS Path). Тот оператор, у которого меньше на маршруте чужих AS, предоставит более стабильные услуги, так как в зоне его ответственности лежит большая часть маршрутизации. Тот оператор, у которого меньше джиттер и реже случаются потери пакетов, имеет достаточный запас полосы до нужного ресурса. Тот, у которого меньше задержка, включён физически более короткими маршрутами (протяжённость каналов связи). Для оценки связности оператора с ресурсом остаётся выбрать, что важнее конечному потребителю, вернее, за что тот готов платить больше. Улучшение этого параметра без существенных расходов даёт оператору конкурентные преимущества в борьбе за клиентов.

Пользователи взаимодействуют не с одним конкретным ресурсом, а с различными типами контента и сервисов: видео, новости, развлечения, образование, интернет-торговля, работа, хобби и т.п., – размещёнными на различных площадках и представленных разными приложениями, сайтами, порталами, платформами, сетевыми технологиями. Поэтому критерии качества связности раскладываются по спектру клиентских интересов и набору измеряемых характеристик. Для совокупности клиентов число измеряемых величин и их сочетаний становится бесконечно большим, и простая задача оценки качества связности оператора переходит в статистическую, в которой базовым понятием становится распределение интересов пользователя по потребляемому трафику.

Интересы пользователей по трафику

Трафик в сети формируется конечными пользователями. Именно пользователи выбирают ресурсы, к которым они обращаются в соответствии со своими интересами. И ответы этих ресурсов формируют трафик в сторону пользователя и нагрузку на сети транзитных ISP.

Интересы интернет-пользователей — это вкусовые предпочтения пользователей в потребляемом контенте или сервисах, которые определяют их поведение в сети.

Интересы пользователей — многомерные массивы данных, несущие в себе отражение социальной динамики в части выявления паттернов поведения пользователей в сети и задействования ими сетевых ресурсов. Методы измерения интересов пользователей многообразны и направлены на осознание их закономерностей для различного применения, а именно:

развития пользовательских интерфейсов приложений;
улучшения механизмов продвижения рекламы;
повышения эффективности производства и доставки контента;
совершенствования пользовательских устройств;
формирования требований к инфраструктуре и географии размещения серверов с данными по дата-центрам;
оптимизации межсетевого взаимодействия в части выбора пиринговых партнёров и географического распределения межоператорских стыков.

Для различных целей можно различать интересы конечных пользователей по языковому пристрастию, по возрасту, по культурным и национальным чертам и т.п. Собирать данные по клиентам с целью их идентификации, классификации, анализировать и пытаться управлять их вниманием. И именно в таком смысле понимают интересы пользователей, как правило, производители контента и IT-сервисов [1, 2].

С точки зрения операторов, разумно не дифференцировать клиентские поведения, а интегрировать и выделять ключевые группы клиентов в целях оптимизации качества связности для них. В настоящее время профиль трафика в операторских сетях более чем на 90% определяется запросами конечных клиентов и их пристрастиями к тяжелым видео- и мультимедиа-ресурсам. Поэтому рассмотрение интересов конечных клиентов по трафику от наиболее популярных тяжёлых ресурсов можно полагать базовым при оптимизации связности.

Интересы пользователей по трафику, определяемые по достаточно большой клиентской выборке, не зависят от технических параметров сети. Они зависят от эволюционного состояния социума, уровня образования, цифрового уровня государственных институтов, проникновения сетей в быт, коммерцию, деловой оборот. То есть интернет-интересы пользователей — продукт прежде всего социального устройства, настроения в обществе, моды, и потому интересы клиентов являются внешними, и именно они задают трафик на сетях операторов.

Интересы пользователей достаточно стабильны и медленно меняются во времени. Они меняются по времени суток и дням недели, но сохраняются в среднем за период времени от недели и более на достаточной клиентской выборке.

Операторские расходы на техническое развитие и эксплуатацию своей сети, в основном, пропорциональны требуемой полосе пропускания сети по направлениям передачи трафика, а полоса, в свою очередь, определяется (i) числом конечных клиентских устройств, чей трафик идет по сети, (ii) профилем интересов пользователей по трафику и (iii) набором межсетевых стыков, необходимых для пропуска клиентского трафика из Интернета, то есть от других сетей.

Интернет — совокупность IP-сетей, каждое устройство в которых имеет свой уникальный IP-адрес, сообщает его маршрутизатору, с которым оно соединено, маршрутизаторы обмениваются между собой информацией об IP-адресах присоединённых устройств и на этих данных формируют таблицы маршрутизации, в соответствии с которыми они переправляют пакеты данных по сети. Маршрутизаторы, являясь устройствами, принадлежащими разным сетям, соединены друг с другом там, где получилось, и полоса соединения устанавливается такой, которой достаточно. В заголовке каждого IP-пакета есть обязательные поля с IP-адресами хоста отправителя пакета (Source Address) и IP-адресом получателя пакета (Destination Address).

Маршрутизаторы читают адрес получателя и на каждом шаге маршрутизации по таблицам маршрутизации выбирают порт, за которым находится самый выгодный маршрут до адреса получателя в соответствии с известными маршрутизатору BGP-атрибутами. В то же самое время наличие адреса отправителя позволяет собрать, накопить и проанализировать все адреса отправителей пакетов, проходящих через сеть в каком-то из её срезов. Суммируя количество пакетов, идущих с пространства адресов автономных систем за некий временной интервал сбора данных, можно построить вершину распределения трафика по источникам. Наиболее часто встречающиеся автономные системы дадут картину популярного тяжёлого контента, затребованного клиентами, несущего основную нагрузку на сеть.

На рисунке 1 представлен пример распределения потребляемого клиентами трафика по автономным системам, в адресном пространстве которых размещены те или иные сервисы или тот или иной контент, запрашиваемый клиентами. Диаграмма построена по реальным данным за февраль 2025 года, полученным на контуре примерно 50 тысяч клиентов нескольких провайдеров широкополосного доступа. С целью сглаживания естественных суточных и недельных циклов в интересах пользователей данные усреднены на недельном интервале.

Рис. 1. Пример распределения потребляемого конечными клиентами трафика. Срез на февраль 2025 года.[/caption]

Исходящий к клиентам трафик состоит из локальной части трафика с CDN-серверов магистрального оператора (Akamai, «Яндекс», ВК, …), количество которого составляет 23% в спектре интересов, трафика потребления местным операторским IPTV-сервисом — 11%, остальные 2/3 трафика приходят с межоператорских стыков магистрального оператора.

«Дальнесетевого» трафика в клиентском потреблении 55%, и он исходит всего из 32 автономных систем, а остальные миллионы интернет-ресурсов всего мира находятся в длинном хвосте распределения и составляют менее 1/10 интересов пользователей по трафику. При этом трафик, приходящий к клиентам с источников с IP-адресами зарубежных отправителей, составлял на февраль 2025 года 22%. Таким образом, имея перед глазами картину интересов пользователя по трафику и вполне счётное количество важных AS-источников контента, утилизирующих сети и внимание клиентов, можно осмысленно оптимизировать межоператорские стыки по месту включения, по полосе, по типу подключения, по расходам.

Распределение интересов пользователей по долям потребления популярных ресурсов стабильно и сохраняется под внешними воздействиями. Темы контента в зависимости от повестки дня меняются быстро, а вот платформы концентрации тяжёлого контента, каналы общения и время, потраченное потребителями на них, меняются очень медленно. Это проявление закона подобия в самоорганизующихся системах — профиль потребления массы клиентов в среднем подобен сам себе и достаточно медленно эволюционирует во времени.

Типы межоператорских связей

Клиенту не важно, каким путём трафик до него дошёл — через CDN, через апстрим (вышестоящего оператора) из-за рубежа, через пир (равнозначный обмен) на IX (Internet Exchange – точка обмена трафиком) или через прямой пир. Клиенту важно, чтоб трафик дошёл без потерь. Интернет – совокупность связанных напрямую или друг через друга IP-сетей, и путь доставки трафика – через каких операторов и какие типы стыков прошёл трафик – важен операторам, так как он определяет стоимость доставки.

В номенклатуре типов межоператорских связей есть три вида взаимоотношений по их ролевому значению и по настройкам маршрутизации:

покупка связности;
продажа связности;
условно-бесплатный обмен связностью.

Покупающий оператор называется даунстрим- провайдером (downstream – вниз по потоку, нижестоящий в иерархии), продающий – апстрим- провайдером (upstream – вверх по потоку, вышестоящий в иерархии), обменивающиеся стороны называются пирами (peer, peering – ровня, равный в иерархии). Пиринг – вид взаимодействия со специфической маршрутизацией, когда взаимодействующие операторы обмениваются друг с другом только своими связностями вниз по потоку, то есть связностями со своими клиентами, их апстримы и прочие пиры в обмене не участвуют [3].

Граничные маршрутизаторы ISP определяют список BGP соседей, анонсирующих, что за ними есть IP-адреса, совпадающие с адресом назначения пакета. При прочих равных условиях в метриках BGP выбирается предпочитаемое направление отправки пакетов соседям: самым предпочитаемым направлением являются клиентские стыки, второе – пиринговые стыки, последнее – апстрим. Благодаря такому порядку предпочтений выстраивается вся пирамида интернет-провайдинга от маленьких местных операторов внизу до нескольких глобальных гигантов уровня Tier-1 – глобальные провайдеры первого уровня, находящиеся на вершине пирамиды интернет-связности, имеющие пиринговые связи только между собой и продающие связность всем остальным. В результате стремления ISP к максимизации связности, ограниченного экономическими факторами, формируется вся мировая интернет-экосистема [4].

Рис. 2. Баланс трафика на сети ISP в соответствии с иерархией его взаимодействия с другими ISP: вверху находится совокупность апстрим-операторов U, внизу находятся клиенты D, на экваторе – пиринговые партнеры P. C – замкнутый сетью оператора межклиентский трафик.[/caption]

Интернет – это, прежде всего, адресация всех устройств и маршрутизация пакетов данных между ними. Все конечные пользователи, потребляющие трафик, и все серверы с данными и сервисами, порождающие трафик, являются даунстрим-подключениями к IP-сетям. IP-сети сами не рождают и не потребляют трафик, они лишь передают его между своими граничными стыками. В здоровой сети должен выполняться баланс трафика – весь входящий в сеть трафик должен быть равен всему исходящему из сети трафику:

∑_iU_{in_i} + ∑_jP_{in_j} + ∑_kD_{in_k} = ∑_iU_{out_i} + ∑_jP_{out_j} + ∑_kD_{out_k}

где:

U_{in_i}, U_{out_i} – входящий и исходящий трафик i штук апстрим-подключений;

P_{in_j}, P_{out_j} – входящий и исходящий трафик j штук пиринговых подключений;

D_{in_k}, D_{out_k} – входящий и исходящий трафик k штук даунстрим-подключений.

Графически направления трафика на границах сети представлены на рисунке 2. Часть сетевого трафика операторов является замкнутым межклиентским трафиком С, то есть трафиком, исходящим с одних клиентов и входящим на других клиентов оператора.

Трафик, приносящий доходы оператору, это, как правило, исходящий на клиентов трафик:

∑_kD_{out_k} = ∑_iU_{in_i} + ∑_jP_{in_j} + C

Трафик апстримов U_{in_j} – это операционные затраты операторов, пропорциональные количеству входящего с них трафика. Пиринговый трафик P_{in_i}, как правило, тоже требует расходов на оплату присутствия на точках обмена трафика IX – Internet Exchange – или на достижение и организацию прямых межоператорских стыков PNI – Private Network Interconnect. Лишь замкнутый межклиентский трафик С не несёт прямых расходов на его получение. Количество замкнутого трафика пропорционально размеру сети оператора и количеству его клиентов.

Последнее соотношение делает очевидными возможные мероприятия по оптимизации расходов на связность для провайдеров любого уровня:

максимизация замкнутого между клиентами трафика C – для этого надо стремиться делать все включения клиентскими, так как клиенты несут и доходы, и связность;
интернет-ресурсы, которые не удаётся сделать своими клиентами, предпочтительнее подключать на пиринговых настройках, причём популярные ресурсы из вершины распределения интересов пользователей выгоднее включать прямыми пиринговыми условно-бесплатными стыками PNI, а связность с большим числом интернет-игроков из середины распределения интересов пользователей целесообразнее получать скопом на точках обмена трафиком IX с оплатой за полосу присутствия на точке обмена;
апстримы U должны обслуживать лишь хвост интересов пользователей по трафику с малопопулярных ресурсов, с которыми отсутствует возможность или экономическая целесообразность установления пиринговых отношений.

География связности

На заре развития Интернета новые участники подключались к общей обменной сети (интернет-бэкбон, Backbone), которая была основой научных сетей и оплачивалась американским научным фондом NSF – National Science Foundation [5]. Затраты на подключение определялись построением цифровых каналов связи для достижения бэкбона. По мере роста трафика и коммерциализации Интернета финансирование обслуживания и развития интернет-бэкбона взяла на себя группа коммерческих операторов, которые друг с другом соединялись пиринговыми стыками, а все остальные покупали связность с любым из них. Позже операторов бэкбона назвали Tier-1-операторами, и они стали «центром» Интернета, через который проходила вся интернет-связность. Соответственно, расходы провайдеров на подключение к Интернету складывались из оплаты канала связи до ближайшего интернет-узла и оплаты подключения к нему как к апстриму. Параллельно процессу разрастания сети Интернет росли так называемые кампусные IP-сети, внутри которых развивались локальные ресурсы. Последнему способствовала открытость интернет-технологий, энтузиазм пользователей и постоянный дефицит цифровых каналов связи до бэкбона на фоне растущего трафика и расходов на него. Между «кампусными сетями» и отдельно развивающимися веб-ресурсами раннего Интернета устанавливались пиринговые отношения, обогащая друг друга связностью с интернет-соседями без петель через далёкий и дорогой «центр» Интернета. Некоторое время спустя «кампусные сети» стали прообразом коммерческих провайдеров местного доступа, а наиболее удачливые масштабировались до регионального уровня.

Эта очень грубая картина структуры раннего Интернета даёт картинки понимания следующих деталей интернет-провайдинга:

географическое разнесение типов межоператорских подключений – на территории покрытия сети подключаются клиенты, связность покупается где-то на далёких узлах у Tier-1-операторов или у магистральных операторов, сети которых дотягиваются до «центра Интернета», а с провайдерами на соседних территориях поднимаются пиринговые стыки;
функциональная сущность бизнеса провайдера – «фабрика» по производству связности в интересах клиентов;
целевая модель роста:
- вверх по иерархии – стать Tier-1-оператором, чтобы не нести расходы на покупку связности, а только продавать её вниз по иерархии и поддерживать «бесплатный» пиринг с другими Tier-1;
- вниз по иерархии – покрыть всю территорию своими сетями доступа и сделать всех своими клиентами для максимизации доходов.

Конкуренция как критерий разумности

Конкуренция провайдеров в борьбе за доходы от клиентов и минимизацию расходов на связность пронизывает все уровни провайдинга. C одной стороны, два соседствующих оператора являются добрыми пир-партнёрами ровно до того момента, пока их сети не пересекаются и они не начинают бороться за одних и тех же клиентов. Обострение конкуренции часто влечёт за собой местный депиринг – каждый провайдер полагает, что ухудшение связности с ним его конкурента ухудшит связность этого конкурента. В результате локальный трафик уходит на более далёкие пиринговые площадки, на которых присутствуют эти конкуренты, или вообще разворачивается на апстримы конкурирующих операторов.

С другой стороны, для магистральных провайдеров на межоператорском рынке становится очень важным сокращать длину BGP-маршрутов – AS Path – между источниками трафика и потребителями. Ведь маршрутизаторы просчитывают возможные маршруты и выбирают наилучший с наименьшим числом скачков через автономные системы (AS hop). Выигрывает тот оператор, у которого наиболее прямая связность с интересным клиенту контентом, и поэтому для получения конкурентного преимущества приходится нести расходы на приближение своей сети ближе к контенту и организацию пиринга с далёким контентом на его территории.

Ещё одно яркое конкурентное проявление, влияющее на географию пиринга, происходит при продвижении глобальных Tier-1 по национальным территориям с достаточно высоким уровнем локализованного трафика, таких как Рунет. В Рунете меньше четверти трафика доставляется из-за рубежа, остальной контент рождается внутри страны. В такой ситуации западный Tier-1-оператор, пришедший на российский рынок, может предложить лишь западную связность. Поэтому для старта на рынке ему интересно максимально быстро набрать местную связность, и он, вопреки своим пиринговым принципам, готов пириться с местными ресурсами и даже покупать местный Интернет, что портит экономические показатели его продвижения на национальные рынки. Если какой-то из операторов Рунета решит купить IP-транзит на территории Российской Федерации у пришедшего сюда западного игрока, то он получит худший AS Path c как минимум одним лишним AS hop этого оператора по сравнению с тем, что он мог организовать себе сам путём бесплатных пиров, например, во Франкфурте.

Поэтому одним из важных моментов в межоператорской игре за своё место под солнцем является географическое разнесение зон, где оператор продаёт, где он покупает, где имеет рестриктивную пиринговую политику, а где открыт и гибок для пиринга. На территории своих коммерческих интересов, как правило, провайдер не пирится с другими операторами даже за деньги, даже если они Tier-1. Но так было давно, в эпоху, когда Интернетом правили веб-технологии. С тех пор связность в соответствии с распределением интересов пользователей сконцентрировалась на конечном числе больших контент- и сервис-игроков, таких как Google, «Яндекс», VK, Telegram, Rutube и т.п. Современным потребителям Интернета не нужна связность друг с другом напрямую. Они взаимодействуют на развлекательном и бизнес-уровнях через сервисы популярных глобальных платформ, которые развивают bigtech-игроки. Для хорошей современной связности надо заботиться о прямых подключениях лишь счётного числа критически важных популярных ресурсов, а при наличии поддерживать размещение их кеширующих серверов на своей сети, наращивая их эффективность максимизацией числа своих клиентов.

Заключение – взгляд с другой стороны

С другой стороны (со стороны контента) есть свои аналогичные метрики связности и экономические ценности. Для контента важна короткая связность с аудиторией на территориях продвижения своих сервисов, и соответствующая экономика достижения этой связности – покупать ли её, получать через пиринг, размещать CDN-серверы ближе к своим пользователям или строить свои магистрали от дата-центров в сторону пользователей. У разных владельцев контент/сервис-платформ разные стратегические ценности, и потому нахождение паритета интересов между интернет-провайдерами (ISP) и контент-игроками – это бесконечная игра в поисках тонкого баланса экономики и интересов. Картина мира, изложенная в статье, в деталях отражает взгляд ISP. Надеемся, в обозримом будущем представители условного «Яндекса» или ВК опубликуют аналогичное исследование, отражающее их взгляд на связность.

Список литературы

1. Rand FishkinMarch, Who Sends Traffic on the Web and How Much?, 11.2024 https://sparktoro.com/blog/who-sends-traffic-on-the-web-and-how-much-new-research-from-datos-sparktoro/

2. Omri Wallach, The World’s Most Used Apps, by Downstream Traffic, 09.2021 https://www.visualcapitalist.com/the-worlds-most-used-apps-by-downstream-traffic/

3. А.А. Кипчатов, Физика пиринга и химия депиринга, 03.2008 http://kipchatov.ru/blog/-p=202.htm

4. William B. Norton, Internet Peering Playbook, Connecting to the Core of the Internet, DrPeering Press, 2011 – The Global Internet Peering Ecosystem, 354 р.

5. NSFNet, Википедия – https://ru.wikipedia.org/wiki/NSFNet

Об авторах:

А.А. Кипчатов, к.ф.-м.н., руководитель направления, компания «ТрансТелеКом», Москва

И.Д. Гуденко, руководитель департамента развития, компания «ТрансТелеКом», Москва

Скачать статью: Управление интернет-связностью