К тестированию сотовой связи в столице в агентстве готовились давно и основательно. MForum подошел к реализации этого исследования со всей ответственностью, мы, в частности, провели целую серию переговоров с ведущими специалистами московских операторов, пригласили их к участию в измерениях, а затем провели ряд встреч для уточнения выбранной методики обработки результатов.

Маршрут

Серию измерений по Москве мы начали со сложного маршрута – челноком от центра к МКАД, по МКАД, от МКАД к  центру и по Садовому кольцу, объехав таким образом девять основных городских трасс. Были проведены измерения на Рязанском проспекте, Нижегородской улице, Проспекте Андропова, Каширском шоссе, Варшавском шоссе, Большой Ордынке, около Кремля, на Большой Якиманке, Ленинском проспекте, Можайском шоссе, Кутузовском проспекте, Садово-Кудринской, Тверской, Ленинградском проспекте, Дмитровском шоссе, Новослободской ул., Проспекте Мира, Ярославском шоссе, Щелковском шоссе, Большой Черкизовской, проспекте Академика Сахарова.

На прохождение маршрута было потрачено более 12 часов, за это время удалось сделать около 400 звонков в сети каждого из операторов, а также собрать более 120.000 точечных измерений.

Несмотря на то, что проведение драйв-теста уже превратилось для агентства MForum в отлаженный механизм, подготовка к публикации результатов московского драйв-теста потребовала более детального анализа полученных данных. Во-первых, потому что все GSM-операторы освоили Москву, как никакой другой город России, во-вторых, результаты наших измерений могут подтвердить или опровергнуть итоги многолетней и высокобюджетной работы операторов по созданию собственного имиджа и позиционирования на рынке сотовой связи. В-третьих, как нигде, возрастает ответственность MForum перед потребителями услуг сотовой связи, которые на основании наших исследований, возможно, сделают свой выбор.

Описание методики тестирования, а также перечень вытекающих из нее ограничений приведены ниже в конце статьи.

Результаты теста

Соответствующий фрагмент карты покрытия раскрывается при клике на любой из четырех сегментов города. Для каждого сегмента в верхней части открывающейся страницы приведены дополнительные настройки, позволяющие выбрать оператора и параметр измерений. Значения измерений представлены в виде маркерных линий нанесенных на карту города. Соответствие цветов маркера и измеренных значений устанавливается по легенде, которая присутствует на каждом из участков карты.

RxLevel

Параметр RxLevel - это мощность радиосигнала, принимаемого мобильным терминалом, измеряемая в децибеллах к милливатту. Чтобы исключить влияние на данный параметр таких механизмов сотовых сетей, как автоматическая регулировка мощности и других, мы объединили все значения RxLevel выше -85 dBm. Значения выше этого уровня мы считали достаточными для осуществления соединения оптимального качества. Значения ниже -85 dBm мы разделили на три группы:

• от -85 dBm до -95 dBm - средний уровень сигнала (пограничная зона)

• от -95 dBm до -105 dBm - низкий уровень сигнала (негарантированный прием)

• ниже -105 dBm - предельный уровень сигнала (связь на грани обрыва)

Карты RxLevel каждого из операторов наглядно демонстрируют, насколько достаточна мощность радиосигнала в районе проведения драйв-теста для обеспечения хорошего качества связи. RxLevel является базовым параметром, косвенно влияющим на другой параметр - RxQuality (о нем речь впереди). Карты RxLevel, построенные в MForum по результатам измерений, показывают, что уровень сигнала в сетях каждого из трёх операторов имеет хорошие и примерно равные значения. Это подтверждают и следующие гистограммы (на одном графике приведены данные всех трех операторов):

Значений ниже -95 dBm практически нет. Выделить лидера или аутсайдера здесь практически нельзя, разве что в "пограничной зоне" результаты "Би Лайн GSM" и МТС выглядят чуть лучше, чем у "МегаФона".

RxQuality

Параметр RxQuality соответствует величине "bit error rate", измеренной в радиоканале, отражающей процент ошибок при передаче цифрового сигнала. Значениям bit error rate в процентах для наглядности поставлены в соответствие цифровые значения от 0 до 7. Мы не публикуем таблицу этого соответствия, чтобы не перегружать текст.

Значения от 0 до 2 представляют низкий уровень битовых ошибок, легко компенсируемых стандартным GSM-декодером речи; на слух заметить такие ошибки практически невозможно. Интересно, что в основательно загруженных сетях Москвы качество на уровне 0, считается проектировщиками даже излишним. Зачастую используются различные механизмы регулировки мощности, способные принудительно понизить сигнал, чтобы "опустить" уровень до значений 2-3. Данные механизмы выбираются и настраиваются индивидуально каждым из операторов. Мы решили значения RxQuality от 0 до 2 не разделять и считать оптимальными.

Значения от 3 до 5 определяют области с "переходным" уровнем качества. Появление соответствующих ошибок не всегда удается заметить на слух, но все же, наличие таких зон покрытия нежелательно. Косвенно такие значения RxQuality свидетельствуют о не очень хорошем качестве соединения.

Значения от 6 до 7 являются критическими. Когда телефон сообщает сети такие значения, ему тут же выдается команда сменить соту (handover). Если в сети того или иного оператора достаточно часто фиксируются соответствующие значения, это позволяет сделать вывод о низком качестве связи в соответствующих зонах.

На карте параметра RxQuality мы наблюдаем равномерную картину достаточно высокого качества в сетях всех трех московских операторов GSM. Лучшего оператора визуально определить практически невозможно. Красные точки, присутствующие у всех операторов, на глаз подсчитать сложно.

На помощь приходят гистограммы:

Здесь мы видим, что значения этого параметра в сетях трех операторов примерно равны. Говорить об отставании "Би Лайн GSM" от "МегаФона" и МТС не приходится, разницу в 2.3% абонент вряд ли ощутит "на слух".  

Доступность сети

Сеть	Всего попыток звонков	Неуспешных установлений соединений	% недоступности, +/- погрешность
"Би Лайн GSM"	395	27	6.8 +/-2.5
"МегаФона"	373	9	2.4 +/-1.6
МТС	424	30	7.1 +/-2.4

Для развитых городских сотовых сетей критерий доступности услуги (т.е. возможности для абонента совершить звонок) из всех собранных нами параметров является определяющим критерием качества. К сожалению, при том количестве звонков, которое нам удалось совершить за время драйв-теста, погрешность вычисленного значения достаточно высока. Так из-за высокой погрешности мы не можем сделать однозначного сравнения сетей МТС и "Би Лайн GSM". Тем не менее, существенный отрыв "МегаФона" по этому параметру не может не бросаться в глаза!

Радиосеть "МегаФона" оказалась наиболее доступной во время тестирования. То, что у данного оператора в Москве существенно меньше абонентов, является для МТС и "Би Лайн GSM", скорее, объяснением, чем оправданием. Лидерство "МегаФона" по данному параметру очевидно, по крайней мере на основных автодорогах города.

Вердикт

Результат первого московского драйв-теста не явится сюрпризом для экспертов, соотносящих такие базовые факторы, как объемы инвестиций в московский рынок, размеры абонентских баз действующих операторов, возраст сотовых сетей. Для них уже давно ясно, что в целом качество связи обеспечивается здесь на достаточно высоком уровне у всех трех операторов (зачастую на заметно более высоком уровне, чем у ряда зарубежных операторов).

Сюрприз может быть преподнесен абонентам, привыкшим многие годы умозреть одну и ту же "классическую" расстановку сил. Наверное, пора им соприкоснуться с реальностью. На этот раз, "Мобильный форум", к сожалению, не имел достаточно ресурсов, чтобы преподнести вам полномасштабную объективную оценку реальной ситуации (см. ограничения драйв-теста ниже). Но лаборатория MForum продолжает соответствуюие работы и каждый наш новый драйв-тест позволит уточнять ранее сделанные оценки и оценивать развитие ситуации с качеством связи GSM в Москве в динамике.

Итак, вердикт:

1-е место - "МегаФон",

2-е место - "Би Лайн GSM", МТС (по алфавиту).

В следующих ежемесячных драйв-тестах мы планируем значительно усовершенствовать методику сбора и анализа информации. Возможно, уже в следующем месяце мы порадуем вас более глубокими и более точными данными.

MForum благодарит всех, кто принял участие в подготовке и проведении столь сложного мероприятия, как инструментальный драйв-тест, - прежде всего, сотрудников операторов сотовой связи, а также всех, кто оказал поддержку этому мероприятию, сделав его возможным. MForum предлагает всем нашим читателям и абонентам операторов сотовой связи принять участие в обсуждении результатов первого московского драйв-теста в форуме под данной статьей.

Условия проведения исследования

Измерения проводились в "режиме соединения" (Dedicated Mode). Звонки осуществлялись на автоответчики операторов. Длительность соединения при этом составляла 60 секунд с паузой между дозвонами по 10 секунд. В ходе измерений была собрана и проанализирована следующая информация:

Call attempts - число попыток установления соединений
Call setup - число успешно выполненных соединений
Dropped calls - число оборванных соединений
RxLevel - уровень  мощности радиосигнала, принимаемого мобильной станцией
RxQuality - уровень качества сигнала, принимаемого мобильной станцией

Измерения параметров радиоканала осуществлялись только в направлении "вниз": от БС к мобильной станции. Оценка и анализ результатов исследования проводился экспертным советом "Мобильного форума", при плотной консультационной поддержке технических специалистов всех трех московских операторов сотовой связи GSM.

Ограничения используемой методики

Проект "Драйв-тест", осуществляемый информационно-аналитическим агентством "Мобильный форум", является общественной инициативой. Концепция проекта на современном этапе не предполагает проведение полномасштабной технической экспертизы сотовых сетей. Подобная экспертиза требует внушительных ресурсов, да и проводить ее должны скорее специализированные инженерные организации, либо государственные учреждения.

Драйв-тест "Мобильного форума" следует рассматривать как журналистский потребительский тест, описывающий действия, выполненные участниками проекта, а также осмысление ими полученных результатов. Вряд ли следует использовать сделанные нами выводы для принятия каких-либо практических решений. Тем не менее, везде, где это было возможно, мы старались быть максимально технически корректными.

Ниже приведены основные ограничения применимости результатов наших исследований:

1. Узкий географический охват. Маршрут тестирования охватывает менее 1% площади покрытия сотовых операторов. Говорить о географической репрезентативности исследования вряд ли возможно. Измерения на соседних улицах и дорогах могут дать иной результат.

2. Точечный временной охват. В каждой точке маршрута измерение проводится только один раз. Это не позволяет исключить влияние временных факторов, таких, как пробки на дорогах, приводящие к скоплениям абонентов и перегрузкам сетей в конкретных точках, плановые или иные работы по техническому обслуживанию сети операторами, перераспределение трафика в зависимости от времени суток, погодные и сезонные факторы, другое.

3. Статистически небольшой объем собранных данных и, как следствие, высокая погрешность вычисленных значений. Погрешности ключевых значений рассчитаны нами и приведены в результатах драйв-теста. В некоторых случаях, когда доверительные интервалы измеренных значений у разных операторов существенно накладываются друг на друга, мы воздерживаемся от категоричных выводов в пользу кого-либо из них.

4. Особые условия измерений. Измерения проводятся с использованием внешних антенн, установленных на крыше (микро-)автобуса. Практически никто из абонентов не совершает звонки в подобных условиях.

Комментарии операторов сотовой связи

"Би Лайн GSM"

"Проведенное исследование не позволяет сделать какой-либо вывод о качестве сетей в целом, в первую очередь, ввиду массы ограничений используемой методики - а именно очень ограниченного по географии маршрута, малого объема статистических данных, краткого временного интервала. Так, драйв-тест в рамках выбранного маршрута не затрагивает прилегающие к крупным проспектам улицы, переулки и дворы, не говоря уже о состоянии связи внутри зданий. Если принять во внимание все ограничения данной методики, то понятно, что даже приблизительные выводы о качестве работы сетей будут некорректны. Для того, чтобы исследование основных параметров качества трех сотовых сетей такого огромного мегаполиса как Москва более-менее отражало действительность, необходимо проводить измерения, которые займут как минимум один месяц, а конечно же не один день."

Дмитрий Богаевский, ведущий инженер ОСПиОС  компании "ВымпелКом"

"МегаФон"

В этом году технические специалисты "МегаФона" провели серьезную работу по улучшению качества связи в Московском регионе: увеличена емкость сети, построены сотни новых базовых станций, стартовала программа развития сети в метро. Эта работа продолжается, но уже сейчас отчетливо видно, что московский "МегаФон" вполне успешно конкурирует со старожилами рынка по качественным параметрам, а по ряду показателей (таких, как доступность сети) даже опережает их.

В этом контексте высокие оценки, полученные нашей компанией по итогам драйв-теста, организованного специалистами MForum, вполне объяснимы. За короткое время "МегаФон" из "догоняющего игрока" превратился в оператора, способного предложить москвичам мобильную связь с оптимальным соотношением "цена/качество".

Роман Проколов, советник генерального директора компании ЗАО «Соник Дуо» («МегаФон-Москва»)

"МТС"

MForum поставил перед собой довольно амбициозную и непростую задачу. Это делает  мероприятие легкой мишенью для разнообразной критики. Тот факт, что в тесте используется профессиональное измерительное оборудование, а результаты выражаются малопонятными для рядовых потребителей параметрами, не позволяют характеризовать данное мероприятие как «журналистский потребительский тест». С другой стороны, чтобы сделать его по-настоящему профессиональным, нам вместе, и журналистам, и представителям сотовых операторов, нужно серьезно поработать над методикой.

Конкретно по результатам данного теста. Действительно, они ни для кого не стали новостью: все три оператора обеспечивают высокий уровень обслуживания основных автомагистралей. Практическая применимость этого вывода неясна, ведь большинство московских абонентов пользуются сотовыми телефонами вовсе не на автомагистралях. Абоненты ездят в метро, абоненты звонят, находясь в закрытых помещениях, они живут в «спальных районах» в стороне от автотрасс. Их мнение о качестве связи складывается именно здесь. Достоинство потребительских тестов в том и состоит, что они отражают поведение и приоритеты рядовых пользователей.

Надеемся, что в будущих тестах MForum будет совершенствовать свою методику, активно общаясь с техническими специалистами операторов. Мы готовы оказывать любую методологическую, техническую и организационную помощь.

Павел Нефедов, начальник службы по связям с общественностью ОАО "МТС"

Заключение

В настоящее время MForum ведет разработку модифицированной методики, которая позволит агентству усовершенствовать сбор данных в ходе проведения драйв-теста, что в свою очередь позволит делать более глубокие и точные выводы о ситуации с качеством покрытия сетей подвижной сотовой связи GSM в Москве. В наших планах - предпринять целый цикл подобных исследований, что позволит существенно уточнить наши выводы, а также исследовать динамику изменения ситуации с качеством московских сетей.

© "Мобильный форум"