Маршрут

Первым главным отличием второго московского драйв-теста стал маршрут. По нашей задумке он должен был пройти по спальным районам Москвы - по второстепенным улицам в зоне между третьим транспортным кольцом и МКАД. Для демонстрации непредвзятости организатора драйв-теста мы предложили каждому из трех операторов составить накануне теста список из 12 улиц. Утром в день теста мы нанесли предложенные операторами улицы на карту и соединили их кратчайшими отрезками в единый непрерывный маршрут (списки улиц, предложенные каждым оператором, мы публиковали ранее). Ниже на картах вы можете видеть то, что у нас в итоге получилось.

Техника измерений

Вторым важным отличием второго московского драйв-теста стала методика проводимых измерений. В тесте были задействованы три измерительных комплекса, установленных в двух микроавтобусах, движущихся друг за другом по одному маршруту.

Первый измерительный комплекс (TEMS Investigation) был запрограммирован на выполнение большого числа коротких вызовов, совершаемых на автоответчики операторов по следующему графику: 15 секунд - продолжительность вызова, 15 секунд - пауза между вызовами. В общей сложности в сети каждого оператора было совершено по 760-800 попыток установления соединения. Это примерно в два раза больше, чем в процессе предыдущего драйв-теста. Увеличение числа звонков позволило заметно снизить статистическую погрешность измерений. Целью работы данного комплекса был сбор статистики доступности сетей.

Второй измерительный комплекс (QVoice) был настроен на осуществление "длинных" звонков, продолжительностью в 25 минут каждый, с паузами между звонками в 15 секунд. В случае досрочного обрыва соединения через 15 секунд после потери связи производился новый звонок. Целью работы данного комплекса был сбор измерений RxQuality, а также сбор статистики по обрывам соединений. На протяжении всего маршрута тестирования в сети каждого оператора было собрано примерно по 74 тыс. измерений (каждый телефон делал измерения RxLevel и RxQuality примерно каждые полсекунды).

Третий измерительный комплекс (QVoice) работал в режиме сканирования всех доступных GSM-каналов (GSM-900, GSM-1800, EGSM). Впоследствии, разделив просканированный спектр по диапазонам, принадлежащим каждому из операторов, были получены данные о максимальном уровне сигнала RxLevel каждой из сетей. На протяжении всего маршрута тестирования в сети каждого оператора было собрано примерно по 26 тыс. измерений (полное сканирование GSM-спектра осуществлялось примерно каждые полторы секунды).

Измерения параметров RxLevel и RxQuality осуществлялись только в направлении "вниз": от БС к мобильной станции.

Оценка и анализ результатов исследования проводился экспертным советом "Мобильного форума", при плотной консультационной поддержке технических специалистов всех трех московских операторов сотовой связи GSM.

Результаты теста

Соответствующий фрагмент карты покрытия раскрывается при клике на любой из четырех сегментов города. Для каждого сегмента в верхней части открывающейся страницы приведены дополнительные настройки, позволяющие выбрать оператора и параметр измерений. Значения измерений представлены в виде маркерных линий нанесенных на карту города. Соответствие цветов маркера и измеренных значений устанавливается по легенде, которая присутствует на каждом из участков карты.

RxLevel

Параметр RxLevel - это мощность радиосигнала, принимаемого мобильным терминалом, измеряемая в децибеллах к милливатту. RxLevel, измеренный в режиме ожидания связи, является ключевым параметром, характеризующим как "ширину", так и "глубину" радиопокрытия. Значения данного параметра мы разделили на следующие группы:

• -110...-105 dBm - предельный уровень сигнала (связь на грани обрыва)
• -105...-95 dBm - низкий уровень сигнала (негарантированный прием)
• -95...-85 dBm - средний уровень сигнала (пограничная зона)
• -85...-75 dBm - уверенная связь на улице и в транспорте
• -75...-65 dBm - связь в зданиях
• -65...-47 dBm - уверенная связь в зданиях

Следует отметить, что разделение диапазона значений выше -85 dBm условно. Провести доскональное тестирование покрытия операторов внутри зданий Москвы практически невозможно, а связь внутри любого помещения зависит от множества факторов. Измеренные нами величины могут лишь косвенно свидетельствовать о глубине проникновения сигнала в здания.

Карты RxLevel, построенные в MForum по результатам измерений, показывают, что уровень сигнала в сетях каждого из трёх операторов имеет хорошие значения. Как и в прошлом драйв-тесте значений ниже -85 dBm ни у кого нет. Гистограммы, однако, указывают на ряд отличий в распределении значений выше этого уровня (на одном графике приведены данные всех трех операторов):

По гистограмме видно, что в зону "уверенная связь в зданиях" у всех трех операторов попадает большинство измерений, однако, если у МТС и Би Лайна это 88% и 85% соответственно, то у МегаФона в эту зону попадает только 55% измеренных значений.

RxQuality

Параметр RxQuality соответствует величине "bit error rate", измеренной в радиоканале, отражающей процент ошибок при передаче цифрового сигнала. Значениям bit error rate в процентах для наглядности поставлены в соответствие цифровые значения от 0 до 7. Мы не публикуем таблицу этого соответствия, чтобы не перегружать текст.

Значения от 0 до 2 представляют низкий уровень битовых ошибок, легко компенсируемых стандартным GSM-декодером речи; на слух заметить такие ошибки практически невозможно. Интересно, что в основательно загруженных сетях Москвы качество на уровне 0, считается проектировщиками даже излишним. Зачастую используются различные механизмы регулировки мощности, способные принудительно понизить сигнал, чтобы "опустить" уровень до значений 2-3. Данные механизмы выбираются и настраиваются индивидуально каждым из операторов. Мы решили значения RxQuality от 0 до 2 не разделять и считать оптимальными.

Значения от 3 до 5 определяют области с "переходным" уровнем качества. Появление соответствующих ошибок не всегда удается заметить на слух, но все же, наличие таких зон покрытия нежелательно. Косвенно такие значения RxQuality свидетельствуют о не очень хорошем качестве соединения.

Значения от 6 до 7 являются критическими. Когда телефон сообщает сети такие значения, ему тут же выдается команда сменить соту (handover). Если в сети того или иного оператора достаточно часто фиксируются соответствующие значения, это позволяет сделать вывод о низком качестве связи в соответствующих зонах.

На картах параметра RxQuality мы наблюдаем равномерную картину достаточно высокого качества в сетях всех трех московских операторов GSM. Лучшего оператора визуально определить практически невозможно. Если взглянуть на гистограмму качества, становится ясно, что лучшего оператора по данному параметру просто нет:

У МТС "переходных" значений меньше на 0.7%, но зато "критических" значений больше на 0.1%. У МегаФона "критических" значений меньше всего, но отрыв в 0.3% вряд ли можно считать существенным.

Обрывы связи

Продолжительные звонки (по 25 минут), выполненные в процессе тестирования в сети каждого из операторов, позволили сделать некоторые заключения об устойчивости соединений. Как и в первом драйв-тесте, малое количество обрывов (от 5 до 9 в разных сетях) не позволяет ранжировать операторов по такому параметру как "средняя продолжительность связи между обрывами" (mean time between drops). Ясно, что у всех трех операторов этот параметр измеряется сотнями минут, что не может не радовать. От более детальных выводов мы пока воздерживаемся.

Доступность сети

Фаворит предыдущего драйв-теста по данному параметру "МегаФон" уступил лидерство МТС и "Би Лайну". О существенном отставании "МегаФона" говорить нельзя. Несмотря на улучшенную точность измерений, статистически доверительные интервалы всех трех операторов в значительной мере пересекаются, не отделяются друг от друга, как это было в прошлый раз.

Следует отметить существенно меньшую по сравнению с прошлым драйв-тестом загруженность всех трех сетей в выбранный нами день тестирования. Напомним, что в прошлый раз проценты недоступности лежали в диапазоне от 2.4% до 7.1%, причем результат "МегаФона" 2.4% был наилучшим. В день второго драйв-теста показатели существенно улучшились у всех трех операторов. Данный факт подчеркивает сильную зависимость результатов измерений не только от маршрута, но и от дня тестирования. Только многократно проведенные измерения позволят со временем составить достаточно полную картину состояния сотовой связи в Москве (следите за новыми драйв-тестами на MForum.ru!!!).

Вердикт

Вердикт второго раунда тестирования московских сотовых сетей диаметрально противоположен первому раунду:

1-е место - "Би Лайн GSM", МТС (по алфавиту),
2-е место - "МегаФон".

MForum благодарит всех, кто принял участие в подготовке и проведении столь сложного мероприятия, как инструментальный драйв-тест, - прежде всего, сотрудников операторов сотовой связи, а также всех, кто оказал поддержку этому мероприятию, сделав его возможным. MForum предлагает всем нашим читателям и абонентам операторов сотовой связи принять участие в обсуждении результатов первого московского драйв-теста в форуме под данной статьей.

Ограничения используемой методики

Проект "Драйв-тест", осуществляемый информационно-аналитическим агентством "Мобильный форум", является общественной инициативой. Концепция проекта на современном этапе не предполагает проведение полномасштабной технической экспертизы сотовых сетей. Подобная экспертиза требует внушительных ресурсов, да и проводить ее должны скорее специализированные инженерные организации, либо государственные учреждения.

Драйв-тест "Мобильного форума" следует рассматривать как журналистский потребительский тест, описывающий действия, выполненные участниками проекта, а также осмысление ими полученных результатов. Вряд ли следует использовать сделанные нами выводы для принятия каких-либо практических решений. Тем не менее, везде, где это было возможно, мы старались быть максимально технически корректными.

Ниже приведены основные ограничения применимости результатов наших исследований:

1. Узкий географический охват. Маршрут тестирования охватывает менее 1% площади покрытия сотовых операторов. Говорить о географической репрезентативности исследования вряд ли возможно. Измерения на соседних улицах и дорогах могут дать иной результат.

2. Точечный временной охват. В каждой точке маршрута измерение проводится только один раз. Это не позволяет исключить влияние временных факторов, таких, как пробки на дорогах, приводящие к скоплениям абонентов и перегрузкам сетей в конкретных точках, плановые или иные работы по техническому обслуживанию сети операторами, перераспределение трафика в зависимости от времени суток, погодные и сезонные факторы, другое.

3. Статистически небольшой объем собранных данных и, как следствие, высокая погрешность вычисленных значений. Погрешности ключевых значений рассчитаны нами и приведены в результатах драйв-теста. В некоторых случаях, когда доверительные интервалы измеренных значений у разных операторов существенно накладываются друг на друга, мы воздерживаемся от категоричных выводов в пользу кого-либо из них.

4. Особые условия измерений. Измерения проводятся с использованием внешних антенн, установленных на крыше (микро-)автобуса. Практически никто из абонентов не совершает звонки в подобных условиях.

Комментарии операторов сотовой связи

"Би Лайн GSM"

В целом мы удовлетворены результатами драйв-теста. В прошлые годы Би Лайн активно инвестировал в развитие сети в Московском регионе. Благодаря драйв-тесту "Мобильного Форума" мы в очередной раз получили подтверждение того, что сегодня качество сети ни одного из сотовых операторов не превосходит уровня Би Лайна. При этом мы не собираемся останавливаться на достигнутом. Обладая крупнейшей сетью по количеству базовых станций в Московском регионе, мы продолжаем вводить в действие новые мощности, ведем активное строительство в московском метрополитене, благодаря чему связью Би Лайн охвачено уже более 60 станций.

Нужно отметить, что в этот раз специалисты "Мобильного Форума" усовершенствовали методику измерений, что позволило получить более точные данные и объективную картину качества связи в сетях.

Евгения Демина, служба по связям с общественностью ОАО "ВымпелКом"

"МегаФон"

Больше тестов хороших и разных. Тестирование по новому маршруту (спальные районы) в очередной раз показало, что качество связи у всех сотовых операторов Москвы сегодня находится на одном уровне. Безусловного лидера выявить практически невозможно. Расхождения в результатах, полученных по итогам мониторинга на комплексах TEMS и QVoice, минимальны и, скорее, отражают особенности планирования конкретных сетей, чем качественные различия между ними. В прошлый раз победили мы, в этот раз победила дружба - на первое место сразу два претендента. С учетом предыдущего теста, в котором призером стала наша сеть, итоговые показатели "МегаФона" в целом очень уверенные.

В этом году технические специалисты "МегаФона" сделали многое для улучшения качества связи в столичном регионе и продолжают работу в этом направлении. Информация, полученная в результате очередного тестирования, поможет оперативнее решить локальные проблемы в ряде районов города. Сеть "МегаФон-Москва" продолжает развиваться быстрыми темпами, предоставляя абонентам выгодную мобильную связь по соотношению "цена/качество".

Роман Проколов, советник генерального директора компании ЗАО «Соник Дуо» («МегаФон-Москва»)

МТС

За прошедший месяц сотрудники технических служб всех трех операторов вместе со специалистами MForum посвятили немало времени обсуждению и согласованию методики проведения драйв-теста. Поэтому опубликованные сегодня результаты можно смело считать нашим совместным проектом. Эта работа, несомненно, будет продолжена – ведь MForum демонстрирует искреннее желание осуществлять объективные и полные исследования состояния московских сетей сотовой связи.

Сами сегодняшние результаты вряд ли станут сюрпризом как для специалистов, так и для рядовых пользователей. Миллионы москвичей имеют довольно ясное представление о качестве всех трех сетей, ведь они «тестируют» их ежедневно.

Павел Нефедов, начальник службы по связям с общественностью ОАО "МТС"

© "Мобильный форум"