Результаты бенчмаркинга — Планирование и оптимизация сетей GSM

[Samara-Mobile.ru]

Коллеги, хочется поднять и обсудить такую тему: все мы проводим бенчмаркинг (сравнительное тестирование качества предоставляемых услуг телефонии и передачи данных) своей сети и сетей "врагов". В результате формируется отчёт (для технарей, для руководства, для маркетологов и коммерсантов). Так вот, сам вопрос: кто какие параметры/данные включает в такие отчёты?

[Manas]

Вот то что я делал прошлом году
использывал 6 мобилы
1. long call
2. short call
3. scanning mode

Contents
1 ABSTRACT 3
2 INTRODUCTION 3
3 ABOUT MEASUREMENTS 3
3.1 EQUIPMENTS USED 3
3.2 DRIVE-TEST METHOD 3
3.3 DRIVE-TEST ROUTE 3
4 MEASUREMENT RESULTS 5
4.1 SIGNAL LEVEL (RX LEVEL) - SCANNER MODE 5
4.2 SIGNAL STRENGTH (RXLEV - SUB) DEDICATED MODE 7
4.3 SIGNAL QUALITY (RX QUALITY - SUB) 10
4.4 SERVICE RANGE - TIMING ADVANCE 13
4.5 MOBILE TRANSMITTING POWER 15
4.6 SPEECH QUALITY INDEX 19
5 CALL STATISTICS 22
6 CONCLUSION 26
7 APPENDIX 28

[Samara-Mobile.ru]

Вот то что я делал прошлом году

А что подразумевается/содержится в:
а) ABSTRACT
б) INTRODUCTION
в) MEASUREMENT RESULTS
г) CONCLUSION
д) APPENDIX
?

[Samara-Mobile.ru]

В моих отчётах содержится следующая информация:

1) Условия проведения тестирования

• • Срок проведения тестирования: с 15.02.2008 по 22.02.2008
  • Объект тестирования: г.Самара (Самарская область)
  • Время тестирования: световой день
  • Расположение антенн: внутри автомобиля
  • Средняя скорость движения автомобиля по городу: 50 км/час
  • Средняя скорость движения автомобиля по трассам: 100 км/час
  • Оборудование тестирования: Symphony (6MS) + QVMS (4MS)
  • Схема тестирования: к каждому оператору подключены по три мобильные станции, две из которых тестируют услуги голосовой телефонии (длительность вызова - 120 секунд, пауза между вызовами – 10 секунд), а одна – услуги передачи данных (схема тестирования: Ping (www.yandex.ru) → HTTP (www.yandex.ru) → FTP DL 300kb (ftp://d-us-1f.kaspersky-labs.com/utils/ ... tiNimd.zip) → FTP UL 100kb (ftp://ххх.хх.хх.х))

2) Графическое отображение схемы тестирования, из которой видно какие модели телефонов использовались, что на что звонили/ГПРСили, какие телефонные номера использовались и т.д.

3) Потом идут общие выводы по результатм бенчмаркинга (толстопузые дяденьки не читают сам отчёт с таблицами, графиками и рисунками, поэтому они читают только выводы)

4) Потом - большой раздел по бенчмаркингу телефонии

4.1) Общие показатели качества предоставляемых услуг радиотелефонной связи:

• Среднее время установления вызова (сек.)
  CSSR (процент успешно установленных вызовов) %
  CDR (процент вызовов, оборванных не по инициативе абонента) %
  avg Speech Quality (P.862.1) (среднее значение оценки качества передаваемого голоса)
  avg Speech Quality (MOS) (среднее значение оценки качества передаваемого голоса)
  avg Speech Quality (PESQ) (среднее значение оценки качества передаваемого голоса)
  Coverage Prevalence (преобладание в радиопокрытии (по RxLev_best) оператора в каждой точке измерения) %
  RxLev_best > -70 dBm (отношение количества измерений с уровнем радиосигнала, достаточным для уверенной связи в помещениях, к общему числу измерений (с интеграцией по координатам)) %
  RxQual_best < 4 (отношение количества измерений с качеством радиосигнала, достаточным для приемлемого качества голоса, к общему числу измерений) %
  HO_success (успешные хендоверы) %

4.2) Таблица и диаграмма "Распределение качества голоса (Speech quality by AscomClass) на DownLink:", таблица и диаграмма "Распределение качества голоса (Speech quality by AscomClass) на UpLink:"

4.3) Таблица и диаграмма "Распределение (в %) уровня радиосигнала (RxLev_best):"
-110 &#247; -95 dBm (неустойчивый приём на улице)
-95 &#247; -85 dBm (устойчивый приём на улице в открытом месте)
-85 &#247; -70 dBm (устойчивый приём в транспорте)
-70 &#247; -63 dBm (устойчивый приём в помещениях)
-63 &#247; -47 dBm (устойчивый приём в зданиях на первых этажах)

4.4) Таблица и диаграмма "Распределение (в %) качества радиосигнала (RxQual_best):"
0 (отличное)
1 &#247; 3 (хорошее)
4 &#247; 5 (удовлетворительное)
6 &#247; 7 (плохое)

4.5) Трёхмерные графики зависимости качества передаваемого голоса (по AscomClass) от уровня радилсигнала (по RxLev_best)

4.6) Распределение используемых кодеков в обслуживающей соте (%)

4.7) Распределение обслуживания мобильной станции по диапазонам частот в обслуживающей соте (%)

4.8 ) Распределение излучаемой мощности мобильной станции (%) в диапазоне GSM-900 и диапазоне GSM-1800

4.9) Распределение значений ТА (%)

4.10) Общая информация о конфигурации сетей сотовой связи в зоне проведения тестирования:

• Количество выявленных секторов (т.е. CID, на которых было обслуживание MS)
  Количество выявленных сайтов (мест установки BTS)
  Количество выявленных LAC
  Количество выявленных BCCH и TCH

5) Большой раздел по бенчмаркингу услуг передачи данных

5.1) Общие показатели качества предоставляемых услуг передачи данных:

• avg Ping Delay (среднее время задержки пинга) сек.
  Ping success (успешное прохождение пингов и пинги с задержкой менее трёх секунд) %
  avg HTTP throughput (средняя скорость закачки HTML-страницы объёмом 43.4kB) kbps
  HTTP download success (успешность закачки HTML-страницы) %
  Avg HTTP download time (среднее время закачки HTML-страницы) сек.
  avg FTP DL throughput (средняя скорость закачки файла по FTP DL) kbps
  avg FTP UL throughput (средняя скорость закачки файла по FTP UL) kbps

5.2) Таблица и диаграмма "Распределение (в %) используемых схем кодирования по DL" и таблица и диаграмма "Распределение (в %) используемых схем кодирования по UL"

5.3) Таблица и диаграмма "Распределение (в %) выделения тайм-слотов на DL" и таблица и диаграмма "Распределение (в %) выделения тайм-слотов на UL"

5.4) Таблица и диаграмма "Распределение значений Ping Delay (сек.)"

5.5) Таблица и диаграмма "Распределение скорости закачки данных по FTP-соединению (kbps) на DL" и таблица и диаграмма "Распределение скорости закачки данных по FTP-соединению (kbps) на UL"


6) Рисунки (на формате А3) распределения AscomClass, RxQual_best, RxLev_best каждого из оператора связи на рассматриваемой территории
7) Рисунок "преобладание радиопокрытия (по максимальному значению из RxLevFull и RxLevSub в сервирующей и её соседях соте) среди всех тестируемых сетей GSM" - т.е. рисунок, по которому видно где какой опсос "борет" других по радиопокрытию

[Samara-Mobile.ru]

Забыл написать: одна из MS работает в режиме сканера, плюс используется внешний сканер SeeGull.
Сам отчёт занимает около 30 страниц. Раньше количество страниц доходило и до 90 (из-за наличия рисунков по схемам кодирования, кодекам, диапазонам частот и т.д. для каждого оператора)...
З.Ы. каждый квартал я провожу бенчмаркинг в пяти областях Поволжья, отчёт составляется отдельно на каждый тестируемый город области (основные города) и на область в целом...

[Nik]

[b]2Samara-Mobile.ru[/b]
а всякие mms и прочие неголосовые сервисы не тестируются?

[V12]

З.Ы. каждый квартал я провожу бенчмаркинг в пяти областях Поволжья, отчёт составляется отдельно на каждый тестируемый город области (основные города) и на область в целом...

....и кто же из операторов, работающих в Поволжье, по вашим данным работает лучше?

[Алексей Березин]

....и кто же из операторов, работающих в Поволжье, по вашим данным работает лучше?

У кого частот больше/чище.

[Nik]

Забыл написать: одна из MS работает в режиме сканера, плюс используется внешний сканер SeeGull.
Сам отчёт занимает около 30 страниц. Раньше количество страниц доходило и до 90 (из-за наличия рисунков по схемам кодирования, кодекам, диапазонам частот и т.д. для каждого оператора)...
З.Ы. каждый квартал я провожу бенчмаркинг в пяти областях Поволжья, отчёт составляется отдельно на каждый тестируемый город области (основные города) и на область в целом...

Кстати в Оренбурге был с бенчмакингом в конце 2006 г.

[Samara-Mobile.ru]

а всякие mms и прочие неголосовые сервисы не тестируются?

Нет: пока нет в этом необходимости (ни у технарей, ни у маркетологов/коммерсантов)

[Samara-Mobile.ru]

....и кто же из операторов, работающих в Поволжье, по вашим данным работает лучше?

У кого частот больше/чище.

Вот в том-то и парадокс: самый лучшие частоты и самые большие диапазоны номиналов - у "Мегафона", а у него - самое худшее качество передаваемого голоса. И практически 100%-ное использование AMR-HR (даже там, где трафика - кот наплакал).
"Работает лучше" - это весьма размытый вопрос... Что подразумевается под обширнейшим понятием "работает лучше"?

[senya]

Качество голоса на AMR-HR не такое уж и плохое, всё зависит от того какое соотношение С/I и соответственно какая кодовая схема используется. Из этого следует только то , что трафика у них хватает.
А вот вопрос как у них с GPRS-ом дела ? Особенно интересует старая часть города Самары до Полевой. Они много внимания уделяют в последнее время GPRS-у.

[senya]

еперь по сути вопроса заданного в начале темы.
Отчет достаточно губокий и полный.
У нас есть небольшие отлиия в методике проведения звонков:
MS1 - короткие звонки по 30 сек и 10 сек пауза. Из статистики средняя длительность разговоров в сетях России не более 60 сек, в Европе 90 сек . Поэтому такая длительность выбирается для изучения доступности голосового сервиса (целевая группа "студент")
MS2 работает в режиме длинного звонка с паузой 10 сек. Длительность звонка ограничена настройками максимальной длительности звонка на коммутаторе. Обычно это от 20 до 30 минут. В Москве в последнее время это ограничение некоторые операторы сняли. Такой режим измерений ориентирован на "тяжелых" абонентов и выполняется с внешней антенной с нулевым усилением).
Так же используем сканер и GPRS по-необходимости.
В отчете не используем значения MS Tx power, этот параметр сильно зависит от настроек Power Control, используемый на сети.
Как правило больше интерференции на DL и этому уделяется больше внимания. Включаем в отчет Worst C/I и количество хэндоверов при плохом RxQual и достаточном Rx level (в городе это индикатор реакции сети на инттерференцию)
Так же выполням тесты сети в местах локализации трафика в ЧНН как правило при обнаружении проблем. Это обычно аэропорт, жд вокзал, основные площади и улицы. В таких тестах внимание уделяется доступности сервиса как голосового так и SMS, GPRS. Так вот объявят задержку самолета или поезда и "нет" сети.

[Samara-Mobile.ru]

MS1 - короткие звонки по 30 сек и 10 сек пауза.

Ну, да, короткими звонками во время драйв-теста собирают статистику по CSSR, а длинными звонками - HO_Success и CDR

Включаем в отчет Worst C/I

Я сначала тоже включал, но количество измерений с плохим отношением C/I составляет десятые части процента от общего числа, поэтому я решил, что пока нет смысла "меряться" сотыми частями процента.

[Samara-Mobile.ru]

4.3) Таблица и диаграмма "Распределение (в %) уровня радиосигнала (RxLev_best):"
-110 &#247; -95 dBm (неустойчивый приём на улице)
-95 &#247; -85 dBm (устойчивый приём на улице в открытом месте)
-85 &#247; -70 dBm (устойчивый приём в транспорте)
-70 &#247; -63 dBm (устойчивый приём в помещениях)
-63 &#247; -47 dBm (устойчивый приём в зданиях на первых этажах)

4.4) Таблица и диаграмма "Распределение (в %) качества радиосигнала (RxQual_best):"
0 (отличное)
1 &#247; 3 (хорошее)
4 &#247; 5 (удовлетворительное)
6 &#247; 7 (плохое)

Кстати, коллеги, а какую градацию по RxLev и RxQual используете вы?