Разработана новая математическая модель протокола управления потоковой передачей в виде СМО с групповым обслуживанием и таймером формирования группы заявок. Исследованы и развиты методы анализа СМО с переменной и фиксированной длиной группы и пуассоновским входящим потоком. Получены аналитические выражения для основных вероятностных характеристик, включая новые характеристики для СМО с групповым обслуживанием - среднее значение и дисперсия длины и времени формирования группы заявок, дана оценка области применения математических моделей. Проведен численный анализ вероятностных характеристик процесса передачи сигнальных сообщений по IP-сети, разработаны рекомендации по значениям параметров протокола для обеспечения показателей качества в сети сотовой подвижной связи.