Сетевое издание
Международный студенческий научный вестник
ISSN 2409-529X

ИССЛЕДОВАНИЕ ПРОПУСКНОЙ СПОСОБНОСТИ ЦЕНТРА ТЕСТИРОВАНИЯ ВУЗа МЕТОДАМИ «ТЕОРИИ ОЧЕРЕДЕЙ»

Москвитина А.А. 1 Гончарь П.С. 1
1 ФГБОУ ВО Уральский государственный университет путей сообщения
Процесс тестирования студентов в специально предназначенном для этого подразделении Вуза (Центре тестирования) имеет стохастический характер. Опыт показывает, что при назначении индивидуальных тестов в привязке к расписанию аудиторных занятий существенная часть оборудования Центра тестирования простаивает, так как фактическая продолжительность индивидуального теста значительно меньше отводимого на него периода. Изучение вероятностных закономерностей процесса индивидуального тестирования имеет целью определение таких режимов работы Центра тестирования, при которых и величины простоев, и возможное количество ожидающих тестирования студентов находились в разумных пределах. Для решения этой задачи, во-первых, производится статистический анализ данных, собранных ранее для индивидуальных тестов. Во-вторых, вырабатывается модель системы массового обслуживания, отражающая наиболее существенные особенности изучаемого процесса: практическую независимость потока заявок от количества тестируемых студентов, случайный характер срока начала и продолжительности тестирования, возможность возникновения очереди. Далее, с помощью полученной модели вырабатывается практически значимый прогноз производительности Центра тестирования при разном количестве посадочных мест, что позволяет обоснованно принимать решения о резервах производительности. Также обсуждаются выявленные проблемы, указывающие дальнейшее направление развития исследования.
система массового обслуживания
производительность
вероятностный прогноз
1. Вентцель Е.С. Исследование операций. – М. : Сов. Радио, 1988.
2. Гончарь П.С., Медведева Н.В., Розинберг В.Л. Марковские процессы и системы массово-го обслуживания: практикум. – Екатеринбург: Изд-во УрГУПС, 2012.
3. Единый портал интернет-тестирования в сфере образования. URL: http://www.i-exam.ru (дата обращения: 13.03.2018).
4. Коваль Д.В., Огурцова М.Д., Гончарь П.С. МОДЕЛИРОВАНИЕ ДОКУМЕНТАЦИОН-НОГО ОБЕСПЕЧЕНИЯ УЧЕБНЫХ КУРСОВ С ПОМОЩЬЮ МАРКОВСКИХ ЦЕПЕЙ // Международный студенческий научный вестник. – 2017. – № 4-2.; URL: http://eduherald.ru/ru/article/view?id=17375 (дата обращения: 13.03.2018).
5. Рогова Н. В., Алашеева Е. А., Ткаченко А. А. РАСЧЕТ ПРОИЗВОДИТЕЛЬНОСТИ РА-БОТЫ КОФЕЙНИ, КАК СИСТЕМЫ МАССОВОГО ОБСЛУЖИВАНИЯ // Междуна-родный студенческий научный вестник. – 2018. – № 1.; URL: http://eduherald.ru/ru/article/view?id=18109 (дата обращения: 13.03.2018).

Постановка задачи

Тестирование учебных достижений студентов распространено в ВУЗах повсеместно. «Компетентностный подход», закрепленный федеральными государственными нормативными правовыми актами и стандартами, фиксирует важную роль тестируемых достижений, и систематическое тестирование занимает важное место в деятельности студентов, преподавателей и администрации, для него привлекаются значимые ресурсы.

В структуре Уральского государственного университета путей сообщения (УрГУПС) имеется постоянно действующий Центр тестирования (ЦТ) с основным залом на 100 компьютеризированных мест, специально предназначенный для проведения тестовых процедур. Основной способ организации тестирования предполагает резервирование некоторого количества мест, соответствующего количеству направляемых в ЦТ студентов, на период 105 минут, соответствующий паре занятий и двум переменам в общевузовской сетке расписания. Это гарантирует студенту возможность явиться в ЦТ в составе своей учебной группы, занять без очереди свое место и выполнить задание, вовремя вернувшись к другим учебным занятиям. Однако, очевидно, что количество студентов, которых может обслужить ЦТ в таком режиме, достаточно ограничено, а компьютеры большую часть времени (после окончания индивидуального теста до следующего группового захода) простаивают.

В период массового тестирования приходится привлекать дополнительные ресурсы в виде небольших компьютерных классов и труда квалифицированных преподавателей из числа доцентов и профессоров для наблюдения за порядком при тестировании. Возникает интерес к альтернативным способам организации тестирования в ЦТ (может быть, не столь удобным для организованных в учебные группы студентов), и сравнительной оценке его пропускной способности, а также комбинированным решениям, ориентированным на разные потребности студентов. Для этого применяются методы сбора и обработки статистической информации и математического моделирования, результаты представлены в данной работе.

Дизайн исследования

Первоначально предполагалось: а) статистическими методами выявить обобщенные характеристики (среднее, дисперсию) продолжительности индивидуального тестирования; б) рассмотреть и сравнить по производительности модельную ситуацию реализации индивидуальных тестов с аналогичным временем при условии случайной явки студентов, то есть при организации тестирования по живой очереди, с помощью математического аппарата «Теории очередей». Этот раздел теории вероятностей известен в отечественной литературе как «теория массового обслуживания» [1] и широко используется в качестве инструмента прогнозирования для таких систем [4], [5]. В результате реализации этой программы были получены некоторые практически значимые результаты и выявлен сложный характер распределения продолжительности индивидуального тестирования, что привело к пониманию необходимости дальнейших исследований. Вычисления проводились с помощью процессора электронных таблиц MS Excel.

1. Распределения величин, характеризующих процесс тестирования

На первом этапе были использованы фактические данные о 2,2 тыс. индивидуальных тестов из 190 протоколов тестирования, проведенных преподавателями УрГУПС с помощью Единого портала интернет-тестирования в сфере образования [3]: время начала и окончания теста, количество заданий в тесте и назначенное на тест преподавателем время. Были определены продолжительности индивидуальных тестов и отношения этих продолжительностей к количеству заданий в тесте, то есть оценка среднего времени, использованного студентом для ответа на единичное задание к тесте. Указанные величины имеют случайный характер, поэтому для их изучения были построены статистические распределения.

Назначенная продолжительности теста имеет распределение сложного вида. В подавляющем количестве случаев это значение от 10 до 90 минут. Наблюдаются максимумы в районе 30 и 45 минут, которые можно интерпретировать психологическими факторами. Последние столбцы соответствуют тестам остаточных знаний проекта ФЕПО, где время тестирования фиксировано и не может меняться по усмотрению преподавателя, организующего тест.

Фактическая продолжительность теста демонстрирует распределение, имеющее более плавную форму по сравнению с предыдущим. Характерно спадание вероятности наблюдения больших значений. Однако очевидны значительные отклонения этого распределения от показательного закона (на графике изображен кривой линией), что подтверждается применением статистических процедур: наблюдается существенный минимум вероятности в первой категории, а остальные категории заполнены больше, чем предсказано. Такие отклонения приводят, в дальнейшем, к некоторым сомнениям в правомерности применения математического аппарата «Теории очередей» для математического моделирования работы Центра тестирования.

По количеству заданий теста выделяется основная группа первых четырех категорий (4–15 заданий), охватывающая 2/3 рассмотренных случаев, а пятой категории (16–18 заданий) соответствует заметный минимум распределения. Большие по количеству заданий тесты (19–27 заданий) отражают использование ФЕПО, где возможности выбора заданий ограничены. Таким образом, количество заданий теста – более удобная для анализа характеристика по сравнению с назначенным преподавателем временем тестирования. На основании таких особенностей распределения принято решение в дальнейшей работе сконцентрировать внимание на массовой ситуации и провести математическое моделирование для случаев 4–15 заданий. Среднее значение фактической продолжительности индивидуального теста для этой группы оказалось равным 22 минуты.

Среднее время на единичное задание, (точнее, отношение фактического времени тестирования к количеству заданий) имеет распределение наиболее простого вида по сравнению с другими производными характеристиками. Это подтверждает предыдущий вывод о преимуществе «количества заданий» над «назначенным временем тестирования» при анализе данных. Ещё заметим, что время на тест определяется в режиме интернет-тренажера из расчета 2 минуты на задание (но может быть увеличено по решению преподавателя); с этим, скорее всего, связан небольшой локальный минимум вероятности, соответствующий категории 2–2,5 минут.

Подводя промежуточные итоги, отметим, что средняя продолжительность индивидуального тестирования в массовой группе случаев до 15 заданий составляет 22 минуты, а с учетом потерь времени на начало теста и фиксацию результата, среднее время обслуживания студента в ЦТ можно принять приближенно равным 0,5 часа.

2. Аналитическое моделирование работы ЦТ как системы массового обслуживания

На втором этапе исследования была использована модель открытой СМО с N каналами обслуживания и неограниченной очередью в форме марковской цепи специального вида с бесконечным числом состояний, соответствующих количеству занятых мест в ЦТ и очереди

В соответствии с [1, 2], стационарная (по эргадической теореме, она совпадает с предельной) вероятность начального (нулевого) состояния этой марковской цепи может быть найдена из соотношения

,

Используя известную формулу для ряда геометрической прогрессии, для слагаемых суммы, соответствующих очереди, получаем

Что позволяет преобразовать исходное выражение

Таким образом, наличие неограниченной очереди без включения в работу новых каналов обслуживания оказывает на вероятность начального состояния такое же влияние, как единственное состояние с и в дальнейшей работе были использованы марковские цепи, соответствующие графу (при разном значении N)

С помощью этой модели определяются вероятности всех состояний, отражающие заполненность ЦТ и вероятность очереди в зависимости от двух параметров: интенсивности входящего потока студентов λ и среднего времени обслуживания одного студента, присутствующей в модели в виде номинальной интенсивности обслуживания заявок одним каналом . По результатам первого этапа исследования, среднее время обслуживания студента составило 0,5 часа, поэтому было принято значение µ=2 человека в час. Собственно, расчетный алгоритм для вероятностей состояний марковской цепи включает три шага: предварительное рекуррентное вычисление коэффициентов при и ; суммирование этих коэффициентов для определения вероятности начального состояния ; итогового определения вероятностей всех состояний СМО и вероятности очереди .

Для получения практически значимых результатов был поставлен вопрос о пропускной способности ЦТ с разным количеством эксплуатируемых мест N = 10, 20, … 100. В природе модели заложена ненулевая вероятность очереди при любой интенсивности входного потока, поэтому, для конкретности, удовлетворительной работой ЦТ было решено считать случаи с вероятностью очереди меньше 10% и сконцентрировать внимание на поиске таких значений λкр(N), при которых вероятность очереди составила ровно 10%. Расчетный алгоритм (для каждого значения N) с варьируемыми значениями λ и μ был реализован на листе MS Excel, после чего ячейке, выделенной для μ, было присвоено значение 2, а значение λ подбиралось, исходя из условия роч=0,1. Полученная зависимость представлена на следующем графике.

С помощью такого графика можно легко ответить на вопрос, сколько мест в ЦТ требуется задействовать для обслуживания живой очереди студентов известной интенсивности (с учетом безвозвратных потерь времени при простое машин), например, для обслуживания входящего потока с интенсивностью 100 человек в час оказывается достаточно 60 мест.

Пропускная способность ЦТ варьируется с 13 человек в час (при использовании 10 мест) до 174 человек в час (при использовании 100 мест), хотя номинальная производительность каждого места составляет 2 человека в час и, с учетом количества мест, должна достигать 200 человек в час. Отношения производительности ЦТ к количеству мест, показанные на следующем графике, демонстрируют, что с увеличением количества каналов обслуживания (мест) он работает эффективней и доля безвозвратных потерь компьютерного времени, связанная со стохастичностью входного потока, заметно снижается, достигая 13% при эксплуатации 100 мест.

Для более глубокого понимания этого эффекта сравним относительную заполненность ЦТ в виде распределений вероятности, при разных количествах мест. Характерные графики, приведённые ниже, демонстрируют, что увеличение количества мест сопровождается заметным смещением максимума в распределении занятых мест вправо, что объясняет соответствующее возрастание эффективности использования ЦТ.

Основные выводы

1. Выяснилось, что резервирование машинного времени (по 1,5 часа на студента) позволяет достичь интенсивности в 2 – 3 раза меньшей, чем работа в режиме «живой очереди» на том же количестве компьютеров. Групповое тестирование при количестве заданий больше 15 необходимо, всё же, проводить «по записи» для совмещения с сеткой расписания, с учетом прогнозируемого трафика: места, невостребованные для более производительного режима работы, могут быть отданы организованным группам тестируемых.

2. Полученные в проведенном исследовании зависимость λкр(N) позволяет, при привлечении данных о трафике в ЦТ, определять количество мест, которые можно выделить для тестирования организованных групп без существенного ущерба для более производительной работы «по живой очереди», а выработанная техника расчета – корректировать аналитическую модель с учетом уточняемых в опыте параметров.

3. Для более глубокого влияния отклонений входного потока заявок от показательного закона на производительность ЦТ надо предпринять имитационное моделирование исследуемого процесса, к чему мы вернемся в дальнейшей публикации.

4. Работа ЦТ была рассмотрена как квазистационарный процесс, переходные эффекты, возникающие при изменении трафика в ЦТ, считаются несущественными. Вне внимания так же остались вопросы работы персонала ЦТ по распределению большого количества студентов по компьютерным местам и фиксации результатов теста, влияние неравномерностей входящего потока студентов, налагаемых расписанием занятий.


Библиографическая ссылка

Москвитина А.А., Гончарь П.С. ИССЛЕДОВАНИЕ ПРОПУСКНОЙ СПОСОБНОСТИ ЦЕНТРА ТЕСТИРОВАНИЯ ВУЗа МЕТОДАМИ «ТЕОРИИ ОЧЕРЕДЕЙ» // Международный студенческий научный вестник. – 2018. – № 2. ;
URL: https://eduherald.ru/ru/article/view?id=18163 (дата обращения: 04.12.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074