Сетевое издание
Международный студенческий научный вестник
ISSN 2409-529X

STATISTICAL ANALYSIS OF POINT-RATING SYSTEMS OF RUSSIAN UNIVERSITIES

Krasnoschekov A.V. 1
1 Saint-Petersburg State Polytechnic University
The article presents the results of a study of different Russian universities’ score-rating systems. There were used a number of statistical methods: a graphical analysis, frequency analysis, analysis of variance, cluster analysis. The main features of universities are: the points required to obtain an "excellent" mark, the points required to obtain a "good" mark, the points required to obtain a "satisfactory" mark, the Federal District, where the university is located. Profile and type of the university do not have a significant impact on the circuit installed for implementation of point-rating system in the university. Universities are mostly agreed with the number of points sufficient to obtain a "satisfactory" mark, the least coordinated with the number of points sufficient to obtain a "excellent" mark. These results indicate different approaches to assessment highly successful students in different universities, and therefore different level of exactingness in different universities. All in all, this result is an indirect evidence of different approaches to assessing of the education quality in different universities. At the same time the differences in the level of exactingness in universities by region are insignificant.
Point-rating system
universities
statistical methods
cluster analysis
variance analysis

Введение

Цель работы – выявление закономерностей и характеристик шкалы оценивания балльно-рейтинговых систем различных вузов Российской Федерации.

Выборка: Доступная кластерная выборка. Выбраны вузы, имеющие балльно-рейтинговую систему и представившие информацию о ней в сети Интернет. Количество объектов: 25. Методы исследования: графический анализ, частотный анализ, дисперсионный анализ, кластерный анализ. Признаки: балл, необходимый для получения оценки: «отлично»(Mark5); балл, необходимый для получения оценки: «хорошо» (Mark4); балл, необходимый для получения оценки: «удовлетворительно» (Mark3); профиль вуза (Sphere); тип вуза – федеральный университет, государственный университет или вуз, не имеющий особого статуса (Type); федеральный округ, в котором расположен вуз (Region).

Первичный анализ статистических данных

С помощью MS Excel построены диаграммы, обобщающие информацию по интервалам баллов, достаточных для получения оценок «хорошо» или «отлично» (рис. 1, 2)

Рис. 1. Круговая диаграмма долей интервалов баллов, достаточных для получения оценки «хорошо»

Рис. 2. Круговая диаграмма долей интервалов баллов, достаточных для получения оценки «отлично»

Выводы: по оценке «хорошо» наблюдается большая согласованность вузов, по оценке «отлично» разброс больше, есть недопустимые, на взгляд автора, занижения балла            

Для анализа распределения баллов, достаточных для получения оценки «удовлетворительно» была построена гистограмма (рис. 3)

Рис. 3. Гистограмма  баллов, достаточных для получения оценки «удовлетворительно»

Вывод: видны вузы, занижающие порог успешности для студентов. Все они являются государственными, что не дает возможности объявить неэффективными только негосударственные вузы.

Частотный анализ статистических данных

С помощью программного средства SPSS получены уточненные гистограммы распределения количества вузов по баллам, достаточным для получения оценок «удовлетворительно», «хорошо», «отлично» (рис. 4, 5, 6)

частота-з.png

Рис. 4. Диаграмма частот баллов за оценку «удовлетворительно»

Выводы: в основном вузы согласны поставить студенту «удовлетворительно»; если он выполняет две трети требуемой от него работы, что достаточно справедливо. Однако, на втором месте по численности – 50 баллов. На мой взгляд, такая практика неверна, невозможно быть удовлетворенным в знаниях студента, если он знает только половину пройденного курса.

частота-4.png

Рис. 5. Диаграмма частот баллов за отметку «хорошо»

частота-5.png

Рис. 6. Диаграмма частот баллов за отметку «отлично»

Выводы: преобладающая картина благоприятна, но настораживает и достаточное количество низких баллов. Подтверждается большая согласованность вузов в постановке оценки «хорошо» по сравнению с оценкой «отлично».

Графический анализ  статистических данных

Качественный признак «федеральный округ» перекодирован в количественный «восточность» так, что с увеличением значений признака географическое положение округа  смещается на восток (Северо-западный федеральный округ получает номер 1, а Дальневосточный - 7)

Рис. 7. График разброса балла, необходимого для получения оценки «5», по «восточности» федеральных округов.

Вывод: Видно, хотя и не резко, что чем восточнее расположен вуз, тем ниже необходимый для получения отличной оценки балл.

Анализ «выбросов»

В ходе графического анализа выявлены следующие «выбросы»: Удмуртский государственный университет, Омский государственный педагогический университет, Сибирский институт бизнеса и информационных технологий.

После проверки правильности сбора данных выясняется, что ошибки во введенных данных нет, а «выбросы» относятся к той же генеральной совокупности, что и остальные объекты.

Следовательно, данные «выбросы» являются исключительными явлениями. Причина их появления, скорее всего, связана с особыми условиями финансирования данных высших учебных заведений. Государственные университеты получают поддержку за счет их статуса, а Сибирский Институт Бизнеса и Информационных Технологий, видимо, спонсируется бизнес сообществом в рамках социального партнерства.

Интервальный ряд

Построим интервальный ряд баллов, достаточных для получения оценки «отлично» (табл. 1). По формуле Стерджесса определим количество интервалов:

k = 1 + 3.322lg (25) = 5.64

Получаем пять интервалов. Определим величину интервалов: i = R/k = 18/5.64 = 3.1

Таблица 1. Интервальный ряд баллов, достаточных для получения оценки «отлично»

Интервалы

Частоты

Накопленные частоты

71-75

1

1

76-80

3

4

81-85

8

12

86-90

8

20

91-95

5

25

Рассчитаем моду (Мо). Поскольку модальными являются два соседних интервала, мы примем за неё среднее арифметическое двух мод, рассчитанных  для каждого из модальных интервалов отдельно (Мо1 и Мо2).

http://hi-edu.ru/e-books/xbook096/F_096_07-05.gif

Мо1 = 81 + 5* (8-3)/((8-3)+(8-8)) = 81+5 = 86

Мо2 = 86 + 0 = 86

Мо = (Мо1+Мо2)/2 = 86

Рассчитаем медиану:

http://hi-edu.ru/e-books/xbook096/F_096_07-04.gif 


Ме = 86 + 5*(12,5 - 12 )/8 = 86,3125

Вывод: распределение выбранного признака «количество баллов, достаточное для получения оценки «5», близко к симметричному. Следовательно, к признаку справедливо применять параметрические методы.

Для интервального ряда баллов, достаточных для получения оценки «отлично» построим два графика – гистограмму частот и кумуляту (рис. 8).

Рис. 8. Гистограмма частот и кумулята для интервального ряда баллов, достаточных для оценки «5»

Выводы: наиболее частые значения признака «балл, достаточный для получения оценки «отлично» расположены  между 80 и 90 баллами. Это говорит о хорошем, но, вероятно, недостаточном уровне требований для отличного оценивания успехов студентов в российских вузах. Для повышения качества подготовки, следует повысить значения признака.

Кластерный анализ

В ходе кластерного анализа средствами программы SPSS вузы были поделены на три кластера. При помощи графиков (рис. 9, 10, 11) определим характеристики типичного представителя кластера. Это поможет нам дать кластерам названия и сделать другие важные выводы.

Рис. 9. Распределение баллов за оценку «отлично» по кластерам

Рис. 10. Распределение баллов за оценку «хорошо» по кластерам

Рис. 11. Распределение баллов за отметку «удовлетворительно» по кластерам

Вывод: три кластера можно назвать следующим образом:

- Вузы, предъявляющие средний уровень требовательности к оценке успешности студентов (1по оси ОХ на рис. 9-11);

- Вузы, предъявляющие высокий уровень требовательности к оценке успешности студентов (2 по оси ОХ на рис. 9-11);

- Вузы, предъявляющие низкий уровень требовательности к оценке успешности студентов (3 по оси ОХ на рис. 9-11).

Также подтверждается по всем трем кластерам, оценка «отлично» наиболее рассогласована по баллам, оценка «удовлетворительно» - наиболее согласована.

Дисперсионный анализ

Сформулируем две ненаправленные гипотезы:

- нулевую гипотезу: уровень требовательности вуза по балльно-рейтинговой системе не зависит от региона, в котором он территориально расположен.

- альтернативную гипотезу: уровень требовательности вуза по балльно-рейтинговой системе зависит от региона, в котором он территориально расположен.

Критерий уровня требовательности – принадлежность к обозначенному кластеру. На уровне значимости 0,864 межгрупповая вариация оказалась равна 0,317, а внутригрупповая – 0.869.

Подтвердим результаты анализа графически: построим график разброса уровня требовательности по регионам (рис.12).

Рис.12. График разброса уровня требовательности вуза по балльно-рейтинговой системе по регионам.

Вывод: Поскольку внутригрупповая вариация значительно превосходит межгрупповую, а вероятность ошибочно отвергнуть нулевую гипотезу достаточно высока, можно заключить, что требовательность вуза от региона не зависит. Этот вывод подтверждает и рис. 12: в каждом регионе (ось ОХ) имеются вузы с различными уровнями требовательности по балльно-рейтинговой системе.