От чего зависят оценки в техническом вузе?

Привет Хабр!

Когда-то давно мне стало интересно: насколько справедлива система оценок в большинстве наших технических вузов? И что вообще влияет на получаемую студентом оценку?
Ведь частенько студент, который ходил весь семестр, писал лекции и выполнял в срок лабораторные, получает «уд.» на экзамене, а везунчик-раздолбай отхватывает пятерку.
Насколько все это случайно? Как ни учись – оценку получишь «рэндомом»? Или все же нет? А если ты красивая девочка в короткой мини-юбке, каковы твои шансы по сравнению с парнями?
Под катом вы увидите результаты моего исследования, в котором я попытался ответить на эти и некоторые другие вопросы. Подопытными кроликами стали несколько тысяч студентов родного для меня вуза — МГТУ им. Н.Э. Баумана.

Заранее извиняюсь, если выбрал не тот хаб, а быть может и вовсе не должен был это писать на Хабре. Но поделиться хотелось.

Также сразу скажу, что нее претендую на излишнюю научность и буду рад указанию на все мои неточности, ошибки в выборе критериев и прочего, ибо статистика и социология – не моя профессия, а скорее небольшое хобби.

Здесь я приведу лишь часть проверенных гипотез, чтобы не раздувать статью. Также в ходе исследования я построил регрессионную модель для определения оценки студента, в зависимости от различных параметров студента, но ее тоже сюда пихать не буду — и так объемно вышло. Может, в следующий раз, если кому-то будет интересно.
Итак, поехали.

Факторы

Факторы, влияние которых я изучал, конечно же, не всеобъемлющи. И не претендуют на то, чтобы охватить весь спектр причин, по которым студент может получить ту или иную оценку. Но почему я выбрал именно эти факторы? Потому что их можно было получить из официальных документов, не обращаясь к таким трудозатратным методам, как анкетирование, интервьюирование и т.д. Ибо на это у меня времени и ресурсов не было.
Итак, список факторов:
1) Пол студента
2) Факультет
3) Кафедральный предмет или нет
4) Семестр
5) Посещаемость занятий

Выборка

Для всех факторов, кроме последнего (посещаемости) я брал информацию из системы «Электронный Университет» (далее – ЭУ), в которой хранятся данные о результатах всех сессий начиная с 2007 года. Таким образом, выборка совпала с генеральной совокупностью, а значит, автоматически репрезентативная.
С посещаемостью все сложнее. По-хорошему, ее тоже должны вводить в «ЭУ», но только по первым двум курсам. А после консультаций со знакомым замдекана стало и вовсе понятно, что даже на это рассчитывать не стоит – данные либо не вводятся, либо вводятся как б-г на душу положит. Что грустно.
Однако посещаемость настолько важный фактор, что не проанализировать его было нельзя. Пришлось черпать информацию из журналов посещаемости, которые ведут старосты, а в конце семестра сдают в деканат. Учитывая, что в электронном виде этих журналов не существует, пришлось отсканировать несколько сотен страниц, а затем обрабатывать их вручную.
Прикинув, сколько времени я убью, если буду обрабатывать так данные по всему ВУЗу, я решил ограничиться только одним (родным мне) факультетом – «Информатика и системы управления» (далее – «ИУ»). И только за последний учебный год.
Конечно, данные из журналов не отображают действительность на 100%, ведь их заполняют сами старосты, а они могут и ошибаться и прикрывать своих товарищей, не отмечая пропуски. Но лучшего не дано. По крайней мере, пропорции посещаемости сохраняются: у «ботана» все равно не будет пропусков в журнале, а «раздолбай», даже если ему не поставят половину «энок», все равно будет иметь худшую посещаемость.
Число студентов факультета «ИУ» — 2931 человек. Количество результатов – 1 550. Если верить Паниотто и Максименко, то выборка репрезентативна.

Обработка данных

Конечно, существует множество специализированных программ, однако, поскольку я с ними знаком лишь по наслышке, да и сильного желания знакомиться ближе — не было.
Мне хотелось не просто посчитать коэффициенты и зафиксировать их, но и занести данные по студентам в базу данных, чтобы потом можно было ее дополнять, вести историю; проверять другие гипотезы, изначально не заложенные в мое исследование; строить красивые графики с максимально гибкими настройками и т.д.
К тому же, хотелось сделать что-то свое, заточенное под свою задачу на все 100%.

Поскольку работаю в фирме-франчайзм 1С, то и лучше всего из средств разработки я знаю 1С. Так что, выбор был очевидным (а из средств для создания БД с веб-интерфейсом я и вовсе знаком только с 1С, так что выбор был вдвойне очевиден).

Данные из «ЭУ» я выкачал как html страницы, написал парсер и закачал в свою БД.
Данные по посещаемости (из журналов) пришлось забивать вручную, хотя я честно пытался по началу написать программку для распознавания данных со сканов журналов. Но качество изображений было не ахти, так что написанная программа не давала ускорения процесса.

Наконец, забив все данные и реализовав в своей БД все необходимые алгоритмы проверки статистических гипотез, я, трепеща от нетерпения, стал строить графики и считать коэффициенты. И вот что получилось…

Результаты

Итак, самое интересное. Результаты, которые выдала мне моя программа.
Результаты я анализировал с помощью хи-квадрат критерия, а силу связи с помощью коэффициента Спирмена. Но, наверное, таблички с цифрами не очень интересны читателям, поэтому здесь я приведу только наглядные графики. Если кому-то будет сильно интересно, опубликую цифры.

1) Первый фактор, как Вы помните – «Пол студента»

Ого, девушки не оставляют шанса парням! Наверное, потому что они больше стараются, лучше посещают занятия? А вот и нет:

Вот только судя по графику, посещаемость от пола практически не зависит (это подтверждается и расчетами). Получается, девушки получают баллы выше, а посещаемость такая же, как и у парней.

2) Факультет

Среди технарей распространено мнение, что есть факультеты «простые», типа экономических или гуманитарных, а есть «сложные» типа машиностроительных.

На графике я привел только два факультета – с наиболее высоким средним баллом (за все курсы) и наиболее низким. ЮР – это Юридический факультет (да, есть и такой в Бауманке), ОЭ – оптико-электроника. Как видно из графика различия довольно сильны.

Однако если построить гистограмму среднего балла по всем факультетам, то разница будет не так очевидна.

3) Кафедральный предмет или нет.

Для кафедральных предметов (их ведут преподаватели той же кафедры, на которой учится студент) может играть роль репутация студента, которая вряд ли известна преподавателю не с кафедры. Считается, что отношение на кафедре более лояльное. На старших курсах некафедральных предметов почти нет.

4) Семестр.
Как говорится, главное пережить первые два курса. То есть 4 семестра, что график, в общем-то, и подтверждает.

5) Один из самых интересных факторов: посещаемость

Посещаемость измерял по шкале от 0 до 1. Где 1 – 100% посещение всех лекций и семинаров. 0 –ни одного посещения лекций и семинаров.

Кажется все верно – чем лучше ходишь, тем выше оценка (вот только провал на 20% посещаемости – не могу объяснить, кроме как причудой выборки). Но теперь надо бы посмотреть, на всех ли курсах эта связь одинаково сильна?
Силу связи измерял с помощью коэффициента Крамера.

Как мы видим, к старшим курсам сила связи уменьшается, в то время как на младших курсах она максимальна. Сгруппировал данные по парам, потому что так получается более линейный график, а также потому что система обучения на 1-2 курсах сильно отличается от 3-6 курсов.

То есть реальную значимость, посещаемость студентов имеет лишь на первых двух курсах. На которых используется так называемая «модульная система», которая при выставлении оценки больше ориентируется не на экзамен, а на успеваемость и посещаемость студента во время семестра.

Выводы

Нельзя не обратить внимание на странное завышение оценок девушкам при таком же уровне посещаемости, что и у парней. Но, возможно, это вовсе не завышение, а девушки просто более умны? Ведь умственные способности респондентов я никак не замерял (да и реально ли это?).

Отдельного внимания заслуживает и то, что посещаемость сильно влияет на оценку лишь на первых двух курсах.
Вырисовывается картина, подтверждающая распространённое (по крайней мере, в МГТУ) мнение: начиная курса с 3-4 студенты начинают «забивать» на учебу, устраиваясь работать в различные фирмы по специальности или нет. Посещаемость падает, на старших курсах все больше оценки ставят «на халяву», так как преподаватели кафедральные и знакомые, а качество знаний… Впрочем, это тема для отдельного исследования.

Нормальная это картина, или нет – каждому решать самому. С моим личным опытом и наблюдениями это совпадает. И положительных эмоций не вызывает, откровенно говоря.

Надеюсь, кто-то нашел эту статью полезной или интересной для себя. Спасибо за внимание.