Аналіз оцінювань

Цей аналіз стосується оцінювання студентами зразків робіт, наданих викладачем та робіт інших студентів. Одне з його завдань - відібрати найкращі серед оцінювань, здійснених студентами і викладачами, котрі потім братимуть участь у розрахунку підсумкової оцінки.

Аналіз краще здійснювати, коли доступні оцінки викладача. Вони можуть служити взірцями, з якими порівнюються оцінки студентів. Викладач не має потреби оцінювати кожний зразок і кожну роботу, але щоб аналіз був значимим, краще мати більше оцінок від викладача, ніж середніх оцінок, здійснених студентами. Чим більша кількість оцінювань здійснених викладачем, тим достовірнішим є результат аналізу.

Зазвичай аналіз здійснюють у декілька ітерацій, при кожній з яких змінюють одну чи декілька з трьох описаних нижче опцій, що відображаються у верхній частині даної сторінки:

1. Опція Коефіцієнт оцінювань викладача дозволяє зафіксувати ваговий коефіцієнт оцінювань викладача в порівнянні з оцінюваннями студентів на стадії виявлення помилок оцінювання. Якщо викладач бажає, щоб його власна стратегія оцінювань домінувала над стратегією студентів, то він має бути серед тих, хто виставив оцінки, що мають найнижчі показники серед присутніх у "Таблиці помилок". Якщо викладач не є на чолі цієї таблиці, тоді треба поступово збільшувати коефіцієнт оцінювань викладача до моменту, коли він матиме найменшу середню помилку. В результаті, оцінки викладача домінуватимуть, і ті студенти, які дали оцінки ближчі до оцінок викладача, розташовуватимуться у цій таблиці вище.
   Чим більше оцінювань виконав викладач, тим менше йому доведеться вдаватися до описаної вище процедури збільшення вагового коефіцієнту своїх оцінювань, щоб стати на чолі цієї таблиці. Зауважимо, що ця опція не застосовує коефіцієнт до оцінювань викладача під час розрахунку підсумкових оцінок. Під час цього розрахунку, оцінки викладача мають ту саму вагу, що і оцінки студентів. Так, наприклад, якщо робота студента оцінена викладачем у 41%, а двома студентами в 45% і 51%, то підсумкова оцінка цієї роботи буде (41%+45%+51%)/3, тобто 47%.
2. Опція Коефіцієнт якості оцінювань. використовується в розрахунку підсумкової оцінки. Щоб обчислити якість оцінювання студентом, використовується проста формула: відношення кількості прийнятих (не відкинутих) оцінювань студента до максимальної кількості оцінювань, які він міг би виконати. Якщо, наприклад, інструкція вимагає від студента оцінити 3 зразки робіт, наданих викладачем, і 5 робіт інших студентів, а студент оцінив всього 7 робіт, з яких одна оцінка була відкинута внаслідок аналізу, про який йдеться нижче, то якість оцінювань даного студента є (7-1)/8, тобто 75%. Підсумкова оцінка студента є середньозваженою величиною якості оцінювань і оцінки за свою власну роботу (або кращої оцінки за власну роботу, якщо їх було надіслано декілька). Коефіцієнт оцінки самої роботи залишається рівним одиниці. Отже, якщо ви встановите дану опцію на 0.5, то це означатиме, що оцінка за якість виконаного ним оцінювання впливає на підсумкову оцінку студента вдвічі слабше, ніж оцінка за власну виконану ним роботу.
3. Опція Відсоток оцінювань, що відкидаються визначає число оцінок, що відкидаються при обчисленні підсумкових оцінок. Це число може бути встановлене двома способами.
   • Згідно зі способом обчислення якості оцінювань, якщо жодна оцінка не була відкинута, кожний студент може отримати максимальну оцінку, оцінюючи всі роботи, які йому були направлені. Якщо викладач бажає мати більш справедливе середнє, він може, наприклад, встановивши для цієї опції значення 30%, зробити так, що середня якість оцінювань становитиме приблизно 70% (звісно, якщо всі студенти виконали всі належні їм оцінювання).
   • Інакше, відсоток оцінювань, що відкидаються, може бути встановлений так, що Середня помилка (четверта колонка Таблиці помилок) прийнятих оцінок знаходитиметься по одну сторону певного справедливого значення. Наприклад, можна вважати, що всі здійснені студентами оцінювання повинні знаходитись (в середньому) в інтервалі 20%. У такому випадку, ітерації аналізу повторюють, підбираючи число оцінювань, що відкидаються, доти, доки значення цієї колонки не увійде до цього інтервалу.

Крім Таблиці помилок, аналіз охоплює оцінки всіх оцінювань та підсумкові оцінки, виставлені студентам. Цю таблицю треба перевірити, щоб переконатися, що результати є справедливими. Зокрема, якщо велика кількість оцінювань була відкинута, то деякі роботи можуть залишитись без оцінок, і підсумкова оцінка студента може стати занадто низькою. Аналіз відображає кількість надісланих та оцінених робіт вгорі сторінки та перед Таблицею оцінок. Ці два числа мають співпадати. Якщо є одна чи декілька робіт, що залишились без оцінки, а викладач не бажає скоротити число оцінок, що відкидаються, тоді ці роботи мають бути оцінені самим викладачем, після чого аналіз повторюється. Головне, щоб всі надіслані роботи були оцінені хоча б один раз на останній стадії аналізу, тобто коли підсумкові оцінки обчислені.

Існує певна рівновага між кількістю відкинутих оцінок і підсумковими оцінками. Чим більше відкинутих оцінок, тим більше підсумкові оцінки ризикують стати низькими. В той же час, якщо посередні оцінки не відкидаються, студенти можуть скаржитися на якість оцінювання їхніх робіт, за яким розраховувалась підсумкова оцінка їх роботи на семінарі. Якщо викладач здійснив достатнє число оцінювань для того, щоб його оцінки не домінували в аналізі у надто штучний спосіб, то справедливе значення відсотка відкинутих оцінювань знаходиться десь між 15% і 30%.

На завершення зазначимо, що проведення цього аналізу потребує певного часу, бо здійснюється шляхом виконання необхідної кількості ітерацій, під час яких може виникнути потреба у здійсненні викладачем додаткових оцінювань. Це слід мати на увазі, плануючи терміни проведення семінару.