Az OMHV reform hatásainak elemzése statisztikai módszerekkel
A kilencvenes évek óta az Oktatói Munka Hallgatói Véleményezése (OMHV) egy népszerű eszközzé vált, amiket világszerte az egyetemek túlnyomó többsége használ, hogy felmérje az oktatóinak teljesítményeit, és hogy visszajelzést kapjanak a diákoktól a követelményrendszerek és tananyaggal kapcsolatban.
A BME-n, az online OMHV kérdőívben minden tárgyat több szempontból lehet értékelni. Ugyanazt a kérdéssort használta az egyetem 2013 és 2017 között. Azonban, felmerültek aggodalmak a kérdőív rendszerrel kapcsolatosan, legjelentősebben az, hogy túl sok volt a kérdés, másrészt pedig, hogy a kitöltési százalék csak 30-35% körül volt, ami kérdésessé teszi az eredmények megbízhatóságát.
Ennek hatására, 2017-ben a teljes OMHV rendszer újra lett gondolva, és több változás is történt. Egyrészt, rövidebb lett a kérdőív, új, átfogalmazott kérdésekkel. Másrészt, a diákok ösztönözve lettek arra, hogy töltsék ki, mert az OMHV kérdőívek kitöltése alapján kedvezményben részesülhettek a tárgyfelvételeknél. Hogy tovább motiválják a hallgatókat, a kitöltési időszak is rövidebb lett, és készült egy weboldal amin publikálva vannak az OMHV eredmények, hogy lássák a hallgatók hogy van értelme kitölteni, mert értékeléseiket figyelembe veszi az egyetem. A reform sikeresen megnövelte a kitöltési százalékot 32%-ról 60%-ra a 2017 őszi tanévnél.
Viszont, felmerülhet a gyanú, hogy az ösztönzők hatására csak mesterségesen inflálódott a kitöltési százalék olyan új kitöltésekkel, ahol a hallgatók jelentős része kevés energiával, odafigyelés nélkül tölti ki a kérdőíveket, a kedvezményes tárgyfelvétel reményében. Továbbá, a kérdőív értékelési skálája megváltozott egy öt fokú skáláról (1-5) hat fokú skálára (1-6), és a középső lehetőségek címkéi szöveges címkéről numerikusra lettek változtatva. Az általános kérdőívek tudományában különböző kutatások kimutatták már, hogy a válaszolók hajlamosak a szöveges címkés lehetőségeket gyakrabban megjelölni, és ez az új OMHV eredményekben extrémérték torzuláshoz vezethet. Hasonló hatása lehet annak is, hogy páratlan skáláról párosra váltott a rendszer.
Korábban kutattam az engedékeny osztályozás hatását az OMHV eredményekre a BME-n, a 2013 és 2017 közötti adatok felhasználásával. A jelenlegi kutatásomhoz elkértem a legújabb 4 félévnyi adatot az új kérdőív rendszerből, és megvizsgáltam a különbségeket matematikai módszerekkel. Az elemzésemhez használtam regressziós módszereket, különös tekintettel az eredmények megbízhatóságra és torzulásra. A kutatásommal, kiegészítve korszerű adatvizualizáló módszerekkel, segíteni szeretnék az egyetem vezetőségének átlátni az új kérdőív rendszer hatásait, és jövőbeli javításokat elérni, amelyekkel jobban megbízható OMHV eredmények születhetnek.
szerző
-
Lukáts Gergely
Alkalmazott matematikus mesterképzési szak (MSc)
mesterképzés (MA/MSc)
konzulensek
-
Molontay Roland
Egyetemi docens, Sztochasztika Tanszék -
Berezvai Zombor
PhD hallgató, Budapesti Corvinus Egyetem (külső)
