Školitel

doc. Ing. Patrik Hrkút, PhD.

Školitel špecialista

Ing. Michal Ďuračík, PhD.

Študijný program

Aplikovaná informatika

Študijný odbor

Informatika

Detailnejší opis problému

Automatizované hodnotenie programovacích úloh je dôležitou súčasťou vzdelávacích systémov, najmä v kontexte online kurzov, univerzitných predmetov a programovacích súťaží. Tradičné hodnotenie často zahŕňa manuálnu kontrolu kódu vyučujúcim, čo je časovo náročné a subjektívne. Existujúce automatizované hodnotiace systémy sa prevažne spoliehajú na testovanie výstupov programu pomocou vopred definovaných testovacích prípadov. Tento prístup je efektívny pri kontrole správnosti riešenia, avšak má viaceré obmedzenia. V posledných rokoch sa objavili pokročilé metódy analýzy kódu, ako je statická analýza, dynamická analýza a využitie jazykových modelov (napr. GPT), ktoré umožňujú hlbšie hodnotenie riešení študentov. Tento výskum sa zameria na kombináciu týchto metód s cieľom vytvoriť systém, ktorý poskytne automatizované bodové hodnotenie programovacích úloh spolu s kvalitnou spätnou väzbou. Cieľ výskumu Cieľom tejto dizertačnej práce je analyzovať existujúce prístupy k automatizovanému hodnoteniu programovacích úloh a navrhnúť metódu, ktorá kombinuje testovanie výstupov, statickú a dynamickú analýzu kódu a využitie jazykových modelov na generovanie spätnej väzby. Hlavné výskumné otázky: Ako efektívne kombinovať testovanie výstupov programu s analýzou kódu na komplexné hodnotenie programovacích úloh? Aké metódy statickej a dynamickej analýzy sú najvhodnejšie na automatické hodnotenie kvality a efektivity kódu? Do akej miery môžu jazykové modely (napr. GPT) pomôcť pri generovaní spätnej väzby pre študentov? Akým spôsobom optimalizovať hodnotiaci systém tak, aby bol objektívny, spravodlivý a použiteľný vo vzdelávacom prostredí? Výsledkom výskumu bude prototyp hodnotiaceho systému, ktorý umožní automatizované bodovanie úloh a poskytne študentom konštruktívnu spätnú väzbu. Tento systém by mohol byť integrovaný do vzdelávacích platforiem a prispieť k zlepšeniu procesu výučby programovania.

Predpokladaný vedecký prínos (algoritmy, metodológie, ...)

Práca prinesie nový prístup k automatizovanému hodnoteniu programovacích úloh kombináciou testovania, analýzy kódu a jazykových modelov. Kombinácia hodnotiacich metód AI generovaná spätná väzba Podpora vzdelávacieho procesu Prínos pre e-learning Experimentálne vyhodnotenie

Odporučány postup vedeckého bádania

Analýza existujúcich riešení – Preskúmanie súčasných metód automatizovaného hodnotenia. Návrh metodiky – Definovanie kombinácie testovania výstupov, analýzy kódu a AI generovanej spätnej väzby. Implementácia prototypu – Vývoj hodnotiaceho systému. Experimentálne vyhodnotenie – Testovanie, porovnanie s manuálnym hodnotením. Interpretácia výsledkov – Analýza efektivity a presnosti navrhnutého riešenia. Záver a odporúčania – Zhrnutie zistení a návrh možností pre ďalší výskum.

Druh výskumu

aplikovaný výskum a experimentálny vývoj

Výskumná úloha, ktorej súčasťou bude riešená téma

Doterajšie výsledky riešenia na školiacom pracovisku, vrátane odkazov na dostupné zdroje

Gambo, Ishaya, et al. "GRAD-AI: An automated grading tool for code assessment and feedback in programming course." Education and Information Technologies (2024): 1-41. Er, Erkan, et al. "Assessing student perceptions and use of instructor versus AI‐generated feedback." British Journal of Educational Technology (2024). Reis, Ruan, et al. "Evaluating feedback tools in introductory programming classes." 2019 IEEE Frontiers in Education Conference (FIE). IEEE, 2019. Nagappan, Nachiappan, et al. "Providing test quality feedback using static source code and automatic test suite metrics." 16th IEEE international symposium on software reliability engineering (ISSRE'05). IEEE, 2005.