Može li računalni program zamijeniti ljudskog ocjenjivača u ocjenjivanju određene vrste eseja, pitanje je koje se nametnulo kao glavno u predavanju i raspravi u sklopu 9. ciklusa Otvorenog četvrtka. O predviđanju uspjeha na temelju načina izražavanja govorili su profesori s FERIT-a doc. dr. sc. Dragana Božić Lenard i dr. sc. Krešimir Romić. Zbog epidemioloških okolnosti predavanje je održano putem Zooma.

U prvom dijelu predavanja docentica Božić Lenard upoznala je sudionike s lingvističkom osnovom programa i istraživanja. U pilot-istraživanju sudjelovali su studenti na kolegiju tehničkog engleskog koji su pisali autobiografski esej duljine od 200 do 250 riječi. Prikupljena je baza od 442 autobiografska eseja (292 s FERIT-a i 150 sa srodnog fakulteta u Trnavi, u Slovačkoj). Istraživanje se sastojalo od računalne, statističke i kvalitativne analize, a rezultati trebaju pomoći u daljnjem razvoju aplikacije koja bi mogla ocjenjivati eseje i predviđati uspjeh na temelju načina izražavanja.

Kategorije koje su proučavane i uspoređivane sa završnim ocjenama studenata iz kolegija bile su riječi od šest i više grafema, kategorija osobnih zamjenica i zamjenice ja, kategorija članova i imenica, kategorija vezana uz temu uspjeha te kategorija vezana uz temu slobodnog vremena. U drugom dijelu predavanja poslijedoktorand Romić upoznao je s tehničkom stranom istraživanja i programa. Kao problem istaknuo se rad s velikim brojem parametara te spora ručna analiza, a ti se problemi pokušavaju riješiti kroz različita programska rješenja.

Rezultati pilot-istraživanja pokazali su da studenti koji su imali završnu ocjenu iz kolegija vrlo dobar i izvrstan pišu leksički i sintaktički složenije eseje, fokusirani su na zadatak te rabe dosta različitih imenica, a više se referiraju na akademski, a manje na privatni život. Što se tiče uspješnosti programa u predviđanju uspjeha, program je u 62 % slučajeva točno pogodio ocjenu, u 92 % slučajeva ocjena je približno pogođena (razlika u ocjeni jednaka ili manja od 1), prosječno odstupanje predviđene ocjene od konačne manje je od 0,5. Što se tiče uspješnosti programa u predviđanju uspjeha, program je u 62 % slučajeva točno pogodio ocjenu, u 92 % slučajeva ocjena je približno pogođena (razlika u ocjeni jednaka ili manja od 1), prosječno odstupanje predviđene ocjene od konačne manje je od 0,5.

Iako računala olakšavaju istraživanja u području analize teksta te mogu ukazati na veze između određenih parametara u analizi teksta s konačnom ocjenom studenta, ipak ostaje pitanje trebaju li i, možda još važnije, mogu li računalni programi zamijeniti ljudske ocjenjivače, prenosi dojmove s predavanja Domagoj Kostanjevac, suvoditelj Otvorenog četvrtka. I.A.