TARRAGONA 6 febr. (EUROPA PRESS) -
Un equip investigador internacional liderat per la Universitat Rovira i Virgili (URV) de Tarragona ha evidenciat limitacions en els models d'intel·ligència artificial (IA) en la comprensió del llenguatge després de comparar-les amb les dels humans, segons ha informat la URV en un comunicat aquest dijous.
Els investigadors van formular 40 preguntes a set models d'IA --Bard, ChatGPT-3.5, ChatGPT-4, Falcon, Gemini, Llama2 i Mixtral-- fent servir estructures gramaticals simples i verbs d'ús freqüent i, d'altra banda, es va sotmetre un grup de 400 persones a les mateixes preguntes i es va comparar la precisió de les respostes.
La mitjana d'encerts dels humans va ser del 89%, mentre que el ChatGPT-4 va oferir un 83% de respostes correctes; en els altres models, cap dels MEL (models extensos de llenguatge) va assolir una precisió superior al 70%.
La investigadora líder del Grup de Recerca en Llengua i Lingüística de la URV, Vittoria Dentella, ha assegurat que "els MEL no entenen realment el llenguatge; simplement aprofiten els patrons estadístics presents en les dades d'entrenament".
Els resultats han evidenciat que, malgrat el seu èxit en algunes tasques específiques, els models no assoleixen un nivell comparable al de les persones en proves senzilles per a la comprensió de textos.
