Andrea Giovanni Nuzzolese, ricercatore dell’Istituto di Scienze e Tecnologie della Cognizione del CNR e leader del WP5 di FOSSR, ha ricevuto il premio Best Resource Paper alla, uno dei principali appuntamenti internazionali dedicati alle tecnologie semantiche e ai grafi della conoscenza.
Il riconoscimento è stato assegnato per il paper dedicato a Bench4KE (https://link.springer.com/chapter/10.1007/978-3-032-25159-6_12), una piattaforma aperta, sviluppata nel contesto della collaborazione con il Consorzio Interuniversitario Nazionale per l’Informatica, nell’ambito del servizio FOSSR Ontogenia con i collegi Anna Sofia Lippolis di CNR-ISTC e Davide Ragagni, Paolo Ciancarini e Valentina Presutti dell’Università di Bologna.
Bench4KE è un sistema di benchmarking progettato per valutare in modo standardizzato strumenti basati su Large Language Models (LLM) che generano automaticamente Competency Questions (CQ), ovvero domande in linguaggio naturale utilizzate nell’ingegneria della conoscenza per definire i requisiti di ontologie e knowledge graph.
Oggi i sistemi di generazione automatica di CQ vengono spesso valutati con criteri differenti e su casi isolati, rendendo difficile confrontarne realmente le prestazioni. Bench4KE affronta questo problema offrendo:
- un gold standard di 843 Competency Questions curate manualmente;
- dataset provenienti da 17 progetti reali di ingegneria della conoscenza;
- una suite di metriche per misurare la qualità delle CQ generate;
- un’infrastruttura estensibile pensata anche per future attività di automazione della knowledge engineering.
La piattaforma consente quindi di misurare con maggiore rigore quanto i sistemi di IA riescano a supportare attività tipicamente svolte dagli ingegneri della conoscenza.
Le Competency Questions rappresentano infatti uno strumento fondamentale per la costruzione di ontologie e grafi di conoscenza, tecnologie che permettono di collegare dati provenienti da fonti eterogenee mantenendone il significato semantico. Questo approccio è particolarmente rilevante in domini complessi come salute, ambiente, patrimonio culturale, politiche pubbliche e scienze sociali.
La categoria “Resource Paper” della ESWC premia lavori che introducono risorse scalabili e di alta qualità – software, benchmark, knowledge graph e dataset – considerate fondamentali per lo sviluppo di ricerca ad alto impatto.
Il premio ottenuto rappresenta un importante riconoscimento internazionale, per il lavoro svolto all’interno di FOSSR sulle infrastrutture aperte per la ricerca e sull’automazione dell’ingegneria della conoscenza.
Il codice e i dataset di Bench4KE sono disponibili pubblicamente con licenza Apache 2.0.