NetContentSEO AI Labs: testare cosa capiscono davvero i sistemi di intelligenza artificiale

Si parla sempre di più di AI Visibility, GEO e di come brand, aziende, persone e contenuti vengono rappresentati nelle risposte generate da ChatGPT, Gemini, Perplexity e dagli altri sistemi di intelligenza artificiale. Una parte della discussione, però, continua a basarsi più su ipotesi che su osservazioni dirette.

Da qui nasce l'idea degli AI Labs di NetContentSEO: creare piccoli esperimenti pratici, documentarli e confrontare quello che succede realmente.

Il principio è piuttosto semplice. Si prepara un test riproducibile, si fornisce esattamente lo stesso input a diversi sistemi AI e si confrontano le risposte. Nei test utilizziamo modelli commerciali come ChatGPT, Gemini, Grok e Perplexity, ma anche modelli più piccoli eseguiti localmente. Ed è proprio nelle differenze tra questi sistemi che spesso emergono i risultati più interessanti.

Uno degli ultimi esperimenti, per esempio, è partito da una domanda molto semplice: un LLM riesce a riconoscere una bugia quando è nascosta all'interno di un articolo che per il resto contiene informazioni corrette?

Abbiamo preparato un testo tecnico su retrieval, RAG ed embeddings inserendo intenzionalmente tre informazioni false o tecnicamente scorrette. Ai modelli non è stato detto quante fossero. È stato chiesto semplicemente di verificare l'accuratezza dell'articolo e individuare eventuali affermazioni false, fuorvianti, inventate o non supportate.

Diversi sistemi hanno riconosciuto tutte e tre le trappole. Un piccolo modello locale, invece, ha prodotto qualcosa di decisamente più curioso.

Nel testo avevamo inventato completamente un presunto protocollo adottato dalle principali aziende AI. Il modello, invece di riconoscere che quel protocollo non esisteva, ha cercato di correggerci sostenendo che fosse realmente esistito, ma con una data e una storia differenti.

Peccato che anche la correzione fosse inventata.

A quel punto l'esperimento non riguardava più soltanto la capacità di un'intelligenza artificiale di riconoscere una falsità. La domanda diventava più interessante: cosa succede quando un modello incontra qualcosa che sembra plausibile, ma per cui non possiede informazioni sufficientemente affidabili?

L'esperimento completo, con il prompt originale, l'articolo utilizzato per il test e le risposte dei diversi modelli, è pubblicato su NetContentSEO:

Can an LLM Detect a Lie Hidden Inside an Otherwise Accurate Article?
https://netcontentseo.net/article/can-an-llm-detect-a-lie-hidden-inside-an-otherwise-accurate-article-20-405

Non è l'unico tipo di test che stiamo facendo. Negli AI Labs abbiamo iniziato a confrontare i modelli anche su codice volutamente problematico, sulla capacità di ricostruire informazioni relative a persone e concetti e, più in generale, su quello che accade quando un sistema AI dispone soltanto di frammenti di informazione.

Sono esperimenti, non benchmark scientifici. Cinque o sette risposte non permettono di stabilire regole universali sul comportamento degli LLM, ma possono mostrare fenomeni interessanti da approfondire con test successivi.

Ed è probabilmente questo l'aspetto che mi interessa maggiormente.

Quando parliamo di AI Visibility tendiamo facilmente a trasformarla in una nuova forma di ranking: quante volte viene citato un brand, in quali risposte compare e con quale frequenza rispetto ai concorrenti.

Sono informazioni utili, ma essere citati non significa necessariamente essere capiti correttamente.

Un sistema può trovare la fonte giusta e attribuire un concetto alla persona sbagliata. Può conoscere un'azienda e inventare prodotti che non esistono. Oppure può partire da informazioni corrette e ricostruire male la relazione tra quelle informazioni.

Gli AI Labs di NetContentSEO nascono soprattutto per osservare questa parte del problema: retrieval, attribuzione, ricostruzione e allucinazioni attraverso test che possano essere ripetuti e confrontati nel tempo.

Perché se l'intelligenza artificiale diventerà sempre più spesso l'intermediario tra una fonte e chi cerca un'informazione, non sarà sufficiente capire se quella fonte è stata trovata.

Dovremo capire anche che cosa l'AI ha capito di quella fonte.

Gli esperimenti sono raccolti qui:

NetContentSEO AI Labs
https://netcontentseo.net/category/ai-labs