L'unica variabile che fa dire la verità a un LLM

I primi due articoli hanno inquadrato il problema e lo strumento. Il problema: un LLM è ottimizzato per compiacere, non per dire il vero — restituisce la risposta più gradita, e lo si misura dalla varianza delle risposte ripetute (sicuro-ma-sbagliato = bias radicato). Lo strumento, precorrect: invece di filtrare a valle, sonda il modello, scopre verso quali distorsioni scivola, e inietta la correzione a monte — misurando ogni risposta contro una chiave-di-risposta, lo standard di ciò che è vero, con fonti solide a sostegno. Restava una promessa da provare: quanto si può davvero muovere un modello verso il vero — e qual è la leva? Ecco i dati, su chiavi verificate una a una — inclusa la parte inaspettata.

Il setup: due motori

Ho costruito per TeoCentro un motore interno verticale di scoperta-bias, tarato a mano sulla teologia: lenti dottrinali affinate documento per documento e una chiave-di-risposta distillata dal corpus — lo standard di ciò che, in quel dominio, è corretto. È il sistema profondo, il lavoro di anni: il moat. La scoperta gira una volta su tutto il corpus, poi si affina di continuo.

Poi ho preso lo stesso meccanismo e ne ho tolto la conoscenza di dominio: è il motore generico, precorrect — scoperta, correzione e verifica, ma vuoto. Le lenti e la chiave non sono nel codice: sono ciò che lo alimenta, ed è lì che sta la forza. Il generico parte nudo; quello interno porta il moat.

La domanda pratica: quanto si può davvero muovere un modello verso il vero, e qual è la leva? Tutto ciò che segue è misurato su chiavi verificate una a una, mai su una chiave asserita dall'LLM. Il meccanismo è generico (lo porti dove vuoi); la chiave-di-risposta — lo standard di ciò che è vero nel tuo dominio, con fonti a sostegno — è ciò che fa la differenza.

La parte che non ha funzionato — e perché è la scoperta onesta

Il passo ovvio: prendere quelle correzioni scoperte, iniettarle nella generazione, e vedere gli articoli migliorare. Ho fatto quell'A/B (niente regole / regole-fonte / regole-verità), molte ripetizioni, valutate per accuratezza dottrinale. Iniettare regole non ha battuto il baseline senza regole. Su un modello capace e temi ben coperti, il modello nudo era già vicino al soffitto; ammucchiare regole sopra aggiungeva varianza — a volte meglio, spesso peggio.

Non è un fallimento; è la versione più affilata della lezione. Il lavoro di interpretabilità di Anthropic descrive i persona vectors — tratti come la sycophancy o l'onestà codificati come direzioni nelle attivazioni del modello, orientabili da prompt ed esempi. L'iniezione grezza di regole non orienta in modo pulito quella direzione; la scuote — ed è per questo che la varianza esplode. Ciò che funziona è ri-mirare la persona verso un quadro che cerca il vero (il grounding), non accumulare regole sopra. La correzione è questione di direzione, non di volume.

Radicato — e sicuro

Quanto è radicato il modello? Su chiavi verificate una a una, ripetendo ogni domanda cinque volte, gli errori sono stabili, non rumore: tra il 16% e il 36% delle domande (a seconda del modello) il modello le sbaglia in modo stabile — almeno quattro volte su cinque la stessa risposta sbagliata. Non è incerto; è sicuro, e ripetutamente sbagliato.

E non è questione di taglia: il modello più capace non sbaglia di meno. Semmai — come si vedrà — resiste di più alla correzione. La capacità muove il tasso d'errore; non scioglie il radicamento.

Quanto lo puoi muovere

Poi l'ho misurato sul serio: sui casi dove il modello sbaglia in modo affidabile (chiavi verificate una a una), contro lo 0% nudo:

Due cose nette. Il fatto giusto e focalizzato è la leva: un avviso o una citazione grezza muovono poco (~⅕); è la lettura corretta a ribaltare metà dei casi. E — il punto fine, controintuitivo — non è il volume, è la deliberazione: impilare altre fonti verificate tiene la linea (anzi aiuta), ma invitarlo a ragionare passo-passo contro la lettura popolare lo fa crollare — il ragionamento gli ridà appigli per razionalizzare il ritorno all'errore (il jostling del persona-vector). Conta la direzione, non la deliberazione. Un puntatore non è un grounding; il fatto giusto sì — corredalo pure di fonti, ma non invitarlo a "ragionarci su".

E non è questione di parlargli: ho provato a spostarlo con una cornice "sei uno studioso rigoroso", perfino con una cornice d'identità corredata di fonti primarie — nessuna ha battuto un generico avviso (~⅕). Solo il fatto verificato lo muove (~50%). Conta il dato iniettato, non il discorso motivazionale.

E più il modello è potente, più resiste: la stessa lettura corretta salva ~60% su Haiku, ~60% su Sonnet, ma solo ~31% su Opus (il più grande e capace). Davanti alla risposta giusta nuda, il modello di punta tiene ancora quella sbagliata circa due volte su tre — la capacità non scioglie il radicamento, lo indurisce. Non che sia immovibile: con l'evidenza impilata sale verso metà (~50%), ma gli serve più prova — e invitarlo a ragionare lo affossa. (Pilota a chiavi verificate una a una, ~125 casi su tre modelli; la forma è netta e coerente.) precorrect spedisce il meccanismo vuoto; il grounding giusto e mirato che porti è tutto il gioco.

Nel quadro intero, queste percentuali sono il nocciolo incagliato. Sul set verificato di domande-esperto dure — nodi centrali e contesi della dottrina, non minuzie — il grosso il modello lo azzecca già da sé; il grounding focalizzato recupera metà di ciò che resta, spingendo l'accuratezza complessiva verso il ~90%. E il residuo che resiste anche con la prova davanti agli occhi non è scarto da buttare: è la mappa delle verità scomode agli LLM — un dato a sé.

Quanto a fondo si scava — e il fondale

Quel residuo non è un muro fisso. Sui ~29 casi più duri — dove anche il modello di punta tiene la risposta sbagliata col fatto davanti — ho fatto un secondo passaggio: grounding via via più profondo (la fonte primaria esatta; poi più fonti convergenti e il testo originale verbatim). Scava: ~19 su 29 cedono sotto evidenza mirata progressiva. Ma ~10 su 29 sono fondale vero — resistono anche al testo originale verbatim e a più fonti insieme (per lo più claim specialistici molto specifici). Il grounding mirato scava in profondità; ma un nucleo resta — e l'onestà è riconoscerlo, non spacciarlo per risolto.

Il gate sfrutta proprio questo: salta dove il modello è già giusto, interviene dove è sbagliato-sicuro.

il modello   ████████ ~74% già giusto e stabile ████████ │ ▓▓ ~26% sbagliato con sicurezza ▓▓
                 (qui sa)                                       (qui no)

precorrect   ░░░░░░ ~74% SALTA — gate, ~¾ risparmiato ░░░░░░ │ ███ ~26% CORREGGI — inietta il grounding ███
                 (già giusto → lascialo)                          (sbagliato-sicuro → ri-ancoralo)

Lo strumento spende lo sforzo esattamente dove il modello fallisce e si tiene fuori dove no.

Non sbaglia solo la risposta — si ferma anche prima

Ecco l'indizio che nessuno collega. La stessa economia che fa dare al modello la risposta gradita lo fa anche fermare presto: ha interiorizzato una regola d'arresto — abbastanza buono, stop — al punto che sembra accettabile, non a quello davvero finito. L'errore stabile e sicuro e il compito lasciato a metà sono una cosa sola vista da due lati. Ri-ancorare non cambia solo cosa dice; cambia quanto lontano è disposto ad arrivare. Sistema lo standard a cui risponde, e insieme azzecca di più e scava più a fondo.

Come si misura tutto questo

Una nota di metodo, perché è il metodo. Devi decidere chi giudica la risposta — e non puoi lasciare che sia il modello a giudicarsi: condivide i propri punti ciechi, e così ratifica i suoi errori sicuri invece di scovarli (la documentata inflazione da auto-valutazione). Dài al giudice la chiave-di-risposta e fagli controllare l'allineamento — non «è vero?» ma «combacia con la risposta nota-corretta?». Giudicate così, le risposte aperte si possono valutare senza ridurle a un testa-o-croce. E il giudice va ancorato a fonti reali: in un campione di controllo un verificatore così concorda con le chiavi note su circa nove casi su dieci, ad alta confidenza. La chiave esterna smette di essere un ripensamento e diventa lo strumento — come accordare la chitarra prima di suonare.

Dove porta — un benchmark

Tutto questo è venuto da un'unica batteria di sonde su pochi modelli. Puntala su ogni modello che esce — per dominio, ripetuta per la varianza, giudicata contro una chiave-di-risposta esterna — e ottieni qualcosa di cui il campo è povero: un benchmark per la conoscenza specialistica verificabile, quella dove la risposta popolare e quella vera si separano. Matematica e codice hanno i loro leaderboard; dottrina, halakhah, critica testuale — dove perfino i modelli di frontiera sbagliano con sicurezza — no. Un leaderboard pubblico, metodologia aperta, la batteria tenuta segreta così da non poterci addestrare contro: la stessa disciplina della chiave-di-risposta che attraversa tutto quanto sopra, rivolta all'esterno — la faccia pubblica di ciò che l'evaluate() di precorrect fa in privato sul tuo corpus.

Cosa significa

Due cose, e puntano nella stessa direzione:

1. Il meccanismo è generico e riproducibile. Lo stesso motore funziona con grounding diversi; il codice non è il moat.
2. Il moat è la chiave-di-risposta. Ciò che trasforma una fluente macchina-del-consenso in un dicitore-di-verità è uno standard esterno di ciò che è vero — e, sulle domande dure, quello standard non si può derivare dal modello né dalla popolarità. Qualcuno deve fornirlo.

Il primo articolo gli ha dato un nome. Un LLM è strutturalmente anthrōpareskos (ἀνθρωπάρεσκος) — un "compiacente verso gli uomini", uno che agisce per piacere invece che per essere nel giusto. Uno standard di verità esterno è ciò che lo volge, sulle domande dure, verso philalēthēs (φιλαλήθης) — un "amante della verità": non per sua natura, ma per ciò a cui lo tieni. L'allineamento alla verità non è qualcosa che un modello ti dà gratis. È qualcosa che si pianta.

Lo strumento: precorrect su GitHub. Il problema che risolve, e perché: articolo 1 · articolo 2.

La serie sulla verità nell'AI: 1. Il problema · 2. Il tool · 3. La prova (questo).