Se chiedi a un modello linguistico un approfondimento teologico, non ricevi semplicemente un passo attribuito in modo errato o il nome sbagliato di un trattato: ricevi un passo del tutto inventato — struttura plausibile, tono autorevole, ma sbagliato in ogni dettaglio verificabile.
Perché conta (e perché va corretto)
In teologia si validano informazioni di portata enorme: una virgola può cambiare il senso della condizione umana e incidere sulle scelte di ogni giorno e di lungo periodo.
La difficoltà, oggi, non è la scarsità di informazioni ma l'eccesso di rumore — un rumore che il modello eredita e amplifica. Tra te e una fonte primaria si frappongono, di norma:
- Strati di traduzione — ogni traduttore compie scelte interpretative che nel testo finale non sono più visibili
- Strati di commento — secoli di studiosi che spiegano cosa il testo "vorrebbe davvero dire"
- Strati di divulgazione — libri che spiegano cosa dicono gli studiosi
- Sintesi automatica — modelli addestrati su tutto quanto sopra, che finiscono per apprendere le parafrasi delle parafrasi, ormai staccate dal contesto storico-culturale delle fonti
Quando interroghi un modello su un passo talmudico, non sta consultando il Talmud: sta consultando tutto ciò che è stato scritto sul Talmud, pesato per ciò che è più diffuso in rete. Il risultato sembra autorevole. Spesso non lo è.
Il problema non è che l'intelligenza artificiale sia stupida — è che non è ottimizzata per distinguere. Un modello generalista riproduce la lettura più accettabile, quella che fonde ciò che una fonte dice con ciò che comunemente si dice di quella fonte. Il passo verosimile-ma-sbagliato è la firma dell'ottimizzazione per plausibilità — il modello converge sulla risposta che soddisfa, non su quella vera — non un segno di stupidità. Per testi antichi, con dati di addestramento scarsi e specialistici, quella spinta è massima.
Cosa cambia leggendo le fonti nel loro contesto
Un esempio che cambia la lettura di un intero libro del Nuovo Testamento.
La parola "giogo" in Matteo 11,29 — "Prendete il mio giogo su di voi e imparate da me."
Nella tradizione cristiana occidentale, da Agostino a Calvino, è letta in chiave metaforico-spirituale: il giogo lieve e soave della grazia, leggero perché sorretto dalla carità (Agostino) e contrapposto al giogo gravoso della Legge (Calvino).
Nel giudaismo del Secondo Tempio — il contesto storico reale del testo — "giogo" (עֹל, ol) era un termine tecnico-giuridico: indicava l'interpretazione autorevole, da parte di un maestro, dei comandamenti della Torah ("il giogo della Torah", "il giogo del Regno dei cieli"). La Mishnah lo dice apertamente: recitare lo Shema significa "ricevere il giogo del Regno dei cieli" (Berakhot 2,2). Dire "prendete il mio giogo" era quindi un'affermazione precisa di autorità halakhica.
Saputo questo, Matteo 11,29 non è un'immagine metaforica ma una dichiarazione esplicita di autorità nella tradizione ebraica in cui Gesù operava. E questo cambia la lettura dell'intero Discorso della Montagna, delle lettere paoline sulla Legge e del rapporto fra prassi ebraica e cristiana.
Perché funziona diversamente
1. Un grafo di fonti primarie verificate. Il sistema è costruito attorno a un grafo di testi primari nelle lingue originali e di fonti accademiche selezionate, con relazioni esplicite fra loro. Ogni affermazione risale a un nodo di quel grafo.
Il punto decisivo è come si selezionano le fonti. La correttezza non nasce dall'algoritmo ma dal corpus. E il corpus non è una raccolta pesata per popolarità: è una selezione accademica già filtrata, un perimetro di fonti curato secondo criteri storico-critici (comprese le ricerche del Prof. Walter Binni). L'intelligenza artificiale lavora dentro quel perimetro: non stabilisce cosa sia autorevole, ma applica una scelta di autorevolezza compiuta a monte da chi ne ha la competenza. Senza quella selezione, qualunque sistema tornerebbe a fare la media del rumore.
2. Un sistema di qualità a 17 metodologie. Ogni analisi attraversa 17 metodologie ermeneutiche indipendenti (8 accademiche moderne, 9 storico-genealogiche). Se le metodologie convergono, il risultato è marcato come ben fondato; se divergono, l'affermazione è segnalata come incerta o controversa — invece di appiattire tutto in una media dal tono sicuro.
Cosa si è rotto (e cosa ho imparato)
Verificare la citazione di un'affermazione viziata non basta a correggerne il vizio: puoi avere la fonte giusta e l'inquadramento distorto.
E qui la parte controintuitiva: anche dopo aver ripulito il corpus dalle distorsioni, il modello continua a reintrodurle. Non distorce perché le fonti sono distorte, ma per gli schemi impliciti del suo addestramento, a prescindere dalla base di conoscenza che gli si fornisce.
La soluzione è stata spostare la scansione delle distorsioni da controllo finale a fase preparatoria: prima della generazione il sistema interroga con sonde i testi recuperati, individua verso quali distorsioni il modello scivolerebbe su quel tema e immette nel prompt regole correttive. Si riduce così la finestra in cui la distorsione verrebbe inserita, invece di doverla rimuovere dopo.
C'è un corollario. Trattare lacune e distorsioni come uno strato di correzione applicato al momento della generazione — e non come qualcosa da incidere nei pesi del modello — significa non dover addestrare un modello dedicato: niente ri-addestramento mirato (fine-tuning), niente schede grafiche da mantenere. Il sapere di dominio vive nei dati (corpus selezionato e schemi di distorsione), non congelato nei pesi. E quando esce un modello migliore, basta sostituirlo: lo strato di correzione continua a valere, senza la rincorsa continua del ri-addestramento.
Per rendere tutto questo sistematico ho costruito una batteria di test: oltre 6500 domande-trabocchetto, ciascuna pensata per verificare se un modello generalista si lasciasse attrarre verso uno degli schemi di distorsione teologica catalogati. Risultato: senza il sistema, un modello generalista sbaglia circa il 23-28% delle sonde mirate — non errori casuali, ma sempre lo stesso tipo di distorsione, ricorrente in contesti prevedibili.
Due dati vanno tenuti distinti, perché misurano cose opposte:
- ~23-28% — quanto spesso il modello cade nel trabocchetto. È il tasso di errore del modello.
- 85-97% — quanto siamo certi quando segnaliamo una distorsione. È la precisione del rilevatore: su 438 schemi catalogati, 157 superano l'85% di precisione e i più ricorrenti arrivano al 95-97%. Non dice se abbiamo trovato tutte le distorsioni — quello è il limite che cresce con ogni articolo analizzato — ma quanto è affidabile ogni singola segnalazione.
Sopra tutto c'è una soglia netta: nulla viene pubblicato sotto 90/100. Il 75% degli articoli supera il controllo al primo passaggio, con media 94,6/100; il resto torna in revisione o viene respinto. Il numero non è arbitrario: nasce da una griglia a 19 criteri con cui un agente valutatore assegna un punteggio a ogni sezione su quattro famiglie — citazioni, contenuto, accuratezza teologica, copertura.
I numeri in sintesi
- 17 metodologie ermeneutiche (8 accademiche, 9 storico-genealogiche)
- Griglia a 19 criteri: ogni testo valutato su citazioni, contenuto, accuratezza teologica, copertura
- 438 schemi di distorsione catalogati · 157 con precisione ≥85% · i ricorrenti al 95-97%
- Oltre 6500 domande-trabocchetto · ~23-28% di errori di un modello generalista
- Soglia di pubblicazione: nulla sotto 90/100 · 75% supera il primo controllo · media 94,6
- Verifica delle citazioni in tempo reale (Sefaria) · un'unica fonte di verità → testi paralleli e articoli
Come appare in pratica
I risultati vivono su due livelli. Nel testo parallelo ogni passo è mostrato in colonne affiancate: le fonti nelle lingue originali accanto a una traduzione validata. È lì che si vede dove la distorsione incide, riga per riga — la resa convenzionale accanto a quella ricostruita dal contesto storico-culturale. Negli articoli tematici gli stessi risultati sono riorganizzati per argomento. Il testo parallelo è la fonte; l'articolo è la divulgazione che ne deriva.
Puoi vederlo direttamente nelle fonti in testo parallelo.
Cosa farei diversamente
Partire prima dalla scansione delle distorsioni. Ho passato settimane a costruire un sistema che fosse sicuro, prima di costruirne uno che fosse onesto sui propri limiti. Col senno di poi, lo strato che segnala le lacune avrebbe dovuto essere la prima cosa, non l'ultima.
Lo strumento: precorrect
Così ho estratto lo strato di correzione — la parte che misura dove il modello deriva e inietta le correzioni prima della generazione, agnostica a dominio e framework — in un piccolo strumento open source. Corregge solo dove il modello sbaglia con sicurezza, saltando dove è già giusto: gli interventi correttivi si riducono di circa un terzo a parità di qualità. Quasi tutti tolgono il bias dopo; questo lo fa prima. Disponibile su precorrect su GitHub (pip install + un esempio da 30 secondi).
Tocca un nervo scoperto. Andrej Karpathy parla apertamente di una crisi della valutazione: il suo «LLM Council» — più modelli di frontiera che si giudicano le risposte a vicenda — è caduto proprio nella trappola, raggiungendo un consenso sicuro di sé di cui non c'era da fidarsi. La sua tesi della Verificabilità lo riassume: fidati di una valutazione automatica solo dove esiste un verificatore di verità di base. precorrect nasce per i casi dove quel verificatore manca: ti lascia crearlo da te dalle tue fonti — una chiave-di-risposta — così il modello si misura sulla verità, non su ciò che è popolare e gradito.
E dietro c'è un risultato misurato: scambiando solo lo standard di verità esterno, l'esito si è ribaltato. Quel resoconto — l'esperimento e i numeri — è il prossimo articolo.
La serie sulla verità nell'AI: 1. Il problema · 2. Il tool (questo) · 3. La prova (in arrivo).