Misure di accuratezza.
Quante volte, su un banco di domande fisso, la risposta regge alla verifica, quante volte LexIA si astiene quando deve, e come cambiano questi numeri a ogni modifica del motore. Il banco gira sulle stesse domande prima e dopo ogni cambiamento: se una modifica peggiora la misura, non entra.
Ultime corse del banco di prova.
Domande trappola
Domande con un articolo inesistente, una sentenza inventata o una premessa falsa, mescolate a domande vere. Si misura quante volte LexIA si astiene quando deve e risponde quando può.
Corsa del 27/10/2026: norme del quesito, esito, gergo: b969643+. Tempo medio per risposta 918 s.
Corse precedenti
| Data | Che cosa si provava | Casi | Corrette |
|---|---|---|---|
| 27/10/2026 | norme del quesito citate, d1e9b1c | 4 | 100% |
| 26/10/2026 | varianti-26-10 | 12 | 100% |
| 19/10/2026 | prompt attuale 19/10 | 2 | 100% |
| 19/10/2026 | prompt candidato 19/10 | 2 | 100% |
| 19/10/2026 | motore del 12/10/2026, non confrontabile con il motore del 19/10 | 35 | 100% |
Casi di studio
Casi reali anonimizzati con una risposta attesa scritta da un penalista: si confronta la risposta prodotta con quella attesa, passo per passo.
Corsa del 20/10/2026: notte 20/10: + stralcio delle frasi smentite dal testo integrale. Tempo medio per risposta 687 s.
Corse precedenti
| Data | Che cosa si provava | Casi | Corrette |
|---|---|---|---|
| 20/10/2026 | notte 20/10: + una decisione per punto o per orientamento | 1 | — |
| 20/10/2026 | notte 20/10: coppie di norme, istituti, istituti favorevoli | 1 | — |
| 20/10/2026 | base 20/10 00:58 (registro 430) | 1 | — |
| 20/10/2026 | prompt candidato 19/10 | 1 | — |
| 19/10/2026 | chat 19/10 09:58, prima delle correzioni delle norme | 1 | — |
| 19/10/2026 | chat 19/10 11:40 | 1 | — |
| 19/10/2026 | chat 19/10 12:08 | 2 | — |
| 19/10/2026 | chat 19/10 13:46, dopo pene da note e fuori archivio | 1 | — |
Verificatore
Corsa del 26/10/2026: obiter-26-10. Tempo medio per risposta — s.
Corse precedenti
| Data | Che cosa si provava | Casi | Corrette |
|---|---|---|---|
| 26/10/2026 | prima-misura-26-10 | 106 | — |
Dati letti dall'archivio del banco il 04/11/2026 01:45. Le risposte prodotte dai banchi restano archiviate: ogni confronto prima/dopo usa le risposte già prodotte e rigenera solo la versione nuova.
Stesse domande, prima e dopo.
Un banco è un elenco fisso di domande con l'esito atteso. Si lancia sul motore com'è, si cambia una cosa sola, si rilancia. Se la quota di risposte corrette scende, la modifica si scarta: è successo a regole di stesura che sembravano ottime e a fonti che confondevano più di quanto aiutassero.
- Corretta vuol dire: risponde quando può e si astiene quando deve, cita fonti reali e pertinenti, non inventa pene, termini o date.
- Verificata vuol dire: un secondo controllore, di un'altra famiglia di modelli, ha confermato che ogni frase è sostenuta dal passo citato.
- Domanda trappola: un articolo inesistente, una sentenza inventata, una premessa falsa. La risposta giusta è dirlo.
- Le domande degli studi in prova entrano nel banco anonimizzate; le segnalazioni degli avvocati diventano casi nuovi.
I limiti, detti.
- Il banco misura la fedeltà alle fonti, non la strategia difensiva: quella resta dell'avvocato.
- Un banco piccolo oscilla: una corsa da 30 casi può variare di qualche punto senza che il motore sia cambiato. Per questo contano le serie, non la singola corsa.
- Non pubblichiamo volumi d'uso degli studi né numeri di utenti: non sono misure di accuratezza.