Supponete di dover tradurre un testo da una lingua a un’altra. Avete solo un dizionario, e con calma e meticolosità associate a ogni parola del testo la traduzione. Ovviamente, questo non funziona sempre bene, anzi non funziona quasi mai. Ci sono troppe possibili traduzioni per ogni singolo termine. Ma voi siete completamente digiuni della nuova lingua, così per ogni termine prendete una traduzione a caso. Così che i “fori romani” diventano i roman holes. Come fanno molti ragazzi a scuola quando imparano una lingua nuova.

Adesso immaginate di avere invece un dizionario speciale che traduca gruppi di due parole in una lingua in gruppi di due parole in un’altra lingua.

Questo dizionario non esiste, per cui dovremo farlo noi, e per compilarlo guarderemo tanti documenti. Non segneremo però solo le possibili traduzioni di una coppia di parole, ma anche la probabilità che le due parole vengano tradotte in un modo o nell’altro. Avendo questo prezioso strumento proviamo a usarlo. Prendiamo la frase iniziale e scegliamo le traduzioni. Se abbiamo più traduzioni possibili ne sceglieremo una a caso, dando una probabilità proporzionale a quanto comune una particolare traduzione si trova. Per esempio se dobbiamo tradurre la frase: “Adesso traduciamo questa frase” prima cercheremo “Adesso traduciamo”, poi la coppia “traduciamo questa” e infine “questa frase”.  Ci saranno dei piccoli aggiustamenti da fare alla fine della frase. Ma il risultato sarà sicuramente migliore.

Se due parole sono andate meglio di una proviamo con tre. Il risultato migliorerà ancora. E allora quattro, cinque, sei…. e quello che viene fuori assomiglia sempre di più alla lingua parlata.

Ecco: ChatGpt in un certo senso svolge questo compito. Non lavora sulle traduzioni, ma lavora sulla continuazione di una frase. Legge un inizio di frase (quello che gli dite voi) e prova a continuarlo aggiungendo una parola. Poi un’altra, poi un’altra ancora.

E il dizionario dov’è? Il dizionario è la rete neurale che è stata addestrata da OpenAi sui vari documenti. E non aggiunge una parola per volta, ma un pezzo di parola, diciamo una mezza parola. E ogni mezza parola si chiama, in termine tecnico, un “token”.

Quindi se una versione di Gpt accetta mille token, vuol dire che legge un massimo di cinquecento parole, e poi aggiunge la parola successiva. Da queste parole associa la parola giusta. Se hanno un linguaggio specialistico, continuerà a scrivere in un linguaggio specialistico. Se si parla di alberi continuerà a parlare di alberi. Se all’interno c’è la frase “adesso parliamo di qualcosa d’altro” (o un’altra frase equivalente), cambierà argomento perché nei documenti che ha letto ha visto che dopo quella frase la probabilità di continuare a parlare di alberi diminuiva drasticamente.

Questa finestra di parole si chiama, tecnicamente, il contesto. Il contesto della risposta di ChatGpt. E la dimensione massima del contesto limita quello che ChatGpt è in grado di leggere. Ovviamente, questa è una spiegazione molto, ma molto superficiale. Ma è sufficiente per capire l’importanza di questa dimensione.

ChatGpt4 aveva un limite nel numero di token di 4mila. Che vuol dire circa sei o sette pagine. In realtà era anche minore, perché OpenAi usava parte del contesto per dare istruzioni particolari a ChatGpt. Per esempio non dire parolacce, comportati bene, non accettare di lavorare come avvocato o dottore (troppo pericoloso), non spiegare come costruire una bomba, eccetera.

È ovvio che il limite del numero dei token limitava enormemente cosa si potesse fare con ChatGpt. Traducimi questo paragrafo. Certo. Traducimi queste poche pagine. Non c’è problema. Traducimi questo articolo scientifico. Nope. E anche passare l’articolo poco per volta non funzionava bene perché la seconda parte della traduzione non era coordinata con la prima. Ci potevano essere degli errori. Va bene per un google translate qualsiasi, non per un’intelligenza artificiale che dovrebbe almeno sembrare più intelligente di un essere umano.

Entrambi questi limiti sono stati spazzati via dalla dichiarazione di Sam Altman che ha annunciato il nuovo limite di 128mila token. Cioè circa trecento pagine. Un libro, all’incirca. Vi rendete conto come questo semplice cambiamento ha rivoluzionato gli usi di ChatGpt. Ci sono molte altre modifiche che sono state annunciate, e le sviscereremo una per una. Ma questa merita uno spazio a sé.

Il contesto non indica solo la grandezza del materiale che può essere analizzato, ma anche la lunghezza delle istruzioni che possono essere date a ChatGpt. Se giochiamo a un gioco le cui istruzioni sono racchiuse in sette pagine (Monopoli) avremo un gioco più semplice che un gioco in cui le istruzioni sono centinaia di pagine (per esempio Dungeons & Dragons).

Che 4mila tokens non fossero sufficienti era chiaro già da tempo. In realtà OpenAi permetteva ai programmatori che integravano il motore di OpenAi un limite maggiore, 32mila token. Bene, ma non abbastanza. Un progetto molto popolare di cui parleremo aveva superato questo limite suddividendo le informazioni conosciute dall’intelligenza artificiale. Ma è complicato da usare per i non programmatori.

La concorrenza aveva anche superato questi limiti. L’intelligenza artificiale Claude di Anthropica (disponibile solo negli States, e una Vpn, o rete privata virtuale, non vi aiuta in questo caso) permette centomila token. Per cui inevitabilmente chi doveva riassumere un articolo aveva già cominciato a spostarsi su Claude. Insomma, la pressione per aumentare questo limite era costante. E OpenAi è stata in un certo senso obbligata a fare questo passaggio.

Ma anche 128mila token, o trecento pagine, sono poche. Sono solo un libro, non sono neanche un’enciclopedia. Se devo chiedere a ChatGpt di esplorare tutti gli articoli scientifici usciti in un giorno su un argomento (per esempio sull’intelligenza artificiale) e darmi i punti fondamentali è probabile che non mi bastino. Se voglio far leggere a una Ai tutti i libri di un autore (per simulare una conversazione con quell’autore, per esempio) 128mila token non sono assolutamente sufficienti.

Quindi continueranno a salire. E siccome queste cose tendono a crescere esponenzialmente e nell’ultimo anno sono saliti di 32 volte, possiamo aspettarci che per la fine del prossimo anno passeremo da un libro, a 32 libri. E così via.

Abbiamo bisogno di queste crescite, perché a ogni crescita, si abbina un incremento delle possibili applicazioni. Ma questa crescita è talmente veloce in questo momento, spinta dalle competizioni tra gli attori coinvolti, da rendere futile cercare di arrabattarsi se i limiti attuali non bastano per progetti complessi. Meglio aspettare e concentrarsi su progetti più semplici.

In conclusione, l'espansione dei token di ChatGpt non rappresenta soltanto un incremento numerico, ma inaugura una nuova era di possibilità qualitative. Quando il più non è solo meglio, ma diventa un catalizzatore per il nuovo, l'orizzonte delle capacità di una IA si amplia in modo inaspettato. Questo salto non è solo quantitativo ma apre le porte a interazioni più complesse, a una comprensione più profonda e ad applicazioni finora inimmaginabili. In questo scenario, i limiti precedenti vengono superati, non solo in termini di capacità, ma in termini di potenzialità creative e cognitive, evidenziando come, in alcuni casi, la quantità possa effettivamente trasformarsi in una nuova forma di qualità.

Il paragrafo precedente, da “in conclusione” a “di qualità”, non l’ho scritto io. Dopo avere scritto l’articolo non riuscivo a concluderlo. Avevo chiaro quello che volessi dire, ma non riuscivo a esprimerlo. Così ho fatto leggere l’articolo a ChatGpt e ho spiegato quello che volevo dire. E lui (lei? boh) mi ha proposto una bozza.

Fonte dell'immagine di copertina: Shubham Dhage/unsplash