Nelle sessioni di formazione che tengo mi viene chiesto “Giacomo ma una AI generativa può capire… un file Excel?”
E in genere la risposta è che “si, posso darglielo in pasto, ma prima devo rendere tutto il file Excel come una sequenza di testo, solo così l’AI può consumarla”
Tuttavia…
Questo approccio ha svariati problemi:
- I numeri e i formati vengono tutti persi
- Viene persa la formattazione e l’ordine dei dati
- Viene persa la struttura di righe e colonne
- Per non parlare del fatto che un file Excel da migliaia di righe può diventare un file di testo enorme!
Ok…
Ma quindi???
Beh, Microsoft pochi giorni fa è uscita con un paper fighissimo che prova a risolver questo problema.
In pratica hanno creato SpreadsheetLLM, una architettura modulare che usa alcune tecniche geniali per far adattare la struttura dei file Excel… al linguaggio degli LLM!
In pratica funziona così:
Identificare la struttura
All’inizio c’è un algoritmo che identifica degli “anchor points”, ovvero righe e colonne che servono a identificare la struttura del foglio.
Ci sta se ci pensi, non ti servono tutte le righe e le colonne per farlo.
In questo modo si crea una sorta di “scheletro” del foglio Excel
Compressione del contenuto
Si uniscono le celle con valori simili in una struttura a JSON, portando i dati da una forma tabellare a una forma “a dizionario”, tipo “cella 3U: valore”.
In questo modo si comprime in modo super efficiente l’informazione , riducendo del 95% (!) la dimensione dell’ input al modello AI.
Figata.
Ordinamento “sensato” dei dati
3 si identificano aree della tabella con formati e dati simili, e li si raggruppa assieme (tramite clustering).
Questo permette di far consumare i dati al modello in modo “più ordinato”.
Et voilà!
I risultati sono assurdi e questo metodo aumenta drasticamente (46% → 74%) la capacità di un modello AI di comprendere un file Excel e rispondere alle domande.
Assurdo.
Altra cosa…
Per dimostrare la bontà di questo approccio, hanno creato un test che misurava la capacità di identificare struttura, tabelle, fare match, e ragionamento.
La tecnica si chiama “Chain of SpreadSheet” e serve per indurre capacità di ragionamento in tutta una serie di compiti sul foglio, come cercare informazioni, confrontarle, matchare ad altre… ecc
Se ci pensi è come lavoriamo noi sui fogli Excel, no? 💭
A me affascina un sacco questo genere di ricerca, dove si decompone il processo umano per compiere dei task, e si cerca di codificarli in modo che siano comprensibile dall’AI…
E poi in qualche modo sta cosa funziona, cioè che figata è dai.
[ Il paper è SPREADSHEETLLM: Encoding Spreadsheets for Large Language Models ]