AI: come gli LLM imparano capacità inaspetate, secondo la ricerca | RegTech: l'interessante opinione del VC a16z Crypto | Kendrick vs Drake: la storia della musica si svolge su Twitter
Intelligenza Artificiale, RegTech e leggi antitrust + Musica e Social Media con Kendrick Lamar e Drake, un'edizione eclettica!
🍔 Ciao la Disruptiv' Fam! 🍔
Benvenuti a una nuova edizione della DISRUPTIVE NEWSLETTER, dove approfondiamo i temi trattati nell'ultimo QuickTalk v06. Oggi parleremo di:
IA: LLM e l'apprendimento di abilità inaspettate
RegTech: l'opinione del Venture Capitalist a16z Crypto sulla regolazione nella tech
Musica: la faida rap tra Kendrick Lamar → la storia della musica in diretta live su Twitter!
Il nostro lavoro ti piace? Abbonati, metti un like e condividi: è il miglior modo per aiutarci ❤️
Parte 1: come gli LLM (Large Language Model) imparano competenze inaspettate? Una storia, ancora, di benchmark…
In versione podcast audio (con un grande lavoro di post-produzione per eliminare molti dei miei errori): Spotify / Apple Podcasts / Altre piattaforme.
Nel QuickTalk v04 abbiamo approfondito Llama 3, il LLM di Meta. L’occasione di parlare di Benchmark e del concetto di “saturazione del benchmark”, il punto di partenza di questa nuova puntata (vi consiglio quindi, se non l’avete fatto, di leggere questo articolo prima, o vedere questa video).
🤖 Il Progetto BIG-bench e i risultati sorprendenti
Due anni fa, in un progetto chiamato Beyond the Imitation Game benchmark (BIG-bench), 450 ricercatori hanno compilato una lista di 204 compiti progettati per testare le capacità dei Large Language Models (LLM) che alimentano chatbot come ChatGPT.
L'obiettivo era comprendere le capacità e i limiti attuali e futuri dei modelli linguistici, ma anche di proporre un framework in grado di rispondere in modo efficace alla "saturazione del benchmark".
Il paper introduttivo spiega:
"I modelli linguistici dimostrano sia un miglioramento quantitativo che nuove capacità qualitative all'aumentare della scala. Nonostante il loro potenziale impatto trasformativo, queste nuove capacità sono ancora poco caratterizzate. Per informare la ricerca futura, prepararsi a nuove capacità dirompenti dei modelli e mitigare gli effetti socialmente dannosi, è fondamentale comprendere le capacità e i limiti presenti e del prossimo futuro dei modelli linguistici."
I risultati hanno mostrato (dimostrato, questa parte essendo abbastanza evidente…) che all'aumentare delle dimensioni dei modelli, le prestazioni migliorano in modo prevedibile nella maggior parte dei compiti . Tuttavia, in alcuni casi si sono verificati improvvisi "balzi" di abilità, descritti come "momenti aha!" o transizioni di fase.
Ad esempio, mentre con meno parametri i modelli GPT-3 e LAMDA non riuscivano a completare accuratamente problemi di addizione, improvvisamente GPT-3 con 13 miliardi di parametri e LAMDA con 68 miliardi hanno acquisito questa capacità, come se si fosse attivato un interruttore.
Queste nuove capacità, chiamate "abilità emergenti" (emergent abilities), hanno destato sorpresa e interesse in una ricerca dedicata. Il termine "abilità emergenti" descrive quei comportamenti collettivi che si manifestano solamente quando un sistema raggiunge un elevato livello di complessità. Queste scoperte dovrebbero, secondo il paper, alimentare le conversazioni in corso riguardanti la sicurezza, il potenziale e i rischi dell'intelligenza artificiale.
🧠 “Abilità emergenti” o misurazione errata?
Ed e proprio adesso che riparliamo dei nostri famosi benchmark. Un ulteriore studio di Stanford, ancora dedicato alle “emergent abilities” suggerisce che questi "balzi" potrebbero essere solo una conseguenza di come vengono misurate le prestazioni degli LLM. I ricercatori fanno notare che nel progetto BIG-bench i modelli sono stati giudicati solo in base all'accuratezza: o potevano completare perfettamente un task o fallivano, senza punteggi intermedi.
Utilizzando invece metriche che assegnano punteggi parziali, i ricercatori hanno scoperto che l'apprendimento sembra più graduale e prevedibile. Ad esempio, nei problemi di addizione, hanno osservato che all'aumentare dei parametri gli LLM prevedono una sequenza sempre più corretta di cifre, suggerendo che la capacità di sommare non emerge improvvisamente ma si sviluppa gradualmente.
Questo ha aperto un dibattito sulla natura delle abilità emergenti. Alcuni sostengono che anche con metriche diverse, si osservano ancora discontinuità e miglioramenti simili a salti. Altri ritengono che la scelta delle metriche influenzi significativamente l'interpretazione dei risultati.
📈 Da Turing al Big-Bench: la difficoltà di valutare intelligenza e coscienza
La questione delle abilità emergenti solleva interrogativi filosofici sulla natura dell'intelligenza e della coscienza.
L'emergenza di comportamenti complessi da sistemi semplici è una caratteristica fondamentale dell'universo, riscontrabile in fenomeni come la vita che emerge da componenti chimiche o la coscienza che emerge dall'attività neurale.
Certi invece considerano l'emergenza un concetto vago e poco utile, sostenendo che i comportamenti apparentemente emergenti possono sempre essere ricondotti a interazioni complesse tra componenti sottostanti.
Nel contesto dell'IA, il dibattito si concentra sul cercare se le abilità emergenti dei modelli linguistici riflettano una vera forma di comprensione / apprendimento, o siano solo il risultato di un'abile manipolazione statistica dei dati. Risolvere questa questione potrebbe avere profonde implicazioni per lo sviluppo di sistemi di IA sempre più potenti e autonomi.
Parte 2: Regolamentazione e Antitrust nel Mondo Tech secondo il venture capitali a16z Crypto
In versione podcast audio (con un grande lavoro di post-produzione per eliminare molti dei miei errori): Spotify / Apple Podcasts / Altre piattaforme.
Qualche giorno fa, il venture capital a16z Crypto ha pubblicato un articolo sul proprio sito e su Forbes che ha suscitato un vivace dibattito riguardo alle attuali leggi Antitrust. Ecco il nostro approfondimento.
🚨 Antitrust e Big Tech: Un approccio inefficace?
Prima di tuffarci nei dettagli, facciamo un passo indietro per chi non fosse familiare con il concetto di leggi antitrust. Queste leggi sono pensate per promuovere la concorrenza e prevenire comportamenti anticoncorrenziali da parte delle aziende. L'obiettivo è evitare che le imprese abusino del loro potere di mercato formando monopoli, colludendo sui prezzi o limitando l'accesso al mercato per le altre aziende.
Secondo a16z Crypto, la constatazione ed abbastanza negativa:
per decenni, i legislatori hanno cercato di frenare l'influenza sempre maggiore della big tech sulle nostre vite attraverso l'applicazione dell'antitrust e delle multe, ma questi sforzi si sono rivelati inefficaci;
regole ben intenzionate come il GDPR dell'UE hanno avuto l'effetto opposto, aumentando i costi di conformità, favorendo le aziende consolidate e ostacolando i nuovi attori orientati alla privacy;
anche quando non hanno l'effetto opposto, le normative in questo settore si scontrano con sfide di attuazione, lasciando ampio spazio agli incumbenti per temporeggiare.
In aggiunta a queste osservazioni, il venture capitalist "crypto native" ha emesso una dichiarazione con cui sono completamente d'accordo: i protocolli aperti e l'interoperabilità saranno la chiave!
🌐 Protocolli aperti e interoperabilità: la chiave per l'innovazione
a16z Crypto sostiene che la concorrenza può essere ripristinata attraverso le stesse forze innovative che hanno sconfitto Microsoft Internet Explorer quando il mondo è passato al mobile. L'innovazione veramente dirompente richiede una riconfigurazione architettonica di come vengono risolti i problemi, e questo fa scattare la necessità di una nuova regolamentazione. I legislatori possono commettere due grandi errori quando si trovano di fronte a un nuovo paradigma tecnologico: regolamentare troppo presto o aspettare troppo a lungo. Entrambi gli approcci proteggono gli incumbenti.
Secondo l'articolo, i protocolli aperti possono limitare il potere dei grandi intermediari tecnologici e accelerare una nuova ondata di innovazione. L'interoperabilità è vista come il miglior antidoto a qualcuno che sta in mezzo. Iniettando l'interoperabilità nelle nostre interazioni digitali, i protocolli aperti svelano il vantaggio che le aziende tecnologiche hanno stabilito negli ultimi decenni e le costringono a competere di nuovo.
Infine, a16z Crypto sottolinea che questi protocolli aperti hanno il potenziale per rimodellare la concorrenza nell'IA, nelle piattaforme digitali e nelle infrastrutture, ma le loro iniziative non avranno successo senza il giusto quadro normativo. È quindi cruciale stabilire un contesto regolatorio che permetta a questi nuovi protocolli abilitati dalla blockchain di prosperare.
📈 Il mio “one cent” sull’argomento
Personalmente, ritengo che le tecnologie trasformative, quelle che hanno la capacità di accelerare la trasformazione digitale come nessun'altra, debbano essere considerate con un approccio aperto.
L'approccio "lascia fare", soprattutto nei contesti di test reali senza regole restrittive, è fondamentale per permettere agli ecosistemi innovativi di svilupparsi. Questo non significa abbracciare una filosofia di "no regulation", ma piuttosto di una collaborazione e comprensione approfondita di come queste nuove tecnologie funzionano e possono essere regolamentate in maniera efficace e proporzionale.
Le normative andrebbero costruite dopo l’acquisizione di questa comprensione chiara e senza pregiudizi delle nuove tecnologie, insieme agli sviluppatori e agli operatori del settore, per garantire un ambiente dove l'innovazione non solo fiorisca ma porti anche a benefici reali per la società nel suo complesso.
Tutto questo apre a una riflessione più ampia sull'equilibrio tra innovazione e regolamentazione, stimolando una discussione cruciali sui futuri percorsi di sviluppo tecnologico e socio-economico.
Parte 3: Kendrick Lamar vs Drake, la storia della musica si svolge 24/7 su Twitter!
In versione podcast audio (con un grande lavoro di post-produzione per eliminare molti dei miei errori): Spotify / Apple Podcasts / Altre piattaforme.
Per questo QuickTalk, volevo concludere parlando del Blob, questo affascinante organismo unicellulare che rappresenta un vero enigma della natura e che ha incuriosito gli scienziati che studiano il processo di apprendimento.
Ma Kendrick Lamar e Drake hanno deciso diversamente, alimentando questo fine settimana quello che potrebbe essere considerato (e da alcuni lo è già) come uno dei più grandi scontri nella storia della musica Hip-Hop.
Non entrerò nei dettagli della vicenda in questa sede, vi consiglio piuttosto di guardare il video dedicato, ma vediamo invece perché ne parliamo nel Disruptive Talks.
🎶 La dinamica digitale del conflitto
La faida che ha coinvolto i due artisti si è distinta non solo per l'intensità degli attacchi personali ma anche per la modalità con cui si è sviluppata: una battaglia portata avanti principalmente attraverso Twitter, che ha visto una sequenza frenetica di dissing a volte pubblicati a meno di un'ora di distanza l'uno dall'altro. Questi scambi, caratterizzati da una velocità senza precedenti, hanno trasformato l'intera situazione in un fenomeno di portata globale, con fan e spettatori agganciati ai loro dispositivi per assistere in tempo reale alla prossima mossa. Gli ultimi giorni, in particolare, hanno visto un'escalation tanto rapida quanto folle, con implicazioni che sono andate ben oltre i confini della musica, influenzando l'opinione pubblica e coinvolgendo altri artisti del settore.
🔄 Impatto e riflessioni nell'era digitale
Nel confronto tra Drake e Kendrick Lamar, assistiamo alla perfetta incarnazione di come i social media abbiano trasformato radicalmente il modo in cui viviamo le rivalità musicali. Se nel passato artisti del calibro di 2Pac e Biggie avevano bisogno di tempo per registrare, validare attraverso etichette discografiche, e diffondere i loro pezzi, oggi Internet e i social rappresentano una "cassa di risonanza" smisurata che velocizza e amplifica ogni gesto e parola.
Questa immediata visibilità trasforma ogni dissing in un evento globale, partecipato e commentato da milioni di persone, trasfigurando una disputa personale in una narrativa collettiva che occupa ogni spazio digitale. In quest'epoca, ogni azione diventa subito storia, testimonianza della potenza senza precedenti degli strumenti digitali a nostra disposizione.
Questo porta alla riflessione finale: fino a che punto questa "cassa di risonanza" può diventare uno strumento o, peggio ancora, un'arma nelle mani di chi la sa usare? Mentre la storia tra Drake e Kendrick continua a svilupparsi, ci troviamo a riflettere sull'importanza di comprendere e contestualizzare l'uso dei social media non solo come piattaforme per l'espressione personale ma anche come scenari dove le dinamiche di potere, influenza e reputazione giocano con regole completamente nuove.
In questo scenario, la responsabilità degli artisti — e di chi li segue — diventa più complessa, muovendosi tra il diritto alla libera espressione e il rischio di esacerbare conflitti o di manipolare l'opinione pubblica. Questa faida non è solo una pagina di storia musicale ma una lezione su come la tecnologia modella profondamente il nostro modo di interagire, reagire e partecipare alla cultura contemporanea.
Su questa riflessione, vi ricordo il live di giovedì prossimo (alle 21), che sarà la seconda parte della nostra introduzione alla zetetica: parleremo dei bias cognitivi, per identificarli e superarli al meglio!
Bisou à tous!
K
 | Un post ospite di
|