Negli ultimi mesi mi è capitato sempre più frequentemente di imbattermi in applicazioni desktop che offrono funzioni di intelligenza artificiale richiedendo una chiave API di OpenAI per poter usufruire delle funzioni dell’IA da remoto.
Perché le app non integrano l’IA al loro interno
L’applicazione SketchWow che uso per generare diagrammi, ad esempio, consente di inserire un prompt che può riferire delle pagine Web per richiedere la generazione di un diagramma secondo uno degli schemi previsti. Ma perché queste applicazioni non possono integrare la funzione al proprio interno? E perché è necessario fornire una chiave per le API di OpenAI e l’applicazione non può procedere in autonomia come siamo abituati? Cerchiamo di capire le ragioni di questo nuovo trend.
Le applicazioni a basso costo e open source
Dalla diffusione di Internet ci siamo abituati che oltre ai pacchetti applicativi più costosi sono disponibili applicazioni più a buon mercato (un tempo noti come shareware) che si caratterizzano dalla specializzazione in particolari ambiti e che offrono funzioni spesso utili a un costo decisamente più contenuto delle applicazioni “professionali”. Fin dall’inizio il modello è quello del try&buy: l’applicazione può essere installata gratuitamente e provata con alcune funzioni principali disabilitate in modo che vi sia l’incentivo a pagare la licenza una volta verificata l’utilità. Si tratta di software che viene sviluppato in modo più casalingo da piccoli team e che viene pubblicato su siti specializzati o, più recentemente, diffuso mediante la pubblicità sui social network assicurando bassi costi di marketing in modo da assicurare che il basso costo della licenza consenta comunque di coprire i costi e offrire un margine seppur piccolo.
Nel caso delle applicazioni Open Source l’applicazione viene sviluppata da membri della comunità e condivisa, magari prevedendo la possibilità di donare per aiutare gli autori del software, ma per cui in genere non è previsto né prevedibile un flusso di risorse che possano garantire la copertura di un servizio. Il modello funziona poiché molti programmi possono offrire funzioni utili in modo autonomo e autocontenuto così che, una volta compilato, il programma richiede solo le risorse del computer dove sarà messo in esecuzione.
Per mantenere la competitività necessaria queste applicazioni richiedono oggi la capacità di fornire funzioni basate sull’AI generativa, è il caso di SketchWow che ho comprato perché apprezzavo lo stile dei diagrammi che generava ma che ho usato poco poiché raramente ho il tempo di editare un diagramma con il classico editor in cui si inseriscono elementi e si dispongono alla ricerca del risultato voluto. Quando ho scoperto che era disponibile la funzione AI ho generato una chiave sul sito di OpenAI e la prova è stata sicuramente sorprendente e ho cominciato a usare il software decisamente più frequentemente di quanto non facessi prima.
L’introduzione dell’AI generativa
Ormai sappiamo tutti che l’AI generativa è avida di risorse, e anche i modelli capaci di eseguire localmente a un PC non possono funzionare su tutti i PC disponibili. Inoltre, i modelli capaci di eseguire localmente raramente supportano più lingue e la capacità di ragionare e adattarsi ai prompt dell’utente è inferiore ai grandi modelli. Inoltre, i modelli locali open si evolvono molto rapidamente rischiando di complicare significativamente il processo di compilazione e distribuzione del software sia a causa dei requisiti imposti per la loro esecuzione che per l’aggiornamento frequente.
Per software che hanno bisogno di quanto più mercato potenziale possibile per giustificare la propria esistenza per ora le restrizioni di fatto imposte da modelli locali sono decisamente poco sostenibili, è naturale quindi che si guardi all’impiego di API che consentano l’uso remoto di modelli di AI generativa.
Purtroppo, sia che si tratti di applicazioni con un basso costo di licenza, sia che si tratti di applicazioni open source, è difficile immaginare un modello dei costi capace di integrare i costi, per quanto contenuti, di un modello di AI generativa. Sembra quindi naturale prevedere che sia l’utente a fornire la chiave della API che consente l’invocazione dei servizi. In un primo momento OpenAI offriva anche del credito gratuito a chi cominciava a utilizzare le API consentendo di fatto numerose esecuzioni gratuite della funzione (ma ora non è più possibile).
Sia che si tratti di SketchWow, che di un plugin di Blender, che di un’estensione per Chrome, che di uno dei tanti sistemi di Chat Desktop che promettono funzioni strabilianti, all’utente viene richiesto di fornire una chiave API per abilitare le funzioni di AI generativa all’interno del sistema.
Una traiettoria complessa
Se da una parte sembra più che ragionevole questa evoluzione, attualmente non è semplice per un utente registrarsi a un portale per sviluppatori, e inoltre rischia di dover attivare più portali man mano che i vari fornitori di AI crescono e saranno selezionati dagli sviluppatori. OpenAI per ora è il più diffuso ma semplicemente perché è stato il primo a offrire il servizio. È facile immaginare che applicazioni desktop useranno l’API di Claude PC per interpretare lo schermo (con annessi problemi di sicurezza), e in questo caso gli utenti saranno costretti a pagare Anthropic invece di OpenAI.
Il panorama è quindi complesso, se da una parte la necessità di poter inserire l’AI come funzione di base spinge per un’integrazione che però possa ribaltare i costi sul fornitore di AI, il meccanismo per l’integrazione è un po’ farraginoso per l’utente comune anche se i risultati sono sicuramente promettenti in termini di funzionalità.
Rimane da chiedersi se l’emergere di questa modalità non possa spingere i grandi vendor di AI a prevedere portali più semplici rispetto a quelli concepiti per sviluppatori dove ci si logga e si ottiene la chiave da passare al software (magari anche con protocolli automatici piuttosto che con l’intervento manuale dell’utente).
I prossimi passi dell’evoluzione
Per ora non possiamo che osservare la creatività degli sviluppatori indipendenti e come saranno capaci di sfruttare il prompt engineering affinché i propri sistemi offrano abilità che li mantengano sul mercato.
Sicuramente questo cambiamento non può non costringerci a rivedere il concetto stesso di programma e di codice sorgente come unica fonte di valore alla base del mercato dell’IT. Il passaggio dal modello di business da investimento (CAPEX) a costo (OPEX) iniziato dai cloud provider quindici anni fa si sta compiendo, finendo di svuotare le funzioni dei nostri sistemi che saranno sempre meno autonomi se non connessi a Internet. La nicchia dei software a basso costo e dei software open source per i sistemi operativi si devono confrontare con questa nuova realtà e valutare i prossimi passi di evoluzione.
