Flux 3

Questa settimana sbarca finalmente Flux 3 Image e in più a sorpresa abbiamo novità sul versante Gemini con l'arrivo della Banana 2.1 (è un aggiornamento minore ma 'ogni fegato di mosca è sostanza' come diceva mia nonna).

Mostrerò solo questi due perché altrimenti sovraccarico il post di materiale visivo.

Flux 3 è la nuova creatura multimodale di Black Forest Labs (team formato dai creatori di Stable Diffusion). Ha una filosofia radicalmente diversa dal passato: non genera solo immagini come i primi due Flux ma è addestrato congiuntamente su immagini, video e audio. È capace di generare video con audio nativo fino a 20 secondi, sintetizzare e modificare immagini e predire azioni robotiche all-in-one. Sì, è un altro world model pensato per i robot (lo stanno già utilizzando nelle fabbriche) ma è comunque più versatile di Nvidia Cosmos.

Il concetto alla base è che il modello, per generare video convincenti, deve comprendere in partenza le interazioni del mondo fisico. Noi qui lo vedremo solo in quanto image generator senza tutta la parte animabile.

1) Musica in salotto

Iniziamo con la character consistency ma aggiungiamo una variante: anziché descrivere il luogo via prompt chiederemo di inserire il personaggio (in questo caso io) all'interno di una foto già esistente. Mentre è un approccio ideale per Flux 3 è una cosa che Banana finora detestava fare. 

Banana 2.1

Con Banana 2.0 queste cose spesso venivano non proprio bene quindi evidentemente è diventato più adattivo nella nuova versione.

Flux 3

Flux 3 sembra propenso a prendere il volto e ricopiarlo esattamente uguale... nel senso che fa copia e incolla anziché mapparlo come si deve. Ciò per curiosità mi porta a un test addizionale sulle espressioni facciali dove non puoi barare.

Banana 2.1

Flux 3

Banana 2.1 eccellente mentre Flux 3 semplicemente orribile. Renderizza i volti in modo finto e poco naturale oltre ad avere una aderenza al prompt decisamente inferiore.

2) Interazione tra i personaggi.

In cosa gli open source difettano particolarmente? Nelle interazioni tra i personaggi. Ideogram finora è stato l'unico a cavarsela...

Banana 2.1

Ideogram 4

Flux 3

In questo Flux è rimasto scarso come in passato: se la donna fosse una bambola di plastica sembrerebbe più espressiva.

3) Sketch per videogioco in pixel art.

Visto che la pixel art piace tanto proviamo un esperimento un po' strambo e prolisso. Partiamo da uno sketch e usiamolo come base di partenza per realizzare una location in isometrica. Essendo un world model Flux 3 con queste operazioni di manipolazione 3d dovrebbe cavarsela bene... o no?

Partiamo da Banana 2.1

Si, lo stile grafico che abbiamo scelto è un 3d non proprio bello ma ci serve solo come stile transitorio visto che puntiamo alla pixel art. Come al solito Banana è notevole nel riconoscere e interpretare da solo gli elementi di uno schizzo. Stonano quei cosi quadrati sulla punta degli ombrelli: c'erano anche nello schizzo originale e nemmeno io capisco cosa volessero rappresentare nella mente del disegnatore. Comunque siccome è solo una demo ce ne freghiamo bellamente. Ora convertiamo la scena in isometrica.

Adesso ricreiamo la ragazza in piedi e gli facciamo indossare quelle simpatiche pantofole sul tappeto.

Infine ricreiamo la scena in pixel art.

Ora vediamo come se la cava il Flux 3.

La sua comprensione degli oggetti come mi aspettavo è molto più approssimativa. In particolare non ha capito che quelle sul tappeto dovevano essere pantofole. Guidato via prompt magari avrebbe sbagliato meno ma siccome è solo una demo ce ne freghiamo e andiamo avanti.

Vabbè, non è che mi piaccia molto ma l'importante è vedere come viene una volta convertito in pixel art.

Cioè, ammesso che Flux 3 sapesse farlo. Ha zero training data su queste cose evidentemente. Eppure il vecchio Flux 2 ci riesce.

Ha aggiunto alcuni oggetti senza senso e la luce è discutibile però in pixel art lo ha fatto contrariamente al suo successore e con qualche fix potrebbe pure andare.

4) Character design

Finiamo con un ultima prova su pose ed animazioni nelle quali Flux 3 dovrebbe essere abbastanza ferrato essendo un modello omni.

Banana 2.1

Flux 3

Concludendo Banana 2.1 è migliorato nella combinazione delle immagini di riferimento e nella qualità delle luci, adesso più vicina a quella di Banana Pro. Per tutti gli stili grafici invece è lo stesso.

Flux 3 in quanto world model non è proprio semplice da capire e usare al meglio. Spesso non brilla come generatore di immagini puro ma come tool per l'editing selettivo e la combinazione di references sembra buono.