Google Foto diventa un vero portento con Ask Photos, la nuova funzione basata su Gemini

In occasione del Google I/O è stata annunciata una nuova funzionalità per Google Foto denominato “Chiedi foto”. La funzione sfrutta l'intelligenza artificiale dei Gemelli per consentire agli utenti di cercare immagini specifiche utilizzando comandi vocali e testuali. Gemini di fatto è il vero protagonista di questa edizione 2024 del Google I/O, e la conferenza per sviluppatori è iniziata con un qualcosa di più utile agli utenti che agli sviluppatori, comunque più che sufficiente per dimostrare la direzione intrapresa da Big. G con la sua IA.

Google Foto integra già un motore di ricerca che trova con discreta facilità quello che stiamo cercando. Al momento però si possono fare ricerche molto generichecome banalmente “hamburger”, “gatto” o richiedere foto di persone che abbiamo registrato nell'app taggando i volti.

Grazie a Gemini e ad Ask to Photosgli utenti potranno descrivere ciò che stanno cercando e ottenere risultati maggiormente pertinenti in pochi secondi.

Si potranno usare descrizioni dettagliate come “foto di Natale 2022 con la famiglia” o “foto di Francesca che impara a nuotare” per ottenere non solo risultati ben più specifici che in passato, ma veri e propri caroselli di immagini sensate e ordinatequasi sulla falsa riga di mini-album fotografico.

Durante l'evento Google ha fatto anche l'esempio della targa dell'auto. Se avete acquistato un'automobile è probabile che gli abbiate scattato una foto, e se non vi ricordate la targa (per fatica o perché sapete dove cercarla), su Google Foto basta scrivere “Auto” o “targa” per trovare tutti i risultati inerenti . Ecco, con Chiedi alle foto non dovrai più sfogliare tutte le immagini di auto per trovare quella giusta: sarà Gemini a trovare la targa dell'auto proponendovi direttamente il suo numero.

E io il video? Chiedi foto funzionerà anche con quelli a quanto pare, ma Google al momento non ha mostrato la funzionalità in azione.

Chiedi Foto si basa su tre step:

Comprendere la domanda

• Ask Photos comprende la domanda e pianifica una strategia per trovare la risposta.
• A questo punto si esegue una ricerca sofisticata per conto dell'utente, identificando non solo parole chiave rilevanti, come luoghi, persone e date, ma anche concetti di linguaggio naturale come “festa di compleanno a tema”.

Formulare la risposta

• Il passo successivo consiste nello studiare i risultati della ricerca, determinando quali sono i più rilevanti e quali rispondono meglio alla richiesta dell'utente.
• Le capacità multi modali di Gemini aiutano a capire esattamente cosa accade in ogni foto, leggendo anche il testo nell'immagine se necessario.
• Chiedi la formula della foto quindi una risposta utile e seleziona la foto e il video da restituire.

Garantire la sicurezza e ricordare le correzioni

• Anche se Ask Photos è sperimentale e potrebbe non essere sempre preciso, Google sfrutta diversi livelli di sicurezza e modelli di IA per garantire che le risposte siano sicure e appropriate. Di conseguenza è molto probabile che filtri eventuali richieste.
• Se l'utente corregge una risposta o fornisce informazioni aggiuntive, Ask Photos può ricordare i dettagli per il futuro in modo da fornire risposte ancora più puntuali.
• Google ha approfittato dell'occasione per ribadire che le foto presenti in Google Foto non sono mai usate per addestrare l'intelligenza artificiale di Gemelli o simili, e che non verranno mai usate al di fuori del contesto stesso di Google Foto.

Gemini, l'intelligenza artificiale utilizzata per “Ask Photos”, sfrutta algoritmi di machine learning per comprendere le richieste vocali e testuali degli utenti, migliorando la capacità di riconoscimento e ricerca anche all'interno di app come Google Foto.

Al Google I/O tra l'altro lo stesso Sundar Pichai ha annunciato novità per quanto riguarda Gemini 1.5 e il numero di token che può digerire. Senza scendere troppo in dettaglio, Gemini digerisce sempre più dati tenendo di conto di sempre più informazioni (fino a 2 milioni di token, secondo l'ultimo aggiornamento) dando risposte sempre più precise e coerenti. E Google Foto è solo uno dei tanti strumenti di Google che potrà sfruttare la sempre crescente potenza di Gemini.

Non immaginereste mai quante foto e video vengono caricati su Google Foto ogni giorno. Un milione? 100 milioni? NO, 6 miliardi. Sei miliardi di foto e video ogni giorno, ovvero 2.190 miliardi l'anno.

Google ha annunciato che la funzione “Chiedi foto” sarà disponibile nei prossimi mesi per tutti gli utenti di Google Foto, anche se come di consueto si partirà prima dagli Stati Uniti. L'azienda prevede di integrare ulteriormente Gemini in Google Foto in futuro.