Der Online-Konzern kündigte die Weiterentwicklung der Funktion Google Lens an, die zusätzliche Informationen ins Kamerabild einblendet oder bestimmte Aktionen automatisch für die Nutzer ausführt. So können sich diese zum Beispiel Rezensionen oder andere Informationen anzeigen lassen, wenn sie ihre Kamera auf ein Buch richten. Oder sie halten die Kamera auf das Plakat einer Veranstaltung, Google Lens speichert das Ereignis dann direkt im Kalender ab. Außerdem können die Google-Karten auf die Kamera zurückgreifen, um den genauen Standort des Nutzers anhand der umliegenden Gebäude zu ermitteln. Google Lens funktioniert mittlerweile auf jedem Android-Smartphone mit der aktuellen Version von Google Fotos.

Das US-Unternehmen habe zunächst einige sehr konkrete  Anwendungen herausgesucht, um die Funktion zu etablieren, sagte Chennapragada. Eine Herausforderung dabei sei, relevante Informationen einzublenden. „Es ist nicht wirklich hilfreich, wenn man die Kamera auf etwas richtet und die Software sagt: Es ist eine Wasserflasche.“ Google löse dieses Problem so, dass zunächst verschiedene spezialisierte Programme ihr Wissen über den Inhalt eines Bildes beitrügen – und dann ein übergeordnetes System entscheide, was davon für den Nutzer im Kontext der Situation wichtig sei, sagte Google-Manager Clay Bavor. Die Bilderkennung in Echtzeit sei eine große technische Herausforderung, betonte er. „Schon  Spracherkennung ist schwer, obwohl wir nur wenige tausend Worte verwenden – dagegen gibt es hunderte Millionen verschiedene Objekte, die auch noch in unterschiedlichen Winkeln, Schatten oder halb verdeckt im Bild auftauchen können.“