- Gemini Live is een op conversationele visuele assistent die de omgeving in realtime beschrijft met behulp van de camera van de mobiele telefoon.
- Een hulpmiddel dat speciaal is ontworpen voor mensen met een visuele beperking, maar dat ook nuttig kan zijn voor iedereen in situaties met slecht zicht.
- Een proactief begeleidingssysteem dat de gebruiker vertelt hoe hij de telefoon moet bewegen om objecten beter in beeld te brengen.
- Gezamenlijke ontwikkeling met Aira-experts en wereldwijde toegankelijkheidsorganisaties om daadwerkelijke bruikbaarheid in de praktijk te garanderen.
Stel je voor dat je je telefoon precies kunt vragen wat er op tafel staat of de kleine lettertjes op een voedingsetiket kunt lezen zonder je ogen te vermoeien. Google heeft een enorme stap voorwaarts gezet op het gebied van toegankelijkheid met de lancering van Guided Vision binnen Gemini Live , een tool die de camera van je smartphone in feite verandert in een visuele metgezel waarmee je in realtime kunt chatten.
Deze functie is niet zomaar een tekstlezer, maar een intuïtief en interactief visueel assistentiesysteem dat primair is ontworpen voor blinden en slechtzienden. Het idee is dat kunstmatige intelligentie fungeert als een brug tussen de fysieke wereld en de gebruiker, waardoor barrières worden weggenomen bij taken die voor velen vanzelfsprekend zijn, maar voor anderen een dagelijkse uitdaging vormen.
Wat is geleide visie precies?
In tegenstelling tot andere apps laat Guided Vision je met Gemini Live "meekijken" door de camera terwijl je een gesprek voert. Het coolste is dat het niet alleen beschrijft wat er voor je is, maar ook proactieve verbale aanwijzingen geeft om het beeld bij te stellen . Als je telefoon te dichtbij is of naar het plafond wijst, zal de AI je automatisch adviseren om naar rechts te vegen of een stapje achteruit te doen voor een beter zicht.
Om dit zo goed te laten werken, bleef Google niet alleen in het lab; ze werkten samen met Aira en zijn netwerk van vertrouwde testers . Samen analyseerden ze duizenden uren aan data over visuele interpretatie en schakelden ze de steun in van meer dan 1.000 echte gebruikers. Bovendien voerden ze tests uit in landen als Brazilië, India, Japan, Indonesië en Singapore , om ervoor te zorgen dat de tool bruikbaar zou zijn in diverse culturele contexten, aangezien een keuken of een menu niet overal hetzelfde is.
Situaties uit het dagelijks leven waarin deze tool van pas komt.
Het nut van deze functie blijkt vooral uit de kleine details die iemands zelfstandigheid kunnen beperken. Hieronder volgen enkele van de meest praktische toepassingen die zijn gedocumenteerd:
- Het lezen van complexe teksten: Het is ideaal voor het aflezen van knoppen op huishoudelijke apparaten, wasprogramma's of menukaarten in restaurants waar weinig licht is.
- Zoeken naar verloren voorwerpen: Het kan je helpen een oortje terug te vinden dat op de grond is gevallen, of de peper te lokaliseren in een voorraadkast vol potjes.
- Esthetische en kleuranalyse: Je kunt vragen of een gestreept shirt bij een bepaalde broek past, of gewoon de kleur van een jas aangeven.
- Milieubewustzijn: Het biedt gedetailleerde samenvattingen van hoe een onbekende kamer is ingedeeld of wat er precies op een tafel staat.
Daarnaast is het een fantastisch hulpmiddel voor ouderen of mensen met een lage leesvaardigheid die ondersteuning nodig hebben bij het lezen van kleine teksten in omstandigheden met weinig licht.
Vereisten en stappen om het operationeel te krijgen
Om van deze functie gebruik te kunnen maken, hebt u een apparaat met Android 9 of hoger nodig , mits Gemini Live beschikbaar is in uw taal en regio. Het is essentieel dat zowel de Gemini-app als uw systeemsoftware zijn bijgewerkt naar de nieuwste versie.
Je kunt het op verschillende manieren activeren, afhankelijk van wat voor jou het handigst is:
- Vanuit de Gemini-app: Ga naar je profielinstellingen en activeer de optie. "Gebruik geleide visie in live-situaties"Open Gemini Live en deel de camera.
- Via Android-instellingen: Ga naar Toegankelijkheid, vervolgens naar Visuele Hulp en configureer een directe toegangJe kunt het starten met een zwevende knop, een gebaar met twee vingers of door op de volumetoetsen te drukken.
- Integratie met TalkBack: Als u deze schermlezer al gebruikt, opent u het menu met een tik met drie vingers en selecteert u 'Begeleid zicht'.
Belangrijke limieten en veiligheidsvoorschriften
Hier moet je extra voorzichtig zijn. Google stelt heel duidelijk dat Guided Vision een hulpmiddel is, maar geen medisch hulpmiddel of mobiliteitshulpmiddel. Het mag in geen geval een witte stok vervangen of gebruikt worden voor het detecteren van obstakels en veilige navigatie in de stad. AI kan fouten maken en is niet ontworpen om fysieke veiligheid tijdens het bewegen te garanderen.
Wat privacy betreft, is het belangrijk te onthouden dat Gemini zowel video als audio van sessies verwerkt. Daarom is het raadzaam om geen vertrouwelijke informatie te delen en toestemming te vragen als u van plan bent andere mensen bij de opname te betrekken.
Andere toegankelijkheidstools van Google
Guided Vision maakt deel uit van een breder ecosysteem. Voor mensen met een visuele beperking biedt Google functies zoals Chrome's Zoom , Leesmodus en Pixel Vergrootglas, waarmee gebruikers tekst kunnen vergroten en contrasteffecten kunnen toepassen. Er zijn ook tools zoals Pixel's Framing Assist , die trillingen en geluid gebruikt om betere foto's te maken, en ondersteuning voor brailleleesapparaten in Chromebooks en Docs.
Deze nieuwe functionaliteit van Gemini Live markeert een keerpunt door multimodale generatieve AI te integreren in het dagelijks leven. De technologie kan hierdoor niet alleen data verwerken, maar biedt miljoenen mensen wereldwijd ook daadwerkelijke en praktische autonomie via een eenvoudige, conversationele interface.