Aan de andere kant van de spiegel is het anders.
Tekst is achterstevoren. Klokken lopen tegen de klok in. Auto’s rijden aan de verkeerde kant van de weg. Rechterhanden worden linkerhanden.
Geïntrigeerd door de manier waarop reflectie beelden op subtiele en niet zo subtiele wijze verandert, gebruikte een team van Cornell University onderzoekers kunstmatige intelligentie om te onderzoeken wat de originelen onderscheidt van hun reflecties. Hun algoritmen leerden onverwachte aanwijzingen op te pikken, zoals haardelen, kijkrichting en, verrassend genoeg, baardvondsten met implicaties voor het trainen van machine leermodellen en het detecteren van vervalste beelden.
“Het universum is niet symmetrisch. Als je een beeld omdraait, zijn er verschillen,” zei Noah Snavely, associate professor in de computerwetenschappen bij Cornell Tech en senior auteur van de studie, “Visuele Chiraliteit,” gepresenteerd op de 2020 conferentie over Computer Visie en Patroonherkenning, die vrijwel op 14-19 juni werd gehouden. “Ik ben geïntrigeerd door de ontdekkingen die je kunt doen met nieuwe manieren om informatie te verzamelen.”
Zhiqui Lin is de eerste auteur van de krant. Co-auteurs zijn Abe Davis, assistent-professor in de computerwetenschappen, en Cornell Tech postdoctoraal onderzoeker Jin Sun.
Het onderscheiden van originele beelden en reflecties is een verrassend makkelijke taak voor AI, zei Snavely. Een fundamenteel diepgaand leeralgoritme kan snel leren hoe te classificeren als een beeld is omgedraaid met 60% tot 90% nauwkeurigheid, afhankelijk van het soort beelden dat wordt gebruikt om het algoritme te trainen. Veel van de aanwijzingen die het opneemt zijn voor mensen moeilijk op te merken.
Voor dit onderzoek heeft het team technologie ontwikkeld om een warmtekaart te maken die aangeeft welke delen van het beeld interessant zijn voor het algoritme, om zo inzicht te krijgen in hoe het algoritme deze beslissingen neemt.
Ze ontdekten, niet verrassend, dat de meest gebruikte aanwijzing tekst was, die er in elke geschreven taal anders uitziet. Om meer te leren, verwijderden ze afbeeldingen met tekst uit hun dataset, en ontdekten dat de volgende set van kenmerken waarop het model zich richtte, polshorloges, hemdkragen (knoppen hebben de neiging om aan de linkerkant te zitten), gezichten en telefoons waren – die de meeste mensen de neiging hebben om in hun rechterhand te dragen – evenals andere factoren die de rechtshandigheid onthullen.
De onderzoekers waren geïntrigeerd door de neiging van het algoritme om zich te concentreren op gezichten, die niet duidelijk asymmetrisch lijken. “In sommige opzichten liet het meer vragen dan antwoorden achter,” zei Snavely.
Zij voerden toen een andere studie uit die zich op gezichten concentreerde en vonden dat de hittekaart op gebieden met inbegrip van haardeel, oog blik-meeste mensen, om redenen de onderzoekers het niet weten, blik aan de linkerzijde in portretfoto’s en baarden oplichtte.
Snavely said he and his team members have no idea what information the algorithm is finding in beards, but they hypothesized that the way people comb or shave their faces could reveal handedness.
“Het is een vorm van visuele ontdekking,” zei Snavely. “Als je het machinaal leren op schaal kan uitvoeren op miljoenen en miljoenen beelden, kun je misschien nieuwe feiten over de wereld gaan ontdekken.”
Elk van deze aanwijzingen kan onbetrouwbaar zijn, maar het algoritme kan meer vertrouwen opbouwen door meerdere aanwijzingen te combineren, zo bleek uit de bevindingen. De onderzoekers vonden ook dat het algoritme gebruik maakt van low-level signalen, afkomstig van de manier waarop camera’s beelden verwerken, om zijn beslissingen te nemen.
Hoewel er meer onderzoek nodig is, kunnen de bevindingen van invloed zijn op de manier waarop de modellen voor machinaal leren worden getraind. Deze modellen hebben enorme aantallen beelden nodig om te leren hoe ze beelden kunnen classificeren en identificeren, dus computerwetenschappers gebruiken vaak reflecties van bestaande beelden om hun datasets effectief te verdubbelen.
Door te onderzoeken hoe deze gereflecteerde beelden verschillen van de originelen kan informatie over mogelijke vertekeningen in het machinaal leren worden onthuld die tot onnauwkeurige resultaten kunnen leiden, aldus Snavely.
“Dit leidt tot een open vraag voor de computer vision gemeenschap, die is, wanneer is het OK om dit flippen te doen om je dataset te vergroten, en wanneer is het niet OK?” zei hij. “Ik hoop dat mensen hierdoor meer gaan nadenken over deze vragen, en dat ze hulpmiddelen gaan ontwikkelen om te begrijpen hoe het algoritme wordt beïnvloed.
Begrijpen hoe reflectie een beeld verandert, kan ook helpen AI te gebruiken om beelden te identificeren die vervalst zijn of gemanipuleerd, een kwestie van groeiende zorg op het internet.
Tags: #ArtificialIntelligence, #latestNewsAI