Google verwijdert AI-samenvattingen bij sommige medische zoekopdrachten

Google heeft zijn AI-gegenereerde samenvattingen (“AI Overviews”) verwijderd voor bepaalde medische zoekopdrachten nadat bleek dat de AI soms gevaarlijk onjuiste informatie gaf. Uit onderzoek kwam naar voren dat de AI onder andere mensen met alvleesklierkanker adviseerde om vet voedsel te vermijden, terwijl artsen juist aanraden om extra calorieën en vetten te nemen. Ook gaf de AI foutieve informatie over leverfunctietesten, wat patiënten mogelijk op het verkeerde been kan zetten.

Some of the answers we saw were genuinely dangerous and could cause real harm if followed.

— The Guardian, geciteerd door The Verge

Medische experts waarschuwden dat zulke adviezen ernstige gevolgen kunnen hebben en noemden de antwoorden “zorgwekkend” en “potentieel levensgevaarlijk”. Als gevolg hiervan heeft Google de AI-samenvattingen uitgeschakeld voor bepaalde medische zoekvragen. Welke zoektermen precies zijn geblokkeerd wil Google niet zeggen, maar het bedrijf stelt dat klinische teams de antwoorden controleren en de kwaliteit blijven verbeteren. De maatregel volgt op eerdere kritiek op AI Overviews, waaronder bizarre adviezen zoals het eten van stenen of het smeren van lijm op pizza.