Anthropics AI-sökning efter sårbarheter levererar få resultat

Anthropics initiativ Project Glasswing, lanserat för att använda AI i stor skala för att hitta säkerhetssårbarheter i öppen källkod, har efter sju månader levererat resultat som många bedömare anser vara svaga. En analys från VulnCheck visar att av 37 966 rapporterade fynd har endast 217 markerats som åtgärdade med kodfixar. Samtidigt har antalet identifierade dubletter ökat kraftigt, vilket tyder på att systemet genererar en stor mängd överlappande eller felaktiga rapporter snarare än unika, kritiska sårbarheter 1.

Vad som hände

VulnCheck har under perioden sparat de sårbarheter som kan kopplas till Anthropic. Totalt har 442 CVE-nummer tillskrivits företaget, vilket motsvarar cirka 0,5 procent av alla publicerade CVE:er under året. Av dessa har endast två – CVE-2026-61500 och CVE-2026-26980 – utnyttjats i verkligheten ("in the wild") enligt VulnChecks data.

Den senaste uppdateringen av Anthropics egna register, publicerad den 2 november, visar en betydande ökning av rapporterade fynd jämfört med tidigare månader. Under perioden från början av september till början av november lades nästan 12 000 nya fynd till listan, medan antalet fixade problem endast ökade med 15. Samtidigt steg antalet markerade dubletter från två till 1 670, och 419 fynd har återkallats. Anthropic uppger att sin "true positive rate" – andelen korrekta fynd – har ökat från 90,8 procent till 94,2 procent, en siffra som VulnCheck ifrågasätter med tanke på den snabba ökningen av dubletter och återkallanden.

Trycket på underhållarna

Eftersom manuell granskning inte skalar upp till antalet AI-genererade fynd, har Anthropic lanserat en tjänst kallad OSS Scanner. Här kan projekt med öppen källkod välja att bli avskannade, men Anthropic är tydligt med att rapporterna är fullt genererade av modellen utan mänsklig granskning och kan vara felaktiga.

Detta har lett till att arbetsbelastningen för att verifiera fynd flyttas från Anthropic till projektens underhållare. Daniel Stenberg, utvecklare bakom curl, rapporterade nyligen att hans team fick in en batch på 45 rapporter från Anthropic. Enligt Stenberg har av de 34 som publicerats hittills 19 avfärdats som inga sårbarheter alls, sex bekräftats som lågriskproblem och nio väntar fortfarande på bedömning. Det ger en falsk-positiv-frekvens på nära 56 procent i detta fall, långt ifrån de höga träffsäkerhetsnivåer Anthropic uppger i sina samlade statistik.

Stenberg noterar att teamet är tvungna att publicera rapporterna med ett lägre tempo för att dämpa påfrestningen på gruppen. Detta illustrerar en trend där AI-verktyg riskerar att skapa mer administrativt arbete än värde för de underhållare som redan har begränsade resurser.