AI-boomens oväntade offer: Internetarkivering hotas av stigande hårddiskpriser

AI-teknologier har på kort tid revolutionerat en rad olika industrisektorer, men denna snabba utveckling har också medfört oväntade utmaningar. En av de mest påtagliga effekterna är den dramatiska ökningen av priser på hårddiskar, vilket nu hotar viktiga bevarandeinsatser av vår digitala historia. Organisationer som Internet Archive och Wikimedia, som har i uppdrag att bevara webbens enorma informationsflöde, står inför svårigheter att hantera de stigande lagringskostnaderna.

Enligt forskning från redaktionens researchavdelning har hela 25 % av webbsidor som publicerades mellan 2013 och 2023 försvunnit. Detta understryker vikten av att bevara digitalt innehåll, särskilt i en tid då den digitala världen är mer flyktig än någonsin. Internet Archive, känt för sin Wayback Machine, har bevarat tidningar och webbsidor sedan mitten av 1990-talet. Men nu, när AI drar åt sig allt mer av hårddisktillverkarnas produktionskapacitet, står de och liknande organisationer inför en kritisk situation.

AI:s ökande popularitet och användning inom maskininlärning och datadriven forskning har skapat en våg av efterfrågan på lagringslösningar, vilket drivit upp priserna på hårdvaran dramatiskt. Tidigare rimligt prissatta hårddiskar har blivit allt dyrare, vilket påverkar inte bara stora arkiveringsprojekt utan även enskilda individer som bidrar till dessa ansträngningar. För många av dessa har kostnaderna blivit oöverstigliga, och de har tvingats pausa sina insatser.

Utöver de ekonomiska aspekterna har organisationerna också stött på problem med strängare anti-scraping-åtgärder från webbplatser, som i sitt försök att skydda mot illasinnade botar även blockerar dessa välvilliga arkiveringsbotar. Detta innebär att viktiga delar av vår digitala kultur och historia riskerar att gå förlorade, eftersom dessa botar inte längre kan samla in och bevara information lika effektivt som tidigare.

För Sverige och Norden i stort, där digitaliseringstakten är hög och beroendet av onlineinformation är stort, blir dessa utmaningar särskilt relevanta. Bevarande av digitala resurser är avgörande för utbildning, forskning och kulturarv. Det är därför viktigt att vi finner lösningar på dessa utmaningar, kanske genom att utveckla mer kostnadseffektiva lagringsteknologier eller genom att förbättra samarbetet mellan arkiveringsorganisationer och webbplatsägare.

Framtiden för digital arkivering kan verka osäker, men genom att uppmärksamma dessa problem och arbeta mot hållbara lösningar kan vi fortsätta att bevara den digitala världen för kommande generationer.