Under de senaste åren har stora språkmodeller (LLMs) som GPT-3 och dess efterföljare revolutionerat hur vi ser på och interagerar med data. Dessa modeller kan bearbeta och generera mänskligt liknande text på ett sätt som tidigare inte var möjligt, vilket har lett till nya insikter och möjligheter inom teknikvärlden. Men med denna utveckling kommer också utmaningar, särskilt när det gäller traditionell systemdesign.

Vad som hände

Traditionell webbarkitektur har byggts på antagandet att tillstånd ska lagras i databaser och att beräkningar är stateless. Denna designfilosofi har varit central i över 20 år och har möjliggjort skalbarhet genom vertikal skalning av databaser och horisontell skalning av applikationsservrar. Men med framväxten av LLMs ifrågasätts nu denna grundläggande designprincip. LLMs kräver ofta långvariga och tillståndsberoende beräkningar, vilket gör den stateless designen alltmer otillräcklig.

Varför det spelar roll

Denna utmaning är viktig av flera anledningar. För det första kan det innebära betydande förändringar i hur vi bygger och driftsätter mjukvarusystem. Företag som vill dra nytta av LLMs potential måste omvärdera sina befintliga arkitekturer och överväga nya designmetoder som bättre stödjer dynamiska och tillståndsberoende processer. För det andra kan det påverka kostnader och prestanda. Traditionella system som är beroende av stateless beräkningar kan bli ineffektiva och dyra att skala när de måste hantera komplexa och långvariga processer drivna av LLMs.

Teknisk analys

En av de största tekniska utmaningarna som LLMs för med sig är behovet av mer sofistikerade routing-mekanismer. I traditionell arkitektur hanteras trafik genom HTTP, lastbalanserare och stateless servrar. Men när klienter behöver kommunicera direkt med en specifik process, som i fallet med LLM-driven interaktion, uppstår routingproblem. WebSockets har föreslagits som en potentiell lösning för att skapa långvariga, tvåvägskommunikationskanaler mellan klient och server. Men även WebSockets har sina begränsningar, såsom förlust av anslutningsadress vid avbrott, vilket gör att nya lösningar behöver utvecklas.

Konsekvenser för utvecklare och företag

För utvecklare innebär denna förändring en ny era av arkitektoniska överväganden. De måste nu ta hänsyn till hur man bäst integrerar LLMs i sina system utan att förlora effektivitet eller skalbarhet. För företag kan detta leda till omstrukturering av IT-budgetar och strategier för att inkludera ny infrastruktur och kompetens inom organisationen. Det handlar inte bara om teknisk anpassning, utan också om att förstå de affärsmässiga implikationerna av att använda LLMs i storskaliga system.

Vad händer härnäst

Framöver kan vi förvänta oss en ökad forsknings- och utvecklingsinsats för att skapa nya lösningar som bättre stödjer LLMs i systemdesign. Det kan innebära utveckling av nya kommunikationsprotokoll eller infrastrukturkomponenter som bättre hanterar tillståndsberoende beräkningar och långvariga processer. För företag och utvecklare i Sverige och Norden innebär detta en möjlighet att ligga i framkant av teknikutvecklingen genom att anamma och anpassa sig till dessa förändringar.

Sammanfattningsvis står vi inför en potentiell paradigmförändring inom mjukvaruarkitektur där LLMs spelar en central roll. Genom att utmana gamla designprinciper öppnar de dörren för nya sätt att tänka och bygga framtidens system.