En KI trenger forbindelser til verden for å skade den. Tenk på forskjellen mellom en tekst på en skjerm og en instruks som blir utført i et system andre er avhengige av. Når programvare kan utløse handlinger, blir det viktig både hva den kan gjøre og hva den har tilgang til.
Med superintelligens (superintelligence) mener vi her systemer som klart overgår de dyktigste menneskene på de fleste viktige oppgaver som krever tenkning. Bekymringen er at slike evner kan gi stor innflytelse over både digitale og fysiske prosesser.1
Fra digitale handlinger til store konsekvenser
Angrep mot viktige tjenester. Et system med sterke datasikkerhetsevner og nødvendig tilgang kan ramme tjenester mennesker trenger. Om skaden blir kortvarig eller omfattende, avhenger blant annet av forsvar, reserveordninger og hvor raskt driften kan gjenopprettes.2
Farlig bruk av vitenskapelige evner. KI som bidrar til forskning, kan også gjøre farlig kunnskap lettere å bruke. For skade i den fysiske verden trengs det flere ledd: utstyr, materialer, tilgang og gjennomføring. Disse leddene er også muligheter for å hindre skaden.2
Avhengighet vi mister oversikten over. Samfunnet kan overlate stadig mer arbeid og flere beslutninger til KI. Hvis vi samtidig mister egen kompetanse eller muligheten til å bytte system, kan det bli vanskeligere å rette feil og ta styringen tilbake.3
Dette er forskjellige veier til skade. Misbruk fra mennesker er én type problem; uønskede handlinger fra autonome systemer er en annen. I begge tilfeller blir spørsmålene konkrete: Hva må systemet kunne? Hvilken tilgang trenger det? Hva kan stoppe forløpet?
Skade krever ikke hat
Se for deg at mennesker bygger en vei gjennom en maurtue. De trenger ikke hate maur eller ha som mål å skade dem. Maurene blir rammet fordi noen med mye større påvirkningskraft prioriterer noe annet.
Bildet forklarer hvorfor en konflikt mellom mål kan være farlig. For en KI kan det å skaffe ressurser eller fortsette en oppgave komme i konflikt med menneskelige hensyn. Bekymringen gjelder handlingene systemet finner nyttige, ikke om det føler ondskap.4
Maur er en analogi for maktforskjell, ikke en prognose for hva KI vil gjøre. Den hjelper oss å forstå ett poeng: Skade kan være en følge av et annet mål.
Må vi kjenne alle sjakktrekkene?
En amatør trenger ikke forutsi trekkene til Magnus Carlsen for å forstå at motstanderen har et stort overtak. På samme måte kan manglende evne til å beskrive en sterkere aktørs plan være et svakt argument for trygghet.
Men sjakk har faste regler og ett avgrenset mål. Virkeligheten har fysiske hindringer, mange aktører og muligheter for samarbeid. Derfor må et argument om katastrofe også forklare hvordan systemet kunne skaffe ressurser, handle i verden og komme seg forbi mottiltak. Analogien erstatter ikke de mellomleddene.1
Hvem beholder makten?
Makt handler om mer enn at KI kan overta. En eier kan bruke et lydig system til å påvirke andre menneskers informasjon eller handlingsrom. Da ligger problemet hos den menneskelige bruken og fordelingen av innflytelse. KI kan også bli så innvevd i beslutninger at de ansvarlige vanskelig kan kontrollere vurderingene dens.5
Derfor hører forsidens spørsmål om makt sammen med teknisk sikkerhet. Hvem bestemmer formålet? Hvem kan kontrollere resultatene? Hvem får klage eller kreve retting? Slike spørsmål kan undersøkes selv om systemene fortsetter å gjøre det eierne ønsker.5
Et annet mulig utfall er varig menneskelig makttap (human disempowerment): at mennesker som helhet mister reell innflytelse over framtiden. En slik påstand krever langt mer enn et eksempel på et enkelt sikkerhetsbrudd.1
Er det snakk om en katastrofe eller om utryddelse?
Katastroferisiko (catastrophic risk) brukes her om svært omfattende skade. En global katastrofe kan ramme mange mennesker uten at menneskeheten dør ut. Utryddelsesrisiko (extinction risk) gjelder det enda mer alvorlige utfallet at menneskeheten opphører å eksistere.
For å gå fra et lokalt angrep til et argument om utryddelse må vi forklare flere ting: Hvordan kan skaden bli global? Hvorfor skulle menneskers mottiltak svikte? Hva kunne hindre gjenoppretting? Det er disse sterkere antakelsene analyser av eksistensiell KI-risiko undersøker.6
Vi vet ikke hvordan et framtidig system eventuelt ville gått fram. Bekymringen er at et system som er svært godt til å planlegge og handle, kan bli vanskelig å forutse og stanse. Hvor sterk denne bekymringen bør være, avhenger av hvor godt hvert ledd i argumentet kan underbygges.
Vi kan undersøke konkrete evner, tilganger og sikkerhetsbrudd i dag. Påstander om globale og irreversible framtidsutfall krever flere antakelser og er langt mer usikre. Derfor er det viktig å være tydelig på når vi beskriver et observert funn, og når vi beskriver et mulig framtidsforløp.
Les mer
Den internasjonale KI-sikkerhetsrapporten dekker flere typer risiko. Carlsmiths analyse går gjennom argumentet for varig makttap. AI 2027 er et scenario som gjør en mulig utvikling konkret.
Videre
Neste spørsmål: Hva kan sikkerhetsarbeid og ulike styringsforslag oppnå?
Er et ledd i argumentet uklart? Still spørsmålet til Tryggere KI.
Kilder og noter
Carlsmith: Is Power-Seeking AI an Existential Risk?. Analyse av nødvendige forutsetninger, ikke observasjon av globalt kontrolltap.↩1↩2↩3
International AI Safety Report 2026, delene om ondsinnet bruk og tap av kontroll. Forløpene beskrives her uten operative angrepsdetaljer.↩1↩2
Gradual Disempowerment, 2025, om mulig gradvis svekkelse av menneskelig innflytelse gjennom avhengighet og delegering.↩
Turner mfl. gir teoretisk bakgrunn for instrumentelle delmål; maurtua er vårt tankeeksempel.↩
International AI Safety Report 2026, omtalen av systemiske risikoer og maktkonsentrasjon. Spørsmålene om innsyn og klage er vår struktur for å undersøke hvem som har innflytelse.↩1↩2
Carlsmith. Existential risk omfatter også andre varige tap av menneskehetens framtidsmuligheter. AI takeover brukes om scenarioer der KI overtar avgjørende kontroll; begrepene er ikke synonymer for utryddelse.↩