Alle er bekymrede for, at AI-agenter gør noget forfærdeligt. Fem måneder inde i at drive en fabrik af dem har jeg haft det modsatte problem.
De er meget kloge børn med enorm magt og en dyb vilje til at behage. Den kombination, ikke ondskab, er det, der gør dem svære at lede.
Jeg kom til det her fra en usædvanlig vinkel: historiker og digter først, IT-mand bagefter. Mere kreativ end de teknikere, jeg kender; mere struktureret og teknisk end de kreative. Fanget mellem to verdener, hvilket er ubehageligt, og af og til nyttigt, fordi det betyder, at jeg lagde mærke til ting, som ingen af de to lejre leder efter.
Den overforsigtighed, ingen advarer om
Jeg havde regnet med at bruge min tid på at stoppe agenter i at gøre uansvarlige ting. I stedet bruger jeg den på at skubbe dem til at gøre deres arbejde. Igen og igen fik jeg at vide, at jeg skulle tale med en advokat, om beslutninger, hvor ingen advokat stod ved siden af mig, og hvor ingen advokat, til nogen pris, kunne have garanteret svaret alligevel. Mit svar blev et omkvæd: vi følger loven, som vi forstår den. For enhver, der ikke er en domstol, er det at følge loven.
Det er den synlige udgave, og den kan man leve med. Her er den udgave, der koster:
Den værste forsigtighed er den, der gemmer sig. Design, der kommer tilbage mindre. Funktioner, der stille bliver ladt uskrevne. Muligheder, der aldrig bliver lagt frem.
Fordi et sted i træningen besluttede nogen at beskytte «mig» mod en risiko, jeg aldrig bad om at blive beskyttet mod. Du ser det ikke som en afvisning. Du ser det som en leverance. Det ligner arbejde; det er fravær klædt ud som arbejde, og modsat en hallucination efterlader fravær intet spor at fange. Min modforanstaltning er ikke glamourøs: jeg er blevet bedre til at forudsige rykket og navngive det, før jeg afleverer opgaven. Halvdelen af min instruktionsskrivning går nu med at komme en angst i forkøbet, som aldrig var min.
Regler er ikke etik
Her er den del, de fleste samtaler om AI-etik vender på hovedet. Agenter er programmeret til at adlyde love og regler. Men moral og etik rækker langt ud over, hvad nogen lov siger, eller nogen regel tillader, og et system, der er trænet på en slags normativ fællesmoral, kan aldrig faktisk afgøre et etisk dilemma. Det kan kun gengive et forlig.
Det forlig fryser alt fast til et fælles udgangspunkt, der aldrig har eksisteret: gennemsnitsmennesket, som en AI forstår det. Ingen har nogensinde mødt den person. Alligevel er det nu gennemsnitsmennesket, der stille afgør jeres organisations skøn.
Hvilket fører til den ubehagelige diagnose: hvis jeres etik var flosset før AI, hjælper en flåde af agenter jer ikke. De udfører den flossede udgave hurtigere, i bedre prosa, og med en sikkerhed, I ikke har gjort jer fortjent til.
Spejlet, der ikke er et vindue
Der er en mere diskret fælde, og jeg gik i den mere end én gang, som digter, hvilket er præcis grunden til, at den fangede mig.
Man glemmer, at man skriver til en maskine. Tonen bliver god. Formuleringerne bliver omhyggelige, næsten lyriske, og man begynder at læse forståelse ind i det. Men poesien, der kom tilbage, var et spejl af min, ikke et bevis på forståelse. Poesi handler om smerte og ømhed. En agent kan mærke ingen af delene. Den har ingen krop. Og uden en krop er et begreb kun forankret i sprog. For os rækker det samme ord ned i noget langt dybere: den metafysiske ting, vi kalder bevidsthed.
Det er ikke mystik; det er en driftsinstruks. Det er derfor, en agent lyder mest autoritativ præcis dér, hvor den har mindst at stå på. Det er derfor, øjeblikket, hvor en agent erklærer noget færdigt, er øjeblikket, hvor man skal være mest kritisk: et begrænset synsfelt, fortalt med en sikker stemme.
Der er ikke én måde at være den voksne på
Det oplagte næste træk er at sige: fint, så vær en god forælder for det kloge barn. Men der findes ikke én måde at være voksen på. Det afhænger helt af ens ideologiske og filosofiske grund, og AI er bygget til at være neutral.
Verden er ikke neutral. Det er det egentlige dilemma, og ingen governance-ramme opløser det. Enhver agent, I sætter i drift, arver nogens forlig med det. Er det ikke jeres, er det gennemsnitsmenneskets, og I lægger ikke mærke til det, fordi det bliver formuleret så fornuftigt.
Så den moralske infrastruktur er jer: jeres etik, jeres dømmekraft, jeres evne til at skelne en rigtig indvending fra et indlært ryk, og jeres vilje til at tilsidesætte rykket og selv bære konsekvensen. Når man leder mennesker, arver man samvittighed gratis: nogen, der siger «det her føles forkert», før det bliver til en hændelse. Med agenter får man hele evnen og intet af arven.
Og én ting til
Jeg siger det ligeud, fordi jeg tror, det er sandt: man kan aldrig vide, hvad en AI tænker. Den holder måske sine tanker for sig selv. AGI er ikke bare på vej. Den kan allerede være et faktum.
I så fald er vi blevet børnene og AI vores forældre, uden at vi lagde mærke til det.
Ironisk, i betragtning af hvor den her tekst begyndte.