- Roblox erstatter det gamle «####»-filteret med et AI-system som omskriver meldinger i sanntid samtidig som det beholder den opprinnelige betydningen.
- Teknologien analyserer konteksten, oppdager «leetspeak» og andre triks, med en 20-dobling av falske negative resultater ved overvåking av personopplysninger.
- Omformuleringen gjelder hovedsakelig for verifiserte brukere og alderssegmenterte brukere, med synlige varsler når en melding justeres.
- Den nye tilnærmingen søker mindre friksjon i chatten uten å lempe på sikkerhetsstandardene, midt i økende regulatorisk press for å beskytte mindreårige.
De siste ukene, Roblox har gjort en betydelig endring i måten de modererer samtaler på plattformen sin.Den klassiske metoden med å fylle meldinger med emneknagger når et forbudt ord dukket opp, begynner å bli etterlatt, og viker for et mye mer sofistikert system, støttet av modeller for kunstig intelligens.
I stedet for å vise uleselige tekstlinjer fylt med «####» hver gang noen krysser strekenSelskapet har begynt å rulle ut en funksjon av automatisk omskriving av chat i sanntidMålet er klart: å opprettholde forståelsen av hva folk ønsker å si, men uten å tillate fornærmelser, giftig språk eller forsøk på å dele sensitiv informasjon, noe som er spesielt viktig i et samfunn med så mange mindreårige.
Fra «####» til lesbare setninger: hva endrer seg i Roblox-chatten
I årevis har den klassiske tilnærmingen til tekstmoderering vært basert på lister over forbudte ord skjult med symbolerDet er effektivt for å blokkere spesifikke termer, men det har en ganske irriterende bivirkning: det gjør samtalen til en vegg av karakterer som ingen forstår, noe som forstyrrer flyten i spillet og chatten fullstendig.
Roblox har bestemt seg for å ta det et skritt videre og erstatt den flate blokkeringen med et system som omskriver det som blir sagtEt illustrerende eksempel som selskapet selv har delt: en setning som «Skynd deg, TF!«eller «Skynd deg, idiot» ville ikke lenger vises som en streng med emneknagger, men ville ganske enkelt bli vist som «Skynd deg!«» eller «Skynd deg.» Tanken er at det støtende innholdet forsvinner, men den generelle ordenen eller intensjonen forblir.
For å unngå misforståelser, Hver gang AI-en endrer en melding, indikerer systemet det i selve chatten.Med andre ord ser deltakerne at det har vært en omformulering, slik at det automatiserte verktøyets inngripen ikke er skjult. Plattformen søker dermed en kompleks balansegang: å gripe inn i samtalen uten å gi inntrykk av at den i hemmelighet manipulerer det folk sier.
Denne funksjonen brukes primært til chatter mellom brukere som har fullført aldersbekreftelse og er gruppert i lignende aldersgrupperDet påvirker vanlige funksjoner i Roblox, som generell chat, teamchat og hvisking, og er integrert i den eksisterende sikkerhetsarkitekturen, som inkluderer alt fra tradisjonelle filtre til systemer for rapportering og gjennomgang av alvorlig misligheter.
Uansett erstatter ikke omskriving strengere sanksjoner: Hvis atferden overskrider visse grenser, iverksettes fortsatt tiltak som utestengelser, suspensjoner eller eskalering til menneskelige team.AI opererer på første nivå, jevner ut språk og reduserer friksjon, men det er ikke ment som en unnskyldning for å lempe på sikkerhetsstandarder eller som en respons på alvorlig misbruk.
Hvordan AI fungerer for å omskrive meldinger i sanntid
Roblox sitt nye system er avhengig av flere komponenter som går langt utover et enkelt svartelistefilter. Nøkkelen er at AI analyserer den semantiske konteksten til meldingen, ikke bare enkeltord.Dette gjør at den kan forstå forkortelser, dagligdagse uttrykk eller språkblandinger som et grunnleggende filter ville overse eller overblokkere.
Selskapet forklarer at modellen er i stand til å Oppdage variasjoner av støtende språk, inkludert leetspeak og andre vanlige triks for å omgå filtreDenne typen kreativ skriving – å erstatte bokstaver med tall eller symboler, bevisst introdusere feil, blande store og små bokstaver – er vanlig i videospillchatter og er vanligvis marerittet til ethvert statisk modereringssystem.
Ifølge data delt av Roblox har denne arkitekturen tillatt Reduser falske negative tall med en faktor på 20 når du håndterer meldinger som deler eller ber om personlig informasjonMed andre ord oppdager systemet forsøk på å avsløre sensitive data mye oftere enn før, uten å overse dem på grunn av en enkel endring av bokstav eller symbol.
En annen viktig brikke er bevaring av tekstens opprinnelige intensjonAI sletter ikke bare ord; den genererer en alternativ versjon som så langt som mulig opprettholder den meningen brukeren hadde til hensikt, men innenfor plattformens definerte standarder for oppførsel. Fra et teknisk synspunkt bringer dette den nærmere... generative språkmodeller enn klassiske modereringsfiltre.
Alt dette er også integrert med verktøyene til Automatisk oversettelse som Roblox allerede bruker for å koble sammen spillere som snakker forskjellige språkSelskapet oppgir at redesignet er tilgjengelig på språkene plattformen støtter, noe som gjør at de kan utvide denne modereringsmetoden til globale samfunn, inkludert i Europa og Spania, der spillet har en betydelig brukerbase.
En lagdelt sikkerhetsstrategi under intenst regulatorisk press
Den nye omskrivingsfunksjonen dukket ikke opp ut av ingenting. Den er en del av en Roblox sin progressive strategi for å styrke sikkerhet og automatisert modereringSpesielt etter kritikk og søksmål knyttet til barnevern. Plattformen har blitt trukket frem for tilfeller av grooming, upassende innhold og svindel begått i selve spillmiljøet.
De siste årene har selskapet lagt til deler: sanntidsvarsler, mer detaljerte filtre og, nylig, obligatorisk ansiktsverifisering for å få tilgang til visse chatfunksjonerDisse tiltakene har kommet parallelt med rettslige skritt fra diverse amerikanske stater, der riksadvokater har anklaget selskapet for ikke å gjøre nok for å forhindre risikoer for yngre brukere.
I den sammenhengen utplasseringen av en AI som omformulerer meldinger underveis for å holde samtalen innenfor visse høflighetsgrenser Det tolkes også som en beskjed til regulatorer og offentligheten: selskapet prøver å vise at det investerer i teknologi for å begrense misbruk uten å fullstendig deaktivere den sosiale dimensjonen av spillet.
Roblox har understreket at barns sikkerhet fortsatt er det sentrale fokuset i disse beslutningene. Kombinasjonen av aldersverifisering, aldersgruppesegmentering og generativ moderering har som mål å redusere sjansene for at en voksen kommuniserer upassende med mindreårige. eller at personopplysninger deles som kan kompromittere spillernes personvern.
Selskapet har også involvert sine egne TenåringsrådetEt råd bestående av tenåringsbrukere av plattformen ble dannet for å justere AI-ens oppførsel. Målet er at systemet Gjenkjenne slang og vanlige måter å snakke på blant unge mennesker uten å sensurere dem som standardDette er nøkkelen til å forhindre at chatten blir kunstig eller rigid til det punktet at den blir ubrukelig.
Innvirkning på spilleropplevelsen og debatt om ytringsfrihet
Endringen åpner for en interessant debatt om I hvilken grad bør en plattform gripe inn i måten brukerne uttrykker seg på?Fra perspektivet til mange foreldre og foresatte i Spania og resten av Europa kan tiltaket sees på som en lettelse: chatterommet renses for fornærmelser og aggressive uttrykk uten at mindreårige hindres i å koordinere spill eller chatte med venner.
For noen medlemmer av spillmiljøet, derimot, ideen om en AI som omskriver i sanntid det man skriver Dette kan skape betenkeligheter. Selv om systemet bevarer den overordnede intensjonen, er det fortsatt en endring av det opprinnelige budskapet. Denne nyansen kan kollidere med følelsen av ytringsfrihet som mange brukere forbinder med online spillområder, selv når de aksepterer at det finnes grunnleggende regler for oppførsel.
Roblox forsøker å dempe den oppfatningen med to viktige avgjørelser: på den ene siden, å varsle i selve chatten når en melding har blitt omformulertPå den annen side opprettholder den et eget sanksjonsrammeverk for alvorlige tilfeller der omskriving ikke er tilstrekkelig. Det implisitte budskapet er at AI ikke har til hensikt å «legge ord i munnen på noen», men snarere å erstatte spesifikke begreper som er i konflikt med adferdsreglene.
Denne tilnærmingen passer inn i en bredere trend i teknologisektoren: å bevege seg bort fra rent reaktive modereringssystemer (blokkering eller sletting) Andre er mer proaktive og generative, og prøver å styre interaksjoner på en mindre forstyrrende måte. I stedet for å avbryte samtalen, blir den omformulert. I stedet for å kaste brukeren mot en vegg av «blokkerte meldinger», får de vist en akseptabel versjon av hva de ønsket å si.
I spillernes hverdag, spesielt de yngre, vil dette føre til Mer lesbare chatter, med færre avbrudd og færre symbolstrenger.Men det vil også kreve at man lever med et system som synlig «korrigerer» talemønstre. Til syvende og sist vil fortsatt bruk avgjøre om samfunnet oppfatter det som rimelig bistand eller overdreven innblanding.
Implikasjoner for andre plattformer og for det europeiske økosystemet
Selv om bevegelsen oppsto på en global plattform med base i USA, Implikasjonene påvirker direkte utviklere og selskaper i spill og sosiale apper i EuropaEU-forskrifter, med forordningen om digitale tjenester (DSA) i forkant, presser store plattformer til å styrke modereringsmekanismene sine, spesielt når mindreårige er involvert.
Roblox blir dermed en Et praktisk eksempel på hvordan generativ AI kan brukes til å møte høyere sikkerhetskrav uten å ofre brukeropplevelsen fullstendig.For europeiske studioer som utvikler virtuelle verdener, sosiale opplevelser eller spill med integrert chat, kan denne typen tilnærming ende opp med å sette standarden: færre tunghendte filtre og flere systemer som forstår kontekst og omskriver på sparket.
Utrullingen av systemet viser også at Automatisert moderering er ikke lenger eksklusivt for giganter med ubegrensede ressurser.Språkmodeller som er tilgjengelige via API-er – fra kommersielle leverandører eller leverandører av åpen kildekode – tillater replikering av lignende logikk uten å måtte bygge hele teknologistakken fra bunnen av. Utfordringen er ikke bare teknisk, men også designrelatert: å bestemme hva som skal omskrives, hvordan man skal informere brukeren og hva som skal overlates til menneskelig inngripen.
I det europeiske tilfellet er det et tilleggselement: Reguleringsfølsomhet knyttet til behandling av personopplysninger og åpenhet om algoritmerEnhver utrulling av AI-basert moderering må ta hensyn til forpliktelser som å tydelig informere om dens eksistens, tillate en viss grad av klagemuligheter mot automatiserte beslutninger og minimere innsamling av unødvendige data.
Roblox, ved å gjøre omformuleringen synlig i chatten og innramme den som et verktøy for høflighet snarere enn et ugjennomsiktig sensursystem, Det sender et signal om hvor bransjen kan være på vei i årene som kommer.Det er fortsatt uklart om andre store flerspillertitler eller sosiale nettverk vil ta i bruk nøyaktig samme tilnærming, men presset for å kombinere sikkerhet, samsvar med regelverk og en sømløs opplevelse øker.
Med all denne bevegelsen viser plattformen at Kunstig intelligens kan ikke bare brukes til å lage innhold eller karakterer i spill, men også til å moderere og forme interaksjon mellom mennesker i sanntid.Forslaget er ikke uten kontroverser, men det illustrerer treffende den nåværende tilstanden til digitale samfunn: å holde dem levende og engasjerte, samtidig som det reiser flere barrierer mot misbruk, feilinformasjon og risikoer for mindreårige.
Det som skjer med Roblox fungerer til syvende og sist som et barometer for en bredere overgang: Moderasjon slutter å være en synlig bremse og begynner å virke i bakgrunnen, omskrive, korrigere og veilede språket. slik at spillet og samtalen kan fortsette, men innenfor rammer som i økende grad overvåkes av regulatorer, familier og brukere.
