Roblox lanza un sistema de inteligencia artificial de código abierto para proteger a los niños de los depredadores en los chats

Roblox, la plataforma de juegos en línea muy popular entre niños y adolescentes, está lanzando una versión de código abierto de un sistema de inteligencia artificial que, según dice, puede ayudar a detectar de manera preventiva el lenguaje depredador en los chats del juego.

Roblox, la plataforma de juegos en línea muy popular entre niños y adolescentes , está lanzando una versión de código abierto de un sistema de inteligencia artificial que, según dice, puede ayudar a detectar de forma preventiva el lenguaje depredador en los chats del juego.

Esta medida se produce en un momento en que la compañía enfrenta demandas y críticas que la acusan de no hacer lo suficiente para proteger a los niños de los depredadores. Por ejemplo, una demanda presentada el mes pasado en Iowa alega que una niña de 13 años conoció a un depredador adulto en Roblox, quien luego fue secuestrada, traficada y violada en varios estados. La demanda, presentada ante el Tribunal de Distrito de Iowa en el Condado de Polk, afirma que las características de diseño de Roblox convierten a los niños que lo usan en "presa fácil para los pedófilos".

Roblox afirma que se esfuerza por hacer que sus sistemas sean lo más seguros posible de forma predeterminada, pero señala que "ningún sistema es perfecto, y uno de los mayores desafíos en la industria es detectar daños críticos como el posible peligro para los niños".

El sistema de inteligencia artificial, llamado Sentinel, ayuda a detectar señales tempranas de posible peligro para los niños, como el lenguaje sexualmente explotador. Roblox afirma que el sistema ha llevado a la compañía a presentar 1200 denuncias de posibles intentos de explotación infantil al Centro Nacional para Niños Desaparecidos y Explotados en el primer semestre de 2025. La compañía está ahora en proceso de publicarlo en código abierto para que otras plataformas también puedan usarlo.

Detectar de forma preventiva posibles peligros para los niños puede ser complicado para los sistemas de IA, y también para los humanos, porque las conversaciones pueden parecer inofensivas al principio. Preguntas como "¿cuántos años tienes?" o "¿de dónde eres?" no necesariamente son una señal de alerta por sí solas, pero al contextualizarlas durante una conversación más larga, pueden adquirir un significado diferente.

Roblox, que tiene más de 111 millones de usuarios mensuales, no permite a los usuarios compartir vídeos o imágenes en los chats e intenta bloquear cualquier información personal como números de teléfono, aunque (como ocurre con la mayoría de las reglas de moderación) la gente constantemente encuentra formas de eludir dichas salvaguardas.

Tampoco permite que los niños menores de 13 años chateen con otros usuarios fuera de los juegos a menos que tengan permiso explícito de sus padres y, a diferencia de muchas otras plataformas, no cifra las conversaciones de chat privadas, por lo que puede monitorearlas y moderarlas.

“Siempre hemos tenido filtros, pero estos tienden a centrarse en lo que se dice en una sola línea de texto o en pocas. Y eso es muy útil para bloquear lenguaje grosero, lenguaje abusivo y cosas por el estilo”, dijo Matt Kaufman, director de seguridad de Roblox. “Pero cuando se piensa en cuestiones relacionadas con la puesta en peligro de menores o el acoso, los tipos de comportamiento que se observan se manifiestan durante un período muy largo”.

Sentinel captura instantáneas de un minuto de los chats de Roblox (unos 6 mil millones de mensajes al día) y los analiza para detectar posibles daños. Para ello, Roblox afirma haber desarrollado dos índices: uno compuesto por mensajes benignos y el otro por chats que se determinó que contenían infracciones que ponían en peligro a menores. Roblox afirma que esto permite al sistema reconocer patrones dañinos que van más allá de simplemente marcar ciertas palabras o frases, contextualizando toda la conversación.

"Ese índice mejora a medida que detectamos más actores maliciosos; simplemente lo actualizamos continuamente. Así tenemos otra muestra de lo que hace un usuario normal", dijo Naren Koneru, vicepresidente de ingeniería para la confianza y la seguridad de Roblox.

Mientras los usuarios chatean, el sistema lleva la puntuación: ¿están más cerca del grupo positivo o del grupo negativo?

“No ocurre con un solo mensaje porque solo envías uno, sino porque todas tus interacciones diarias se dirigen a uno de estos dos”, dijo Koneru. “Entonces decimos: bueno, quizás este usuario sea alguien a quien debemos analizar con más detalle, y luego recopilamos todas sus demás conversaciones, otros amigos, los juegos a los que jugó, y todo eso”.

Los humanos revisan las interacciones riesgosas y las señalan a las autoridades correspondientes.