Deepfakes

Vivimos en una era en la que la inteligencia artificial (IA) ha empezado a impregnar todos los aspectos de nuestra vida cotidiana, desde los asistentes de voz hasta los coches autoconducidos. Aunque la IA puede beneficiar a algunos, como todas las tecnologías nuevas y emergentes, también ha sido adoptada por los ciberdelincuentes para una amplia variedad de usos maliciosos.

Un ejemplo de ello son los deepfakes, un término acuñado en 2017. Los deepfakes son medios digitales sintéticos muy realistas y convincentes creados por IA generativa mediante técnicas de aprendizaje automático, redes generativas adversariales, modelos de difusión y grandes modelos de lenguaje (LLM), o una combinación de ambos. El resultado suele ser vídeo, imágenes fijas o audio. Aunque los deepfakes se utilizan a menudo como entretenimiento y con fines creativos o artísticos, también son utilizados deliberadamente por personas malintencionadas para engañar a través de ciberdelitos, estafas en línea, desinformación política, etc.

Aunque el arte de crear contenidos digitales falsos dista mucho de ser nuevo, la rápida difusión de esta nueva y poderosa tecnología y su accesibilidad plantean profundas preocupaciones éticas. La capacidad de la IA para impulsar sofisticadas campañas de desinformación y perpetuar muchos otros ciberdelitos que afectan a personas reales, como el robo de identidad y el fraude en línea, está erosionando rápidamente la confianza pública y privada en nuestro mundo cada vez más interconectado.

En este informe, nos sumergiremos en la tecnología deepfake, debatiremos su evolución y riesgos, mitigaciones y retos de gobernanza, y examinaremos la cornucopia de desafíos que plantea a la sociedad y cómo nosotros, como defensores, podemos combatirlos en el futuro. Nuestro objetivo es informar a los líderes que se enfrentan a este complejo problema, centrándonos en la ética, la transparencia y la capacitación de los usuarios.

¿Qué es un Deepfake?

Un deepfake es un medio de comunicación simulado o alterado digitalmente, creado mediante potentes algoritmos basados en IA para generar contenidos multimedia hiperrealistas. Este contenido artificial puede adoptar muchas formas, desde audio convincente e imágenes fotorrealistas hasta vídeo realista. La aplicación más común de los deepfakes consiste en sustituir de forma perfecta y convincente la imagen digital de una persona por la de otra.

La forma más habitual de hacerlo es sustituir la cara o la voz de un actor por la de una persona famosa, como un actor o un político conocido, con fines de entretenimiento o sátira, pero también se puede robar la imagen de una persona "normal". Esta imagen falsa puede utilizarse para facilitar campañas de ciberacoso, noticias falsas, fraudes financieros, desinformación, etc.

¿Qué es la inteligencia artificial?

La inteligencia artificial en sí no es nueva. Tecnologías como el aprendizaje automático, las redes neuronales, la visión por ordenador, etc. existen desde hace años. Normalmente utilizan algoritmos, que son conjuntos de expresiones definidas matemáticamente y destinadas a resolver una clase de problemas específicos basados en datos. Cada vez que se conecta a Internet y ve un anuncio personalizado, se desplaza por su feed de Facebook, ve una línea de texto predictivo en un smartphone o hace clic en un vídeo recomendado en YouTube, está viendo trabajar algoritmos basados en IA.

El aprendizaje automático es un subcampo de la IA que confiere a los ordenadores la capacidad de aprender a partir de contenidos existentes sin necesidad de ser programados explícitamente por humanos. El aprendizaje automático no crea nada nuevo por sí mismo, sólo aplica un razonamiento probabilístico basado en lo que ha aprendido previamente sobre las relaciones entre todos los datos disponibles. Por ejemplo, puede parecer magia cuando usted adquiere un nuevo perro y de repente le bombardean con anuncios online de productos para perros, pero no lo es. Los algoritmos de aprendizaje automático simplemente se han dado cuenta de que usted ha estado viendo muchos vídeos de adiestramiento de cachorros, han deducido que ahora tiene un perro y han llegado a la conclusión lógica de que ahora podría querer comprar productos para perros. Este tipo de sistema de aprendizaje automático se llama motor de recomendación.

La IA generativa, por su parte, es un tipo de inteligencia artificial que genera contenidos nuevos y originales, utilizando técnicas probabilísticas para generar contenidos que muy probablemente sean la mejor respuesta a la solicitud o pregunta. Incluso aprende de forma similar a como aprendemos nosotros. Las aplicaciones de IA generativa pueden generar texto, imágenes, código informático y muchos otros tipos de datos sintéticos. Todas las aplicaciones de IA generativa se construyen utilizando modelos de base y grandes modelos de lenguaje:

  • Los modelos básicos son grandes modelos de aprendizaje automático que se entrenan previamente y luego se ajustan para tareas más específicas de comprensión y generación de lenguaje. Una vez entrenados, los desarrolladores pueden ajustar los modelos básicos para especializarlos en distintas tareas, como la comprensión de textos médicos, la traducción de idiomas, la escritura de código o la poesía. Al igual que unos cimientos sólidos sostienen un edificio, estos modelos proporcionan una base sólida de conocimientos para los sistemas de IA.

  • Los grandes modelos lingüísticos son modelos de aprendizaje profundo entrenados en enormes conjuntos de datos (en algunos casos, en miles de millones de páginas de texto) para manejar diferentes tipos de tareas de procesamiento del lenguaje. Pueden recibir una entrada de texto de un usuario humano y producir una salida de texto que imita el lenguaje humano natural cotidiano.

Los modelos Foundation y los LLM se combinan para generar resultados que consideran estadísticamente probables a partir de una entrada introducida por un ser humano. Pueden hacer todo tipo de cosas que antes solo hacían los cerebros orgánicos, como inferir significados a partir del contexto, dar respuestas contextualmente relevantes a preguntas, resumir textos e incluso realizar tareas de escritura creativa.

La capacidad de recibir entradas y producir salidas en lenguaje humano natural es un gran paso adelante en la historia de la informática, que tradicionalmente se ha visto lastrada por la necesidad del ordenador de un lenguaje o unos comandos muy específicos. Cuando los humanos interactúan con programas informáticos, normalmente se requiere un cierto nivel de destreza tecnológica, como la capacidad de escribir en código informático o conocer una lista de comandos específicos. En cambio, cualquiera que sepa escribir en su lengua materna puede comunicarse con un LLM y pedirle que genere una salida. Los LLM han aprendido tan bien los patrones y estructuras del lenguaje que pueden predecir qué palabras deben seguir en una frase, y pueden escribir tan bien que sus resultados parecen escritos por un ser humano.

Los LLM utilizan redes neuronales artificiales que funcionan de forma similar a la mente humana. Permiten a los ordenadores aprender de ejemplos y tomar decisiones basadas en ese aprendizaje, igual que hacemos nosotros. Y al igual que los cerebros humanos, pueden elegir entre miles de millones o billones de conexiones potenciales para deducir una salida a partir de una entrada.

En lugar de utilizar líneas de código para decirles cómo hacerlo, se les "entrena" de forma muy parecida a como se entrenaría a un cachorro o a un bebé humano. A un bebé no se le da un manual de instrucciones que le diga cómo hablar, ni se sienta a recibir lecciones tradicionales de lenguaje. Lo que hace es escuchar hablar a los adultos y, con el tiempo, relacionar determinados patrones de sonido con significados específicos. En pocos años pasa de balbuceos sin sentido a simples intentos de pronunciar palabras como "papá", a producir palabras completas y a encadenarlas en frases más complejas.

Del mismo modo, las redes neuronales permiten a los programas basados en IA detectar patrones en grandes volúmenes de datos. Durante el entrenamiento, la versión de IA, también conocida como modelo, se alimenta de grandes cantidades de datos relacionados con el resultado deseado; en el caso de los LLM, se alimentan de lenguaje humano, normalmente tomado de Internet. El objetivo del entrenamiento es producir un modelo ML capaz de entender y responder a cualquier pregunta que se le formule.

El modelo ML se entrena de una o varias de estas maneras:

  • Aprendizaje supervisado: En este tipo de aprendizaje, los modelos de ML reciben datos etiquetados específicamente por humanos. Por ejemplo, un algoritmo de ML desarrollado para identificar la imagen de un gato puede recibir millones de fotos de gatos de todas las razas, colores, formas y tamaños, cada una de ellas etiquetada como "gato". La IA busca patrones comunes en estas imágenes, como que el sujeto tenga cuatro patas, bigotes y orejas puntiagudas. Con el tiempo, y gracias a los comentarios de los humanos, aprende exactamente qué hace que un gato sea un gato.

  • Aprendizaje no supervisado: En este caso, se pide al modelo ML que busque patrones únicos en datos no etiquetados. Este tipo de aprendizaje puede producir resultados interesantes porque puede encontrar patrones que no se le pidió explícitamente que buscara. Por ejemplo, puede analizar todos los libros blancos que se han escrito sobre física teórica y encontrar un agujero en una teoría que los científicos humanos no han detectado.

  • Aprendizaje por refuerzo: Este tipo de entrenamiento utiliza el ensayo y error para tomar la mejor acción mediante un sistema de recompensas. En el aprendizaje por refuerzo, los humanos indican al modelo cuándo ha tomado las decisiones correctas, lo que le ayuda a aprender con el tiempo qué acciones debe realizar.

  • Ajuste fino: Se trata de un tipo de refinamiento del entrenamiento genérico realizado por humanos para asegurarse de que el modelo de IA produce el mejor resultado posible en respuesta a una entrada. Al igual que un equipo de Fórmula 1™ intenta optimizar su coche aumentando la potencia, estilizando la forma de la carrocería o reduciendo la resistencia, el desarrollador humano retoca iterativamente el modelo de inteligencia artificial para ajustar con mayor precisión su rendimiento.

  • Nivel de madurez: Cuanto más tiempo lleve existiendo el modelo ML y más entrenamiento haya tenido, más "maduro" se dice que es. Este nivel de madurez no solo se aplica a los LLM, sino a todo tipo de modelos de IA.

A modo de advertencia, es importante entender que, aunque los resultados de los LLM y otros modelos similares puedan parecer muy convincentes, pueden generar resultados inexactos. Dado que estos modelos se entrenan con datos del mundo real extraídos de Internet, libros, periódicos, etc., pueden absorber los prejuicios de la sociedad, lo que puede dar lugar a resultados negativos en todos los campos, desde la sanidad a los recursos humanos. También pueden "alucinar", un fenómeno en el que una red neuronal LLM o de IA genera involuntariamente resultados que se desvían de la realidad. Estas alucinaciones pueden adoptar muchas formas, desde textos sin sentido hasta imágenes inexactas.

¿Qué es la inteligencia artificial?

Tipos de IA generativa

Uno de los aspectos más sorprendentes de los modelos generativos de IA es su versatilidad. Cuando reciben suficientes datos de entrenamiento de alta calidad, los modelos maduros pueden producir resultados que se aproximan a la creatividad humana. Por ejemplo, pueden escribir poemas u obras de teatro, debatir casos jurídicos, aportar ideas sobre un tema determinado, escribir código informático o música, redactar una tesis de licenciatura, elaborar planes de estudio para una clase de secundaria, etcétera. El único límite actual a su uso es (irónicamente) la imaginación humana.

El mercado más amplio de software basado en IA y sistemas asociados está creciendo tan rápidamente como el interés público por ellos. Según una reciente hoja informativa sobre ciberseguridad -publicada en colaboración entre el FBI, la Agencia de Seguridad Nacional y la Agencia de Ciberseguridad y Seguridad de las Infraestructuras (CISA)-, se espera que el mercado de la IA generativa supere los 100.000 millones de dólares en 2030 y crezca a un ritmo superior al 35% anual.

Algunos tipos de modelos generativos de IA son

Texto a texto

Hace exactamente lo que pone en la caja. Las aplicaciones de IA generativa basadas en texto reciben el texto del usuario y "responden" en un lenguaje humano natural. ChatGPT es un ejemplo de este tipo de generador, basado en la arquitectura GPT (Generative Pre-trained Transformer) de OpenAI. El texto introducido en un cuadro de diálogo de IA generativa se denomina prompt.

Texto a imagen

Los generadores de texto a imagen permiten al usuario escribir una frase descriptiva, y el modelo de IA generará automáticamente una imagen como respuesta. Por ejemplo, el usuario puede pedirle que cree una imagen de un gato patinando o de Einstein sentado en un banco de París comiendo fideos. Midjourney, DALL-E y Stable Diffusion son ejemplos de generadores de texto a imagen basados en IA. El usuario puede pedir al generador que cree una imagen utilizando cualquier parámetro utilizado por un artista tradicional, como un estilo, un estado de ánimo o una paleta de colores concretos.

Imagen a imagen

Estos tipos de IA generativa pueden manipular imágenes de muy diversas formas artísticas. Además de generar imágenes a partir de un texto, también permiten al usuario cargar sus propias imágenes en el generador. Allí pueden realizar manipulaciones más complejas, como combinar distintas imágenes para producir un compuesto. Adobe Firefly (actualmente en fase de prueba beta pública) es un ejemplo de este tipo de modelo, entrenado con imágenes de dominio público, Creative Commons, Wikimedia Commons y Flickr Commons, así como con la amplia colección de imágenes con licencia de la propia empresa a través de su servicio Adobe Stock.

Texto a vídeo

Los nuevos modelos de IA generativa pueden incluso generar vídeos a partir de un texto. En febrero de 2024, la organización de investigación OpenAI presentó un nuevo tipo de sistema capaz de generar vídeos realistas a partir de mensajes de texto. El sistema de IA, apodado Sora, puede crear rápidamente vídeos cortos que representen "escenas complejas con múltiples personajes, tipos específicos de movimiento y detalles precisos del sujeto y el fondo". La cobertura informativa del lanzamiento del producto especula con que el nuevo sistema podría avivar la preocupación por la posibilidad de que la IA difunda información errónea, sobre todo en el próximo año electoral.

Imagen a vídeo

En abril de 2024, Microsoft presentó VASA-1, un modelo de IA capaz de generar un vídeo de una persona hablando a partir de una sola imagen más una pista de audio de su voz. El marco VASA, acrónimo de "Visual Affective Skills Animator" (animador de habilidades visuales afectivas), utiliza ML para generar un vídeo fluido y realista junto con expresiones faciales, movimientos de cabeza y sincronización labial con el audio existente. Los investigadores entrenaron VASA-1 con un conjunto de datos que contenía más de un millón de expresiones de 6.112 famosos, extraídas de vídeos de YouTube. Por ahora, el genio permanecerá en la botella, según el sitio web de Microsoft, que afirma: "No tenemos previsto publicar una demostración en línea, una API, un producto, detalles adicionales de implementación ni ninguna oferta relacionada hasta que estemos seguros de que la tecnología se utilizará de forma responsable y de acuerdo con la normativa adecuada."

Tipos de IA generativa
Figura 1: El texto introducido en un cuadro de diálogo de IA generativa se conoce como prompt.

Deepfakes en los medios comerciales

A medida que los deepfakes se generalizan, un paso importante en la evolución de los deepfakes es la capacidad de crear un vídeo deepfake utilizando IA generativa.

Los grandes estudios de Hollywood ya utilizan efectos visuales basados en IA de muchas formas creativas, como la recreación de personajes históricos famosos o el rejuvenecimiento de un actor mayor. Por ejemplo, la última película de "Indiana Jones" utilizó la tecnología patentada "FaceSwap" para que el actor de 82 años Harrison Ford volviera a parecer joven en una escena retrospectiva de 25 minutos.

La industria musical también se ha subido con entusiasmo al tren de la IA con su software "vocalswap". Aunque las leyes han impedido hasta ahora el uso comercial de la tecnología, los aficionados a la música y los artistas pueden ahora utilizar la tecnología generativa para muestrear la voz de un personaje famoso (vivo o muerto) y utilizarla para generar una pista en la que aparezca "cantando" una canción que nunca cantó en la vida real, con resultados a menudo controvertidos.

Antes de profundizar en las aplicaciones reales de los deepfakes, veamos más de cerca cómo se crean.

Creación de falsificaciones faciales

Los deepfakes faciales, tanto fijos como en movimiento, pueden generarse utilizando una plétora de herramientas de software de IA generativa, como DeepFaceLab, Reface AI y DeepBrain AI. Cada herramienta de software tiene capacidades diferentes; por ejemplo, Deep Nostalgia Ai es una aplicación creada por MyHeritage que utiliza visión por ordenador y aprendizaje profundo para animar fotos de tus antepasados o personajes históricos. A medida que estos modelos mejoran, también lo hacen sus resultados. Las imágenes falsas generadas por estas herramientas se han vuelto inquietantemente realistas y creíbles gracias a su facilidad de acceso y baja barrera de entrada.

Estas aplicaciones también ofrecen sustitución facial e intercambio de cabezas, donde los algoritmos de IA analizan meticulosamente y replican los rasgos faciales para superponer la cara de una persona a otra. Esta técnica utiliza modelos de datos de aprendizaje profundo para lograrlo, manipulando la apariencia de un objetivo en un medio digital existente con la semejanza de otra persona.

El proceso de generación de una deepfake facial puede desglosarse en estos pasos:

Recogida de datos: Para generar un deepfake, el creador debe obtener primero imágenes digitales claras o vídeos de los rostros de origen y destino. Se necesita una gran cantidad de datos para entrenar los modelos subyacentes y lograr un resultado de alta calidad. Por este motivo, las figuras públicas y los famosos suelen ser los objetivos más fáciles de las creaciones deepfake, debido a la gran cantidad de datos digitales fácilmente disponibles en el dominio público.

Creación de falsificaciones faciales
Figura 2: El preprocesamiento se activa para generar datos para deepfakes.
Preprocesamiento: La cara de cada persona es única, con sutiles puntos de referencia y rasgos faciales como la distancia entre los ojos, la forma de la boca y la nariz, etcétera. En el preprocesamiento, estos rasgos se extraen y se convierten en datos. A continuación, estos datos pueden mapearse digitalmente para formar diversos nodos geométricos que representan el rostro de la persona.
Figura 3: La referencia geométrica de los alambres humanos representa los rasgos faciales en una serie de formas geométricas o polígonos.

Entrenamiento de modelos: La creación de un deepfake convincente se basa en el juego entre modelos generativos opuestos, en particular los que componen las redes generativas adversariales (GAN). Las GAN constan de dos redes neuronales: el "Generador" y el "Discriminador".

Como su nombre indica, el objetivo del Generador es generar contenidos falsos para alimentar al Discriminador, que utiliza una lógica automática preprogramada para evaluar si el contenido es real o falso. Mediante el entrenamiento iterativo, es decir, la práctica, el Generador mejora constantemente su capacidad de crear contenidos más realistas, y el Discriminador, a su vez, mejora a la hora de distinguir lo real de lo falso. Este proceso hace que el deepfake resultante sea cada vez más realista con cada repetición del procesamiento.

Figura 4: Esquema de la red generativa adversarial (GAN).

Ajuste: Tras el periodo de entrenamiento inicial, el modelo puede afinarse utilizando datos adicionales para mejorar la calidad del contenido generado y hacerlo más convincente. Si se desea, pueden tomarse otras medidas para mejorar la autenticidad de un deepfake con la aplicación de tiempo de computación, recursos y potencia.

Intercambio de caras: El modelo entrenado se aplica a la imagen o vídeo de destino. El modelo intenta mapear con precisión los rasgos faciales de la persona de origen en la persona de destino. Esto puede crear un intercambio perfecto y realista si se hace con suficiente cuidado y entrenamiento del modelo.

Postprocesamiento: El objetivo general de un deepfake es hacer que el medio "falso" sea creíble para el ojo humano. Para aumentar el realismo de un deepfake, se puede utilizar el posprocesamiento para editar el resultado final de un generador de modelos deepfake. El suavizado adicional de píxeles, el ajuste de la iluminación y el refinamiento cuidadoso de los detalles pueden utilizarse para mejorar la calidad general y la naturaleza realista de un deepfake.

Resultado: El resultado de los procesos anteriores es una sustitución convincente del objetivo inicial por la imagen de la víctima, hasta el punto de que el resultado puede ser totalmente convincente para alguien que vea la grabación o la imagen por primera vez, sin saber que es falsa. Este engaño puede aprovecharse con fines de entretenimiento, pero también puede ser utilizado como arma por los ciberdelincuentes y los partidos políticos.

La inteligencia artificial generativa y la ética de los deepfakes

Mediante el uso de la inteligencia artificial generativa (GAI), ahora es posible comprar programas informáticos que permiten crear vídeos deepfake tan reales que a una persona normal le puede resultar difícil distinguirlos de los vídeos reales. También hay programas que permiten realizar lo que se conoce como un intercambio de "vídeo a vídeo", en el que el software graba tu voz y expresiones faciales y las sustituye por la voz y la cara de otra persona, a través de miles o incluso millones de puntos de datos capturados. Los programas más recientes son lo bastante potentes como para hacer esto en tiempo real, lo que abre la puerta a todo tipo de escenarios alarmantes, como las estafas por videollamadas "deepfake".

Además, con un conjunto de datos de entrenamiento lo suficientemente amplio, se puede aprovechar el software de "deepfake" o "deep-voice" basado en audio para generar no sólo el habla, sino también los matices emocionales, el tono y la entonación para imitar fielmente la voz objetivo. Recientemente, se han clonado las voces de muchas figuras políticas y famosos para fabricar declaraciones falsas o promover información errónea sin su conocimiento o permiso. Aunque algunas se han generado con fines de sátira y parodia, el potencial de abuso de tales manipulaciones es profundo y no puede ignorarse.

Entre los ejemplos de problemas éticos cabe citar la difusión de falsas narrativas y los intentos de incitar a la agitación civil y dañar la percepción pública o la reputación de las víctimas objetivo. Algunos ejemplos recientes son Hillary Clinton y el presidente Joe Biden, así como otras figuras políticas en las próximas elecciones presidenciales estadounidenses de 2024.

Esto también se ha visto recientemente en la política británica, cuando se utilizó una campaña de falsa bandera contra el alcalde de Londres, Sadiq Khan, a finales de 2023. Se fabricó un clip de audio con voz grave y se publicó en las redes sociales en el que supuestamente aparecía sugiriendo la reprogramación del Día del Armisticio para dar cabida a una protesta propalestina. Aunque la Policía Metropolitana de Londres examinó la situación y determinó que la creación y distribución del clip no constituía un delito, el Sr. Khan dijo que estaba claro que la intención había sido "sembrar semillas de odio y división".

Control de los "deepfakes" en línea

Deepfakes en las redes sociales

Aunque plataformas de redes sociales como Facebook y X (antes Twitter) han hecho avances para eliminar e incluso prohibir los contenidos deepfake, el control y la eficacia varían debido a las dificultades inherentes a la implantación de sistemas de detección de deepfakes. En otras palabras, si un ser humano tiene dificultades para distinguir un vídeo deepfake de uno real, los sistemas automatizados también tendrán dificultades.

En 2023, el presidente Joe Biden trabajó para conseguir que las principales empresas de IA se comprometieran a poner una marca de agua a los contenidos generados por IA, y las empresas tecnológicas colaboran ahora en el desarrollo de normas para la marca de agua. Aunque actualmente se trata de un proceso voluntario, hacerlo obligatorio por ley sería un paso positivo en la batalla contra el engaño asistido por IA. Por supuesto, los grupos criminales no van a cumplir ninguna legislación de este tipo. En septiembre de 2023, el senador republicano por Nebraska Pete Ricketts creó un proyecto de ley que exigiría la marca de agua de los contenidos generados por IA, pero puede que esto no sea suficiente porque las marcas de agua se eliminan fácilmente con software de edición.

Deborah Johnson, ex profesora emérita de Ética Aplicada de la Universidad de Virginia, afirma que estamos entrando en aguas muy turbias.

"Los deepfakes forman parte de un problema mayor, el de la desinformación, que mina la confianza en las instituciones y en la experiencia visual: ya no podemos fiarnos de lo que vemos y oímos en Internet. El etiquetado es probablemente la forma más sencilla e importante de contrarrestar los deepfakes: si los espectadores son conscientes de que lo que están viendo ha sido fabricado, es menos probable que se dejen engañar."

Control de los "deepfakes" en línea
Figura 5: Las empresas de IA están colaborando en el desarrollo de normas para la marca de agua de las falsificaciones profundas, aunque la tecnología para hacerlo aún está lejos de estar madura.

El uso cibercriminal de los deepfakes

Ejemplos de ataques Deepfake

Cuando se combina una sofisticada captura de movimiento de vídeo en tiempo real con audio deepfake, los resultados pueden ser tan convincentes que hasta el más escéptico de nosotros puede quedar convencido. En febrero de 2024, un trabajador financiero de una multinacional fue engañado para que iniciara un pago de 25 millones de dólares a unos estafadores, que utilizaron tecnología deepfake para hacerse pasar por el director financiero de la empresa. Según la policía de Hong Kong, el trabajador asistió a una videoconferencia con lo que él creía que eran miembros reales del personal, pero que en realidad eran todos deepfakes.

En un principio, el trabajador había sospechado de un mensaje que parecía proceder del director financiero de la empresa, en el que solicitaba que se llevara a cabo una transacción secreta. Sin embargo, el trabajador dejó de lado sus dudas tras la videollamada porque otras personas que habían asistido tenían el mismo aspecto y sonaban igual que empleados que él reconocía.

Éste es sólo el último de una serie de casos recientes en los que los estafadores han utilizado la tecnología más avanzada para reforzar uno de los trucos más antiguos: el arte de la estafa. Las autoridades de todo el mundo han advertido de que el único límite para que estos actos lleguen a ser tan retorcidos es la imaginación de los estafadores.

Sus tácticas pueden incluir alguna o todas las siguientes:

Fraude y usurpación de identidad

El sutil arte de la estafa se ha ido refinando y redefiniendo a lo largo de los milenios, pero el nacimiento de Internet ha permitido que el fraude digital se convierta en una amenaza persistente. Desde los correos electrónicos de phishing hasta las ventanas emergentes de los sitios web, cada vez es más barato y fácil cometer ciberdelitos y el riesgo de ser descubierto es comparativamente pequeño.

Según el Centro de Recursos contra el Robo de Identidad (ITRC, por sus siglas en inglés), una organización sin ánimo de lucro reconocida a nivel nacional que apoya a las víctimas de delitos de identidad, casi 234 millones de personas se vieron afectadas por algún tipo de compromiso de datos en Estados Unidos en los tres primeros trimestres de 2023. La Red Centinela del Consumidor de la Comisión Federal de Comercio (FTC) recibió más de 5,39 millones de denuncias en 2023, de las cuales el 48% fueron por fraude y el 19% por usurpación de identidad. El fraude con tarjetas de crédito representó aproximadamente el 40% de los casos de fraude, seguido de cerca por el robo de identidad con un 25%, una estadística que incluye el fraude en compras en línea y cuentas de pago, fraude por correo electrónico y redes sociales, y otros tipos diversos de robo de identidad.

Por lo general, las estafas en línea se aprovechan de la supuesta debilidad y susceptibilidad del individuo al que van dirigidas. En décadas anteriores, los estafadores de Internet echaban las redes más amplias posibles para embaucar a las masas, como en el caso del malspam (spam con malware), pero a medida que las tendencias digitales han evolucionado, también lo han hecho las tácticas y técnicas de los estafadores en línea. Los deepfakes pueden ser el punto de inflexión del juego de la ingeniería social, ya que permiten a los estafadores centrarse en un individuo concreto por una fracción del precio anterior.

Estafas Deepfake

En el mundo de las redes sociales y el consumo digital, la publicidad, el marketing y la promoción de marcas desempeñan un papel fundamental en la percepción que tienen los consumidores de un nuevo producto o servicio. Sin embargo, en el campo de la promoción digital se ha producido un fuerte aumento del uso ilícito de deepfakes de famosos y personalidades de Internet. Como uno de tantos ejemplos, en octubre de 2023, Tom Hanks volvió a publicar en su cuenta de Instagram un vídeo que parecía ser trending y en el que aparecía promocionando un plan dental, junto con un mensaje a sus seguidores en el que advertía: "CUIDADO... No tengo nada que ver con esto".

Incluso antes de que aparecieran los deepfakes, innumerables famosos han aprovechado su imagen para promocionar servicios y productos fraudulentos sin su conocimiento o permiso. Elon Musk, uno de los rostros más conocidos del mundo, es víctima habitual de estafadores. El consejero delegado de Tesla y SpaceX es bien conocido por su fascinación por las criptomonedas, que ha sido utilizada en el pasado para crear deepfakes creíbles que promocionan estafas de criptomonedas. Estos sitios de phishing engañan a las víctimas para que hagan clic en enlaces o creen cuentas, tras lo cual el estafador les despoja hábilmente de sus credenciales financieras y de cualquier exceso de dinero que puedan tener en sus criptocarteras.

Estafas Deepfake
Figura 6: Las autoridades de todo el mundo han advertido de que el único límite a las estafas de deepfake es la imaginación de los estafadores.

AI Generativa Llamadas fraudulentas

Las llamadas robóticas y fraudulentas son una amenaza constante, más allá de su factor de molestia. Según las últimas estadísticas de Truecaller, en los 12 meses comprendidos entre abril de 2023 y marzo de 2024, se calcula que los estadounidenses perdieron 219 millones de horas debido a estafas y robo-llamadas, y perdieron un total de 25.400 millones de dólares estadounidenses. La mayoría de las estafas estaban relacionadas con el fraude de tarjetas de crédito, el robo de identidad, el fraude de Medicare y de seguros, y el fraude de cobro de deudas, con una pérdida media por víctima de 452 USD. La empresa señaló: "La Inteligencia Artificial se está utilizando cada vez más para hacer estas llamadas de estafa y guionizar textos de estafa, haciéndolos sonar más realistas y eficaces."

El informe 2024 de Truecaller sobre spam y estafas añade que, en los últimos 12 meses, las tácticas de estafa han pasado de campañas de robocall a gran escala a "ataques de spearphishing más sofisticados, impulsados por IA, que son muy específicos y contextualmente relevantes. Estas campañas dirigidas con precisión suponen una amenaza significativa debido a su eficacia... y tienen el potencial de explotar la mayor focalización móvil asociada a los ciclos electorales".

A medida que mejore el software de alteración de voz de voz profunda y de IA generativa, es probable que estas herramientas se utilicen con más frecuencia en ataques más selectivos. Debido a la naturaleza común de este tipo de estafa de bajo nivel, la mayoría de nosotros estamos ahora mejor informados y somos capaces de identificar las señales de alarma cuando nos involucramos inadvertidamente con este tipo de estafadores.

Sin embargo, una voz falsa generada de forma más creíble podría mejorar enormemente el porcentaje de éxito de quienes pretenden acceder a la información personal identificable de la víctima o hacerse con su cuenta. El objetivo de un ataque de toma de control de cuenta (ATO), como los utilizados habitualmente en los ataques de intercambio de SIM, es hacerse con el control del teléfono móvil de la víctima para acceder a cualquier servicio que le pertenezca y que dependa de la autenticación multifactor (MFA), como los servicios bancarios u otros servicios financieros.

Fraude de voz profunda

En los últimos años, el compromiso del correo electrónico empresarial (BEC) ha sido una forma probada de infiltrarse en una organización víctima. El atacante aprovecha la condición de "persona de confianza" de la cuenta comprometida para cometer fraude. Sin embargo, el fraude de audio deepfake es un fenómeno relativamente nuevo. Una amplia gama de nuevas empresas tecnológicas están produciendo tecnologías de voz basadas en IA cada vez más sofisticadas, como la canadiense Resemble AI, la londinense Aflorithmic y la ucraniana Respeecher.

El uso de IA de voz generativa ha reducido la barrera de entrada para crear modelos de voz más realistas y avanzados, hasta el punto de que el engaño y las solicitudes fraudulentas son más difíciles de detectar. Aunque la suplantación de voz y otros trucos de audio no son en absoluto una tecnología nueva, la tecnología de voz profunda puede ahora clonar una voz hasta un grado casi indistinguible de la persona real.

Esta superficie de ciberataque recientemente ampliada es ahora una amenaza muy real para empresas de todos los tamaños. Un ejemplo sería un atacante que clonara la voz de un director general utilizando muestras de su voz encontradas en Internet. Muchos ejecutivos tienen entrevistas o presentaciones en su canal corporativo de YouTube. A continuación, el atacante llama por teléfono al departamento financiero de la empresa y pide que se inicie una transferencia fraudulenta utilizando la voz falsa del CEO. En combinación con generadores de números de teléfono falsos, esto puede dar lugar a que una empresa sea estafada con grandes sumas de dinero.

Esto ocurrió de forma muy real en 2021, cuando una empresa japonesa recibió una demanda aparentemente legítima de un director de su empresa matriz para que autorizara una transferencia de casi 35 millones de dólares. Conociendo la voz del director y acostumbrado a este tipo de demandas, el director de la sucursal liberó la financiación.

Aunque programas de televisión como la serie de ciencia ficción"Black Mirror" ya han empezado a explorar la naturaleza profundamente inquietante de esta tecnología a escala corporativa, experimentar personalmente los trucos de audio en nuestra vida cotidiana rompe una barrera de confianza nunca vista. Los que crecimos viendo trucos de magia en el circo o en la televisión ya sabemos que a menudo no podemos creer lo que ven nuestros ojos, pero puede que como sociedad tardemos más en darnos cuenta de que ya no podemos confiar en nuestros oídos.

Fraude de voz profunda
Figura 7: El uso de IA de voz generativa ha reducido la barrera de entrada para crear modelos de voz más realistas y avanzados.

Ciberacoso

El uso de imágenes y audio deepfake de una persona real sin su conocimiento para cometer delitos, fraudes o destrucción maliciosa se ha convertido en un fenómeno generalizado en los últimos años. Cada vez más, y de forma preocupante, también se abusa de la tecnología deepfake para crear material de explotación sin el consentimiento de la víctima.

La técnica de superponer la cabeza de una persona sobre el cuerpo de otra mediante software deepfake para crear material inapropiado para adultos ya está muy extendida. Dado que muchos de nosotros compartimos habitualmente gran parte de nuestra vida personal en línea a través de redes sociales como Facebook y YouTube, el adulto medio tiene ahora más fotos, vídeos y audio suyos a disposición del público que nunca, para que cualquiera pueda copiarlos para sus propios fines maliciosos.

A menudo se rechaza la preocupación por la privacidad: "¿Por qué preocuparse si no tengo nada que ocultar?". Sin embargo, para los individuos malintencionados que buscan ciberacoso o chantaje financiero, esta abundancia de material fuente de libre acceso les da todo lo que necesitan para crear y difundir un vídeo realista que el sujeto pagaría lo que fuera por que se borrara.

Una nueva y preocupante tendencia que llega al ciclo de noticias en 2024 es el número de incidentes denunciados en los que adolescentes utilizan software basado en IA para generar fotos sin ropa de sus compañeros de clase o profesores. El problema se ha convertido en una epidemia entre las adolescentes estadounidenses, según The New York Times. Aunque a menudo los padres o profesores lo consideran una "transgresión juvenil", se está convirtiendo en una inquietante extensión del ciberacoso. Estas imágenes pueden tener consecuencias que alteren la vida de las jóvenes víctimas.

Ciberacoso
Figura 8: Los actores malintencionados utilizan los deepfakes como arma y cada vez son más difíciles de detectar.

Cuestiones jurídicas y éticas

El uso de software deepfake plantea problemas legales y éticos en torno a temas como la libertad de uso y expresión, el derecho a la intimidad y, por supuesto, los derechos de autor. Dado que el software deepfake basado en IA se está lanzando actualmente con relativamente pocos límites, la cuestión creciente desde un punto de vista legal no es si esto estallará en los tribunales, sino cuándo. Las personas más ricas y poderosas pueden permitirse contratar abogados para preservar su imagen pública si se ve amenazada, pero las que tienen menos dinero e influencia podrían verse indefensas jurídicamente en caso de ser atacadas.

En muchos juicios penales de alto nivel, los acusados ya están jugando la "carta de la IA" para cuestionar pruebas que, hasta hace poco, muchos creían inatacables. Por ejemplo, en su documento de análisis, The Other Side Says Your Evidence Is A Deepfake. Now What?, el bufete internacional WilmerHale analiza esta nueva defensa de los delincuentes, que argumentan que los medios grabados pueden ser inadmisibles en un juicio debido al riesgo de que sean un deepfake. En la otra cara de la moneda, el vídeo y el audio cada vez más realistas generados por la IA amplifican el riesgo de que las pruebas falsificadas lleguen a los tribunales y provoquen un resultado injusto.

Como ejemplo, en el documento de WilmerHale se señala que un acusado en el juicio relacionado con los disturbios del Capitolio de EE.UU. impugnó la afirmación de que los vídeos de fuente abierta de los disturbios del Capitolio citados por la acusación eran auténticos, allanando el camino para acusaciones similares en el futuro.

Ciberguerra y propaganda

En la década de 1930, Stalin aprovechó la Gran Purga, en la que perecieron casi un millón de personas, para manipular las fotografías y eliminar de las imágenes cualquier indicio de oposición política. Este esfuerzo propagandístico imponía ideologías políticas con el objetivo de borrar todos los registros de aquellos ciudadanos que el dictador consideraba enemigos del Estado y de su régimen personal y político.

Aunque los soviéticos de hace casi un siglo utilizaban técnicas manuales para adulterar fotografías y registros en lugar de los programas informáticos actuales, sus esfuerzos consiguieron influir en la población de la Unión Soviética y de fuera de ella, y las repercusiones fueron graves.

La atmósfera de desconfianza y el uso de la vigilancia generalizada persistieron durante décadas. En la era actual de la propaganda de masas, la desinformación deliberada mediante la manipulación de los medios audiovisuales beneficia a quienes tienen objetivos geopolíticos y perpetúan las falsedades difundidas por los Estados-nación.

Cuestiones jurídicas y éticas
Figura 9: Deepfake de Zelenskyy anunciando una falsa rendición a las fuerzas rusas.

A medida que la invasión rusa de Ucrania avanza por su tercer año, ambos bandos utilizan nuevas formas de propaganda bélica. A mediados de 2022, apareció un vídeo falso del presidente Volodymyr Zelenskyy en el que aparecía el líder ucraniano pidiendo a sus soldados que depusieran las armas y se rindieran. El vídeo falsificado se subió a medios de comunicación ucranianos comprometidos y circuló por las redes sociales prorrusas y otras plataformas digitales.

Hany Farid, profesor de la Universidad de California en Berkeley y experto en análisis forense de medios digitales, dijo del vídeo: "Contamina el ecosistema de la información y ensombrece todos los contenidos, que ya están lidiando con la compleja niebla de la guerra". Señala que las consecuencias podrían ser un mayor enturbiamiento de la confianza de la población en los medios de comunicación. "La próxima vez que el Presidente salga en televisión, algunas personas podrían pensar: "Un momento, ¿esto es real?"".

La perturbación y el miedo que puede causar una sola pieza multimedia convierten a la tecnología deepfake en una valiosa adición al arsenal de las naciones beligerantes. A medida que el mundo adopta plataformas de mensajería como Telegram y WhatsApp, la desinformación se extiende como la pólvora y resulta cada vez más difícil separar la realidad de la ficción.

Descartar la IA como inofensiva sería un descuido peligroso. En un artículo titulado Por qué la IA no tiene por qué ser el enemigo, John Smith, director técnico y fundador de la empresa de software LiveAction, advertía: "Los actores maliciosos, armados con herramientas de IA, suponen una auténtica amenaza. Pero no olvidemos el historial destructivo de nuestra propia especie. Guerras, divisiones sociales, devastación medioambiental: la humanidad, armada con herramientas primitivas, ya se ha infligido un daño inmenso a sí misma y al planeta. Esto plantea una pregunta crítica: ¿estamos proyectando nuestros propios defectos en la IA, temiendo al monstruo que nosotros mismos hemos creado? La verdad es que la IA no es un coco externo. Es un reflejo de nosotros mismos, una herramienta moldeada por nuestros valores e intenciones".

Cronología de abusos y usos indebidos notables de Deepfake

Cronología de abusos y usos indebidos notables de Deepfake
Figura 10: Cronología histórica del uso indebido de deepfakes.

Ejemplos de Deepfake

2017

  • A finales de 2017, un usuario anónimo de Reddit utilizó un ordenador doméstico para superponer rostros de famosos en videoclips clasificados X. Poco después, otra persona lanzó una aplicación que automatizaba el proceso de creación de deepfakes, que fue descargada más de 100.000 veces en solo dos meses.
  • A medida que avanzaba 2017, empezaron a aparecer imágenes deepfake lascivas por todo Internet, concentradas en la comunidad Reddit. Estrellas como Natalie Portman, Emma Watson y Taylor Swift fueron solo algunas de las celebridades femeninas que se encontraron como sujetos no deseados de estos deepfakes para adultos.

2018

  • En abril de 2018, el director de cine Jordan Peele colaboró con un familiar en BuzzFeed para crear un anuncio de servicio público deepfake que mostraba al expresidente Barack Obama burlándose del entonces presidente Donald Trump. Conseguir la simulación correcta requirió 56 horas de entrenamiento del software, pero sirvió para aumentar la concienciación pública sobre los deepfakes.
  • En junio de 2018, la periodista de investigación india y musulmana Rana Ayyub fue blanco de una campaña de odio que utilizó un vídeo deepfake para adultos creado con su imagen.

2019

  • A principios de 2019, la cadena de televisión KCPQ emitió un deepfake del entonces presidente Donald Trump durante su discurso en el Despacho Oval, burlándose de su aspecto y color de piel. El empleado responsable fue despedido rápidamente.
  • En junio de 2019, se lanzó un sitio web con una aplicación descargable llamada DeepNude. DeepNude utilizaba redes neuronales como las redes generativas adversariales para eliminar la ropa de las imágenes de mujeres. La app no funcionaba en fotos de hombres. La aplicación tenía versiones para Windows® y Linux®, y la versión de pago costaba 50 dólares. A finales de mes, se retiró la aplicación y se devolvió el dinero a los suscriptores. "Esta tecnología no debería estar a disposición del público", afirmó Katelyn Bowden, fundadora y directora ejecutiva de BADASS, una organización sin ánimo de lucro dedicada a luchar contra el abuso de imagen.
  • En septiembre de 2019, un estafador utilizó tecnología deepfake para estafar 243.000 dólares a una empresa energética del Reino Unido. Utilizando un software de voz profunda, el estafador imitó la voz del CEO de la empresa matriz de la firma y convenció a la empresa para que transfiriera el dinero. El consejero delegado de la empresa energética declaró haber reconocido la voz en la llamada, mencionando concretamente el acento alemán de la voz y la "melodía" de su voz.

2020

  • Un vídeo deepfake del presidente del partido gobernante en la India, Bharatiya Janata Party (BJP), Manoj Tiwari, se hizo viral en WhatsApp en el país, criticando a su oponente político Arvind Kejriwal y animando a los votantes a votar al BJP.
  • Durante la campaña presidencial estadounidense de 2020, empezaron a aparecer en Internet deepfakes que mostraban a Joe Biden en un supuesto deterioro cognitivo, como quedarse dormido en mitad de una entrevista, perderse y hablar mal, todo lo cual reforzaba los rumores sobre su deterioro mental y su mala salud.

2021

  • A principios de 2021, una mujer fue detenida en Pensilvania por crear presuntamente imágenes deepfake de las rivales de su hija bebiendo y fumando, que envió a sus padres en un intento de que las expulsaran del equipo de animadoras. Fue acusada de ciberacoso a un menor y delitos relacionados.

2022

  • En marzo de 2022, circuló por Internet un breve vídeo deepfake que pretendía mostrar al presidente de Ucrania, Volodymyr Zelenskyy, dirigiéndose a su nación y diciendo a sus soldados que depusieran las armas y se rindieran.
  • En junio de 2022, el FBI alertó de que los ciberdelincuentes estaban adoptando audios y vídeos de voz profunda para realizar entrevistas de trabajo a distancia en tecnología que implicaban el acceso a información y sistemas sensibles. Apenas un mes antes, en mayo, el FBI había advertido de que ciberespías norcoreanos podían estar haciéndose pasar por trabajadores informáticos extranjeros.

2023

  • A principios de 2023, un trabajador de la construcción de Chicago utilizó la plataforma de creación de imágenes generativas Midjourney para fabricar una imagen fija del Papa Francisco vestido con una chaqueta blanca ultramoderna de Balenciaga. La imagen generada por IA fue vista y compartida casi 20 millones de veces en las redes sociales. El periodista estadounidense Ryan Broderick lo calificó como "el primer caso real de desinformación masiva por IA".
  • En mayo de 2023, apareció en las redes sociales un vídeo deepfake de la vicepresidenta Kamala Harris en el que supuestamente arrastraba las palabras y hablaba sin sentido.
  • En junio de 2023, el FBI publicó una nueva advertencia de que los ciberdelincuentes estaban utilizando fotos y vídeos disponibles públicamente para llevar a cabo esquemas de extorsión deepfake. "El FBI sigue recibiendo denuncias de víctimas cuyas fotos o vídeos han sido alterados para convertirlos en contenido explícito", decía la agencia en la alerta. "Las fotos o vídeos se difunden luego públicamente en las redes sociales o en sitios web pornográficos, con el fin de acosar a las víctimas".
  • La cadena de televisión surcoreana MBN recibió reacciones encontradas de los telespectadores cuando anunció que iba a utilizar una imitación generada por ordenador de la presentadora Kim Joo-Ha para leer las principales noticias del día. A algunos les impresionó su realismo, pero a otros les preocupó que la verdadera Kim Joo-Ha perdiera su trabajo.

2024

  • En febrero de 2024, una multinacional perdió 25,6 millones de dólares en una estafa después de que los trabajadores de su sucursal en Hong Kong fueran engañados por un deepfake del director financiero de la empresa ordenando transferencias de dinero a través de una videollamada.
  • En mayo de 2024, ChatGPT-4 superó la prueba de Turing, marcando un hito importante en el dominio del lenguaje natural por parte de la IA. En las pruebas, GPT-4 fue capaz de convencer al 54% de las personas que interactuaron con él de que era humano. La prueba de Turing fue propuesta por Alan Turing en 1950 y consiste en que un "juez" humano hable con un humano y una máquina a través de un texto. Si el juez no puede distinguir entre los dos, se dice que la máquina ha superado la prueba.
  • En junio de 2024, circuló por las redes sociales estatales rusas un vídeo falsificado en el que supuestamente aparecía el portavoz del Departamento de Estado de Estados Unidos, Matthew Miller, comentando la ayuda armamentística de Washington a Ucrania. El vídeo falso sugería que la ciudad rusa de Belgorod, a sólo 25 millas al norte de la frontera de Ucrania con Rusia, era un objetivo legítimo para los ataques ucranianos porque "esencialmente no quedaban civiles".
Figura 11: Los deepfakes faciales con fines artísticos o creativos pueden generarse utilizando una de las numerosas herramientas de software de IA generativa.
Figura 11: Los deepfakes faciales con fines artísticos o creativos pueden generarse utilizando una de las numerosas herramientas de software de IA generativa.

Mecanismos de detección de deepfakes y contramedidas

Como ocurre con la mayoría de las ciberamenazas modernas, no existe una solución tecnológica única para detectar y/o frustrar los deepfakes. La detección es una tarea muy compleja, con un enfoque por capas que abarca múltiples técnicas y métodos para contrarrestar esta creciente amenaza. Se trata de un campo de investigación activo y aún no existe una solución milagrosa. Sin embargo, algunas técnicas prometedoras son:

Análisis de incoherencias

Con el análisis de inconsistencias, uno o más aspectos de la imagen o el vídeo son analizados intensivamente por algoritmos de aprendizaje automático para detectar la falsificación digital. Por ejemplo, los algoritmos pueden detectar una iluminación incoherente entre el rostro original y el falsificado, o la coherencia cromática de la muestra original frente a la imagen presuntamente falsificada. Este método de análisis puede detectar errores cometidos en la generación de imágenes que no son evidentes para el ojo humano.

Marca de agua digital

Casi todo el mundo está familiarizado con las marcas de agua en las imágenes que muestran el nombre de su creador. Algunos ejemplos son las plataformas de licencias de imágenes como Getty Images o Shutterstock. Las marcas de agua digitales de creadores de contenidos legítimos pueden ayudar a verificar el origen y la autenticidad del contenido. Del mismo modo, la ausencia de una marca de este tipo podría indicar que el contenido ha sido comprometido o manipulado.

La administración Biden ha sugerido recientemente marcas de agua como solución política a las falsificaciones profundas, sugiriendo que se obligue a las empresas tecnológicas a marcar digitalmente los contenidos generados por IA. Por ejemplo, en febrero, OpenAI anunció que añadiría marcas de agua a su herramienta de conversión de texto en imagen DALL-E 3 , pero advierte de que podrían "eliminarse fácilmente".

Criptografía

En una línea similar, la incrustación de firmas criptográficas en contenidos originales ayuda a verificar su legitimidad y origen. La verificación basada en la cadena de bloques es otro método en auge para autenticar las creaciones digitales. Este tipo de soluciones basadas en blockchain podrían resultar cruciales para distinguir entre contenidos reales y fabricados.

Por ejemplo, cuando se crea una imagen o un vídeo, se genera una firma digital que se adjunta al contenido. La firma digital se realiza utilizando la clave privada del creador, que es única para él y se almacena de forma segura en la cadena de bloques. Cuando alguien quiere verificar la autenticidad de un contenido, puede utilizar la clave pública del creador (que está disponible públicamente en la cadena de bloques) para validar la firma digital. Si la firma es válida, confirma que el contenido no ha sido manipulado y que fue creado por la entidad verificada.

Supongamos que una organización de noticias quiere publicar un reportaje de vídeo sobre un acontecimiento importante. Pueden utilizar un sistema de firma digital basado en blockchain para garantizar la autenticidad del vídeo de la siguiente manera:

  • El camarógrafo de la organización de noticias graba el evento y genera una firma digital para el vídeo utilizando la clave privada de la organización.

  • El vídeo, junto con la firma digital, se sube a la red blockchain.

  • Cuando un lector quiera verificar la autenticidad del vídeo, puede acceder a la clave pública de la organización de noticias en la cadena de bloques y utilizarla para validar la firma digital.

  • Una firma válida confirma que el vídeo no ha sido manipulado y ha sido creado por la organización de noticias verificada.

Este enfoque ayuda a prevenir la propagación de falsificaciones profundas al proporcionar un registro a prueba de manipulaciones del origen y la autenticidad del contenido. También permite a los usuarios verificar la legitimidad de los contenidos digitales antes de compartirlos o consumirlos.

Índices de confianza

Los sistemas basados en IA pueden generar puntuaciones de confianza o métricas de incertidumbre cada vez que generan un resultado. Éstos indican el nivel exacto de confianza o certeza que tiene el modelo en lo que ha creado. Al revisar estas puntuaciones, los usuarios del software pueden evaluar la fiabilidad del resultado del modelo.

Divulgación de sesgos

La divulgación de sesgos establece que los datos de entrenamiento utilizados para entrenar modelos de IA deben ser totalmente transparentes. La empresa que creó el software debe poner a disposición de los usuarios finales información sobre los conjuntos de datos y sus respectivos sesgos. Al declarar públicamente el tamaño, la fuente y las posibles limitaciones de los datos de entrenamiento de un software, quienes lo utilicen comprenderán mejor los posibles sesgos que podrían aparecer en los resultados del modelo.

Concienciación de los usuarios

Muchas ciberamenazas y estafas se aprovechan del usuario final, asumiendo que es el eslabón más débil, y sólo tienen éxito en la medida en que el usuario es engañado. Esto es especialmente cierto en las estafas que implican ingeniería social. Una de las técnicas de mitigación más eficaces es la concienciación y educación del usuario.

Las empresas deben poner en marcha un sólido programa de formación para educar a los empleados sobre la amenaza de los deepfakes, cómo pueden ser aprovechados por los ciberdelincuentes, cómo reconocerlos y qué hacer en caso de sospecha, y los riesgos en caso de que un actor de amenazas se dirija a la organización utilizando deepfakes. Esta formación de los usuarios puede contribuir en gran medida a reducir la superficie de ataque de los deepfakes.

Figura 12: En mayo de 2024, ChatGPT-4 superó la prueba de Turing, marcando un hito importante en el dominio del lenguaje natural por parte de la IA.
Figura 12: En mayo de 2024, ChatGPT-4 superó la prueba de Turing, marcando un hito importante en el dominio del lenguaje natural por parte de la IA.

Legislación y gobernanza

A pesar de las leyes vigentes contra la falsificación digital, establecer una gobernanza oficial en torno a los nuevos medios sintéticos creados por la IA es una tarea de enormes proporciones tanto para las empresas tecnológicas como para los legisladores. Esta tecnología se está acelerando a un ritmo sin precedentes, y el despliegue de normas tan complejas puede ser un proceso lento.

Estados Unidos aprobó en 2019 la DEEP FAKES Accountability Act para defender a las víctimas de "falsa personificación" y establecer sanciones penales para las infracciones relacionadas. La Unión Europea también cuenta con políticas para hacer frente a las deepfakes y está respaldada por la Ley de Servicios Digitales (DSA). Aunque entró en vigor en 2022, ha sido difícil conseguir que los operadores de plataformas en línea muy grandes (VLOP) se ajusten a ella.

La controvertida Ley de Seguridad en Línea de 2023 del Reino Unido abarca una serie de delitos digitales y temas como la generación y el intercambio de deepfakes ilícitos.

Tendencias actuales y previsiones

Mayor sofisticación

La IA generativa sigue avanzando a un ritmo asombroso. A medida que esta tendencia continúe, también lo hará el nivel de sofisticación de los futuros medios de deepfake de todo tipo. Los ciberdelincuentes podrán aprovechar una IA más avanzada para crear deepfakes más convincentes para estafas más intrincadas.

Interferencia política/electoral

Las redes sociales son una poderosa herramienta en época electoral. El enorme alcance de las plataformas de medios sociales las convierte en terreno fértil para las campañas de desinformación de los actores políticos. En las redes sociales, los deepfakes pueden convertirse fácilmente en armas, como demuestran muchos casos notables en los que se han utilizado para influir en los votantes. Es muy probable que sigamos viendo el uso de deepfakes como herramienta de desinformación a medida que se celebren elecciones de alto nivel a lo largo de 2024.

Ataques avanzados de ingeniería social

La ingeniería social siempre ha sido un componente básico del libro de jugadas de los actores de ciberamenazas; asume que los empleados son el eslabón más débil de la seguridad de una empresa. Cuando se combinan con el uso de deepfakes, estos ataques pueden adquirir otro nivel de sofisticación, ya que los medios deepfake pueden utilizarse para intentar añadir una capa de "autenticidad" y engañar a un usuario desprevenido para que tome una mala decisión.

"Las falsificaciones profundas de audio y vídeo representan el fascinante desarrollo de la tecnología del siglo XXI, pero también son potencialmente increíblemente peligrosas, ya que suponen una enorme amenaza para los datos, el dinero y las empresas".

explica Jake Moore, experto en ciberseguridad que pasó 14 años investigando delitos informáticos en la Unidad Forense Digital y el Equipo de Ciberdelincuencia de la policía británica de Dorset.

"Actualmente estamos en la cúspide de los actores maliciosos que cambian la experiencia y los recursos para utilizar la última tecnología para manipular a las personas que inocentemente desconocen los reinos de la tecnología deep fake e incluso su existencia."

Manipulación empresarial y gubernamental

Los deepfakes pueden utilizarse para intentar dañar la reputación de una empresa, así como para afectar a la cotización de sus acciones y a la satisfacción de sus clientes. Los deepfakes también pueden amenazar la marca de una organización, suplantar la identidad de líderes y responsables financieros, y proporcionar a los malos actores acceso potencial a redes, comunicaciones y otros sistemas e información sensibles. Cuando se considera el impacto potencial, este tipo de deepfake plantea preocupaciones significativas para muchos CEOs, CISOs y líderes gubernamentales.

Ejemplos de campañas "antimarca" deepfake podrían ser la creación de vídeos deepfake de ejecutivos de una empresa transmitiendo información falsa sobre sus productos, o revisores generados por IA dejando falsas reseñas negativas en vídeo de una marca o servicio.

Mitigación de las amenazas de Deepfake

A medida que la tecnología deepfake basada en IA madura y la potencia de cálculo general sigue disparándose, todo, desde las estafas telefónicas y los ciberataques hasta las campañas políticas, se volverá más eficaz, con un gran peso a favor de los ciberdelincuentes. Cada día que pasa, el mercado se inunda de más herramientas gratuitas y de fácil acceso que llevan el poder de la IA a las masas, para bien o para mal.

Dice Shiladitya Sircar, Vicepresidente Senior de Ingeniería de Producto y Ciencia de Datos de BlackBerry,

"La tecnología que puede detectar deepfakes va muy por detrás del ritmo al que se producen nuevos programas y sistemas de IA. Es imperativo que los diseñadores de productos, ingenieros y líderes trabajen juntos para definir estándares de validación de autenticidad criptográficamente seguros para el contenido digital."

Hasta entonces, es aconsejable utilizar el sentido común y emplear las herramientas disponibles actualmente para mitigar el impacto potencial de las estafas deepfake en su organización. Hemos recopilado una lista de consejos prácticos que puede utilizar ahora para mantenerse a salvo usted y su empresa:

Implantar la verificación en tiempo real del acceso a la red. Considere la posibilidad de instalar una verificación de identidad capaz de funcionar durante las comunicaciones en tiempo real. Una contraseña ya no es suficiente, ya que puede ser fácilmente comprometida o robada por malos actores.

Instale la autenticación multifactor (MFA). Esta tecnología de verificación es una parte importante del paso anterior, pero para que tenga éxito, debe implantarse en toda la empresa, sin excepciones. Debe emplear una contraseña generada una sola vez o un PIN enviado al teléfono o dispositivo del usuario e incluir datos biométricos como el reconocimiento facial. Esta "prueba de vida" puede derrotar ataques básicos y garantizar que un teléfono perdido o robado no da a un atacante las llaves del reino de su organización.

Proteja los datos públicos de las personas más destacadas de su empresa. Quienes trabajan en las redes sociales conocen los peligros de compartir demasiado. Todos hemos visto las noticias que se burlan de empleados que han colgado en Internet fotos inéditas de su oficina, con pizarras confidenciales o incluso contraseñas garabateadas en notas adhesivas bien visibles. Los mismos peligros corren ahora las imágenes o vídeos en alta resolución de los dirigentes de su empresa. Aunque no es posible tomar medidas enérgicas contra las grabaciones de liderazgo realizadas por terceros (como las charlas impartidas en conferencias), discuta un plan para evitar que los atacantes utilicen contra usted el material promocional disponible públicamente. Considere la posibilidad de poner una marca de agua digital a estas grabaciones para reducir el riesgo de que un atacante pueda extraer una imagen de calidad de la grabación.

Supervise activamente la presencia en línea de su organización. Configure alertas automáticas de Google para el nombre de su empresa y su equipo ejecutivo, y examine periódicamente la presencia en línea de su empresa, como las cuentas de redes sociales y los sitios web de noticias corporativas, para detectar y neutralizar rápidamente cualquier posible amenaza de deepfake. El adagio de que "una mentira se propaga dos veces más rápido que la verdad" es algo a tener en cuenta en la era hiperconectada de hoy en día. Los atacantes saben que esa vigilancia puede ser menor los fines de semana, por lo que puede ser inteligente poner en marcha un sistema de alerta automatizado para contrarrestarlo.

Construya defensas corporativas contra el phishing. El phishing es un problema perenne, incluso con la formación de los empleados, los cortafuegos, los antivirus y los productos de detección y respuesta para puntos finales (EDR). Considere la posibilidad de participar en consorcios públicos y privados, como la Coalition for Content Provenance and Authenticity (Coalición para la autenticidad y procedencia de los contenidos) y Project Origin, para reforzar la resistencia frente a las amenazas de deepfake.

Formar al personal para que comprenda la naturaleza y los peligros de las falsificaciones profundas. Es hora de actualizar los materiales de incorporación y formación para incluir una sección sobre deepfakes. Los materiales de formación deben incluir una descripción general de los posibles usos de los deepfakes para dañar la reputación, atacar a ejecutivos y convencer a los empleados de que revelen sus credenciales de inicio de sesión o transfieran fondos. Los trabajadores deben conocer los procedimientos de su empresa para informar sobre medios presuntamente manipulados.

Ya existen recursos de formación para detectar deepfakes en las siguientes fuentes:

Los empleados que trabajan en ventas, finanzas y recursos humanos deben estar alerta por si los estafadores se hacen pasar por clientes para acceder a cuentas confidenciales de clientes e información financiera.

Establezca procedimientos de verificación. Enseñe a los empleados a emplear un medio secundario para verificar la autenticidad de la información en caso de recibir solicitudes inesperadas por correo electrónico, teléfono o videollamada, sobre todo si la solicitud se refiere a la transferencia de fondos o a compartir credenciales corporativas. Se debe enseñar a los empleados a verificar siempre la identidad del remitente de cualquier solicitud inusual de mucho dinero a través de un canal alternativo secundario, como plataformas de mensajería segura o incluso una llamada telefónica a la antigua usanza.

Disponga de un plan de respuesta a incidentes (IR) para responder a un ataque deepfake. Establezca planes de contención adecuados con su centro de operaciones de seguridad (SOC) o equipo de seguridad para que puedan mitigar los daños de un ataque. Analice la probabilidad de cada tipo de ataque. Por ejemplo, si se trata de una startup con poca o ninguna presencia en las redes sociales, es poco probable (aunque no imposible) que los atacantes puedan encontrar vídeos de su equipo directivo disponibles públicamente. Si pertenece a una gran organización que tiene contenido multimedia en Internet y realiza transacciones financieras virtuales, considérese un objetivo principal.

Asegúrese de realizar ejercicios de simulación con su equipo para ayudar a concretar el plan y descubrir cualquier punto débil con antelación. También puede ser útil examinar el organigrama y hacer una lista de personas, administradores y ejecutivos que puedan ser objetivos probables.

Denuncie los ataques deepfake maliciosos a la agencia gubernamental estadounidense correspondiente. Esto incluye el Centro de Colaboración de Ciberseguridad de la NSA para el Departamento de Defensa y el FBI (incluidas las oficinas locales o CyWatch@fbi.gov). Pueden encontrarse recomendaciones forenses avanzadas sobre la detección de deepfakes en el reciente asesoramiento conjunto de la CISA sobre concienciación y mitigación de deepfakes. La función de la CISA es recopilar y difundir toda la información relacionada con la ciberseguridad a las agencias gubernamentales estadounidenses. El sitio de su informe puede consultarse en https://www.cisa.gov/report.

Cómo puede ayudar BlackBerry

Así como el uso malicioso de la IA es actualmente un problema, la IA también puede ser parte de la solución. Es importante destacar que no existe una "bala de plata" que proporcione una protección del 100% contra todos los deepfakes o que los bloquee activamente. La mayoría de las estafas que utilizan deepfakes se basan en gran medida en la ingeniería social, un tipo de manipulación psicológica de la que pueden ser víctimas incluso las personas mejor intencionadas.

Sin embargo, existen ciertas herramientas y soluciones que pueden ayudar a detectar y mitigar las amenazas que utilizan deepfakes como parte de su cadena de ataque, para romper esa cadena y proteger al usuario o a la organización de cualquier daño.

Puedes mejorar la postura de ciberseguridad de tu organización poniendo en marcha sistemas avanzados de detección de amenazas que utilicen IA y ciberseguridad predictiva para detener un intento de ataque bloqueándolo directamente en el endpoint.

Aumenta el uso de malware único

Aprender a protegerse es esencial, independientemente de lo grande o pequeña que sea su organización. En la edición de junio de 2024 del informe trimestral Global Threat Intelligence Report de BlackBerry, analizamos la propagación de los ciberataques detectados y bloqueados por nuestros productos para descubrir qué buscan los actores de amenazas cuando atacan a las organizaciones. Los investigadores de BlackBerry observaron un aumento sin precedentes del 250% en ataques únicos de malware por minuto solo en el último año, con una tendencia al alza continuada que demuestra que los atacantes tienen un interés especialmente alto en las organizaciones objetivo de este tipo de ataques.

Ismael Valenzuela, Vicepresidente de Investigación e Inteligencia de Amenazas de BlackBerry, comenta que,

"Los actores de amenazas pueden dirigirse a empleados individuales de una empresa de interés. Estos actores maliciosos podrían incluso desplegar herramientas y tácticas más exclusivas contra objetivos muy específicos y típicamente de alto valor mediante el uso de software de IA generativa para crear deepfakes."

Figura 13: Hashes de malware únicos por minuto encontrados por los investigadores de amenazas de BlackBerry a lo largo del tiempo. (Fuente: BlackBerry Global Threat Intelligence Report: June 2024 Edition).
Figura 13: Hashes de malware únicos por minuto encontrados por los investigadores de amenazas de BlackBerry a lo largo del tiempo. (Fuente: BlackBerry Global Threat Intelligence Report: June 2024 Edition).

El uso de programas maliciosos únicos o novedosos aumenta a medida que los ataques se personalizan. Los malhechores extorsionan a organizaciones de todo tipo y de todos los sectores robando sus datos confidenciales, que luego pueden utilizar para cualquier número de fines nefastos: para venderlos en el mercado negro, para avanzar en un ataque de ransomware de "doble extorsión" (en el que primero se roban los datos del usuario y luego se cifran en la máquina anfitriona), o incluso para utilizarlos con fines de espionaje.

Los métodos de ingeniería social suelen utilizar deepfakes para adormecer al usuario con una falsa sensación de seguridad. Cuando se entrega de esta manera, el malware único plantea un gran problema para las organizaciones que confían en los productos antivirus (AV) tradicionales para su protección.

"Las defensas tradicionales suelen basarse en firmas de virus estáticas", afirma Valenzuela. "Los atacantes pueden aprovechar sencillos scripts de automatización que crean nuevas piezas de malware (alias hashes únicos) compilando una y otra vez el mismo código fuente con mínimas variaciones."

Estas variantes pasan fácilmente desapercibidas para los antivirus tradicionales, ya que si el antivirus no se ha encontrado antes con ese tipo de malware, no lo reconocerá ni lo bloqueará.

A medida que evoluciona el panorama de las amenazas y la IA generativa se incorpora a los conjuntos de herramientas utilizados tanto por los atacantes como por los defensores, la evaluación de la eficacia relativa de las distintas ofertas de seguridad basadas en IA se hace cada vez más importante, y difícil.

Presentación de Cylance AI

La mejor defensa contra los ciberataques de actores maliciosos que utilizan IA generativa es utilizar protección de endpoints basada en IA y modelos de aprendizaje automático, como Cylance® AI. Como pionero de la IA en ciberseguridad, la IA Cylance de BlackBerry es la IA predictiva del sector con más tiempo en el mercado y en continua mejora. Los equipos de ciencia de datos y aprendizaje automático de BlackBerry mejoran continuamente el rendimiento y la eficacia de los modelos de nuestras herramientas de IA predictiva.

Durante la última década, hemos innovado, experimentado y evolucionado continuamente nuestra IA para producir los mejores resultados. Algunos de los avances más importantes que hemos realizado incluyen el paso exclusivo del etiquetado humano supervisado en nuestros primeros modelos a un enfoque de formación compuesto, que incluye aprendizaje no supervisado, supervisado y activo, tanto en la nube como localmente en los puntos finales que protegemos. También hemos optimizado los atributos y conjuntos de datos que utilizamos para ofrecer los mejores resultados predictivos, tras examinar volúmenes de datos extremadamente grandes a lo largo del tiempo.

El resultado de esta evolución continua ha sido un modelo de IA capaz de predecir con exactitud y anticiparse a las nuevas amenazas. Ha aprendido a detectar tanto el malware común como el único, basándose en sus atributos, y a detenerlo antes de que pueda causar daños. Las soluciones de ciberseguridad de BlackBerry® basadas en Cylance AI proporcionan una protección automatizada y anticipada contra los ataques, a la vez que detectan indicadores de peligro (IoC) y ofrecen una comprensión contextual más rápida de las alertas y los eventos.

Por ejemplo, las recientes pruebas de terceros realizadas por The Tolly Group -un importante laboratorio de pruebas independiente y proveedor de servicios de validación de terceros para el sector de TI- revelan que la solución de protección de puntos finales para BlackBerry CylanceENDPOINT™ bloquea el 98,5% de las amenazas tanto habituales como nuevas, tanto en línea como fuera de línea. Esto se debe a que puede predecir activamente el comportamiento del malware, incluso si se trata de una variante nueva y única. Alcanzar este nivel de eficacia requiere un entrenamiento preciso del modelo en el tipo correcto de indicadores. Al proteger sus terminales de ataques automatizados y manuales, como los que utilizan deepfakes como parte de su cadena de ataque, estas soluciones basadas en IA pueden ayudar a detener las ciberamenazas antes de que empiecen.

Cuando se combina con Cylance® Assistant, nuestra herramienta de IA generativa, los analistas SOC pueden dar sentido a situaciones complejas con mayor rapidez. Cylance Assistant funciona con la IA de Cylance y se basa en la galardonada inteligencia sobre ciberamenazas de BlackBerry. Utiliza principios de IA responsables y de privacidad preservada para mejorar la privacidad y la precisión, y no utiliza ni comparte datos de clientes para entrenar modelos. Predice sus necesidades y le ofrece orientación experta de forma proactiva para ayudarle a conseguir más con menos.

Echemos un vistazo más de cerca a cómo Cylance AI puede bloquear cada etapa de una cadena de ataque que utiliza deepfakes o IA generativa para engañar a un usuario y permitir que un actor malicioso acceda a su red.

Bloqueo del acceso inicial

Para detener un ataque en seco, en primer lugar hay que impedir que un malhechor acceda a los puntos finales de la empresa. CylanceEDGE™ de BlackBerry, con tecnología Cylance AI, ofrece protecciones de red que impiden a los usuarios visitar destinos web dañinos utilizados a menudo en ataques de día cero, phishing y campañas de ingeniería social. Un ejemplo podría ser un correo electrónico de phishing dirigido enviado a un trabajador con un alto nivel de acceso a la red, como un administrador de TI.

Muchas empresas enseñan a sus empleados a ignorar los correos electrónicos mal escritos y con erratas, pero ¿y si el atacante utiliza una herramienta de IA generativa para elaborar una carta de phishing inmaculada en un inglés perfecto? La carta podría afirmar falsamente ser del director general o de un miembro de Recursos Humanos, e incitar al trabajador a realizar una acción inmediata, como descargar un archivo adjunto malicioso que se hace pasar por un formulario de impuestos, o hacer clic en un enlace que le envía a un dominio malicioso.

Supongamos que un dominio legítimo que su empresa utiliza a menudo para las nóminas es "ACMEPayroll.com". El atacante podría registrar el dominio falso "ACMEPayrollinc.com" y utilizarlo para alojar malware. Se trata de una técnica comúnmente utilizada conocida como suplantación de dominio. Los actores de amenazas utilizan habitualmente dominios y destinos maliciosos para transmitir sus ataques, y su creciente sofisticación los convierte en una amenaza mayor que nunca. Si un trabajador es engañado por un correo electrónico de phishing y hace clic en un enlace para visitar este dominio malicioso "falso", el atacante puede entonces soltar malware en su dispositivo corporativo, robar las credenciales de nómina del trabajador, como el nombre de usuario y el inicio de sesión, o incluso desplegar ransomware.

Las protecciones de red de la solución CylanceEDGE incluyen una combinación de listas de reputación de IP y dominios, elaboradas por BlackBerry y que incluyen fuentes tanto comerciales como de código abierto. Si algo no coincide con esta base de datos de "reputación", aplicamos nuestros modelos AI/ML, que pueden predecir con precisión el malware y detectar sitios de phishing, así como bloquear intentos de comando y control (C2) y tunelización DNS. Nuestros modelos son capaces de predecir cuándo un sitio se utiliza para el malware y el phishing, incluso cuando ese sitio no está en ninguno de los feeds de otros proveedores.

Al impedir que los usuarios visiten estos sitios no fiables, CylanceEDGE impide que el ataque tenga éxito. Además, CylanceEDGE protege los puntos finales de los empleados frente a múltiples tipos de kits de herramientas de infiltración basados en C2, incluidos los simuladores Cobalt Strike.

Bloqueo del movimiento lateral

Supongamos que un intento de intrusión toma un camino diferente, y un usuario es engañado por un deepfake convincente creado por IA generativa. Si el trabajador decide tomar medidas manuales que anulan las medidas de seguridad y podrían dar acceso a un atacante a la red de su organización, como descargar un archivo adjunto malicioso en su portátil corporativo, CylanceEDGE puede bloquear el movimiento lateral del atacante y limitar los daños mediante la segmentación de aplicaciones y los principios de Acceso a la Red de Confianza Cero (ZTNA ).

El movimiento lateral suele ser el segundo paso que se da una vez conseguido el acceso inicial, cuando el atacante intenta afianzarse en la organización. Pueden intentar escalar privilegios, realizar reconocimientos, filtrar datos confidenciales y colocar spyware o ransomware.

Por otra parte, si el agente de la amenaza consigue acceder a la red utilizando la ingeniería social para robar directamente las credenciales de un usuario, entra en juego la arquitectura de confianza cero de la solución CylanceEDGE . Nuestros controles de acceso basados en la identidad y el contexto, junto con nuestra segmentación de aplicaciones (que oculta las aplicaciones del descubrimiento y la visibilidad pública) impiden el movimiento lateral de los actores de amenazas y la propagación del malware. De este modo, todos y cada uno de los elementos conectados a su entorno deben demostrar continuamente que son dignos de confianza, o se les denegará el acceso.

Prevención de la filtración de datos

CylanceEDGE también ofrece detección de túneles DNS, que se utilizan a menudo en los intentos de exfiltración. Aplicamos nuestra base de datos estática y nuestros modelos de aprendizaje automático a todo el tráfico, no sólo al destinado a destinos públicos de Internet. También aplicamos nuestros modelos al tráfico privado dentro de las redes de nuestros clientes para buscar señales de alarma como las balizas C2. Las balizas C2 funcionan estableciendo una botnet o una infección de malware peer- to-peer, en la que la máquina infectada establece comunicación (beaconing) con un servidor C2 para esperar una instalación posterior o iniciar la exfiltración de datos desde la máquina o red local de la víctima.

BlackBerry utiliza dos modelos diferentes que pueden aplicarse para evitar la filtración de datos. Uno es el modelo C2, que puede detectar intentos de comunicación C2 y bloquearlos. Esto se hace con un modelo de aprendizaje automático C2 que se aplica siempre que no se conoce un destino público de Internet, marcándolo como arriesgado o benigno. El otro es el modelo de tunelización DNS. Los destinos detectados en tiempo de ejecución mediante procesamiento ML fuera de línea se marcarán con una nueva anomalía denominada detección de día cero.

Bloqueo de llamadas fraudulentas de Deepvoice

Si un agente de amenazas trata de eludir los controles de endpoints intentando ponerse en contacto con los empleados por teléfono, por ejemplo, haciéndose pasar por un miembro del equipo de asistencia de su empresa, estas llamadas fraudulentas pueden mitigarse con BlackBerry SecuSUITE®, que proporciona mensajería y voz de alta seguridad para iOS® y Android™. Con la confianza de gobiernos, líderes mundiales y ejecutivos de empresas de todo el mundo, SecuSUITE protege contra amenazas a objetivos potenciales, desde empresas comerciales hasta la seguridad nacional, al permitir comunicaciones seguras en dispositivos móviles.

SecuSUITE utiliza pruebas criptográficas de identidad para evitar la suplantación de identidad, de modo que pueda estar seguro de la identidad del dispositivo con el que se está comunicando. Esto se combina con controles de acceso específicos para cada aplicación, a fin de garantizar que el dispositivo lo utiliza la persona correcta. Funciona como una red cerrada en la que los usuarios se añaden y eliminan administrativamente, lo que significa que no existe un proceso de registro público del que puedan abusar los ciberdelincuentes.

Al ser un entorno cerrado y validar la identidad de todos los participantes en cada llamada o mensaje enviado, SecuSUITE elimina el riesgo de suplantación de identidad y de llamadas spam. Además, los metadatos de la llamada y el mensaje sobre quién se comunica con quién están incrustados en el flujo de cifrado, por lo que terceros no pueden capturar y minar estos datos para llevar a cabo esquemas de ataque social.

La aplicación SecuSUITE para iOS y determinados dispositivos Android cumple las normas mundiales más estrictas de ciberseguridad, con nuestra suite de cifrado autorizada para proteger información hasta la clasificación de "alto secreto". También está acreditada y aprobada para uso restringido de la OTAN. Contamos con la certificación Common Criteria y figuramos en la lista de productos conformes del NIAP, así como en la lista de componentes de soluciones comerciales para información clasificada (CSfC) de la NSA.

SecuSUITE proporciona cifrado de extremo a extremo y publica una lista de usuarios seguros controlada administrativamente y vinculada a números de teléfono seguros, por lo que ni siquiera tendrás que compartir el número de teléfono de tu tarjeta SIM.

Figura 14: Protección segura de extremo a extremo para voz y mensajería proporcionada por BlackBerry SecuSUITE. (Fuente: BlackBerry)
Figura 14: Protección segura de extremo a extremo para voz y mensajería proporcionada por BlackBerry SecuSUITE. (Fuente: BlackBerry)

Nuestro compromiso con el desarrollo ético de la IA

Nuevos productos como ChatGPT y otros que inundan el mercado actual han abierto numerosas vías para la IA generativa, dando lugar a un ciclo inicial de expectación en el que muchas empresas de ciberseguridad establecidas y startups han tratado de participar. Sin embargo, BlackBerry ha adoptado un enfoque más sostenible y a largo plazo al desarrollar nuevas capacidades basadas en modelos de IA generativa de nivel empresarial, en contraposición a los modelos de nivel de consumidor que son propensos a la fuga de datos y a las violaciones de la privacidad.

BlackBerry, que posee numerosas patentes relacionadas con múltiples formas y usos de la IA -incluida la IA generativa- tiene un firme compromiso con el desarrollo ético de la IA, como demuestra nuestra pronta adopción del Código de Conducta voluntario de Canadá sobre la gestión responsable de sistemas avanzados de IA generativa. No utilizamos ni compartimos datos de clientes para entrenar nuestros modelos.

Al proteger su organización con soluciones basadas en IA como las que proporciona BlackBerry, ayuda a mantener a salvo a sus usuarios al romper la cadena de ataque que aprovecha las campañas maliciosas de ingeniería social, incluso si se utilizan deepfakes en el engaño.

Reflexiones finales

A medida que la IA avanza y difumina la línea que separa lo real de lo artificial, es inevitable acordarse de cuentos con moraleja, como la antología de Isaac Asimov "Yo, Robot", sobre robots inteligentes con "cerebros positrónicos". Las historias, escritas en la década de 1950, son igual de relevantes hoy en día. Asimov previó la necesidad de normas estrictas para gobernar la IA, encapsuladas en sus famosas Tres Leyes de la Robótica, que han sido consideradas por muchos como una base práctica para la toma de decisiones ética basada en la IA en los automóviles autoconducidos, pasando silenciosamente de la ciencia ficción a la realidad científica.

Un deepfake no es un código malicioso o una vulnerabilidad informática, sino algo que extiende sus zarcillos digitales más allá de las reglas del cortafuegos y el software antivirus, para llegar a los usuarios finales que, sin saberlo, consumen o comparten esos contenidos manipulados ilícitamente. El poder de las redes sociales para difundir desinformación significa que es más importante que nunca tener cuidado al leer y compartir información en línea.

Aunque existen ramificaciones legales, la persecución y las contramedidas van muy a la zaga y actualmente luchan por mitigar el impacto de esta nueva tecnología. En definitiva, estamos en los albores de otra era de la IA, y con esta tecnología es crucial permanecer vigilantes y críticos con el contenido que consumimos en esta esfera digital de influencia, ya que las líneas siguen volviéndose artificialmente opacas.

Aviso legal

La información contenida en este libro blanco de BlackBerry tiene únicamente fines informativos. BlackBerry no garantiza ni se responsabiliza de la exactitud, integridad y fiabilidad de las declaraciones o investigaciones de terceros a las que se hace referencia en este documento. El análisis expresado en este informe refleja el conocimiento actual de la información disponible por parte de nuestros equipos de investigación y puede estar sujeto a cambios a medida que vayamos conociendo información adicional. Los lectores son responsables de ejercer su propia diligencia debida al aplicar esta información a sus vidas privadas y profesionales. BlackBerry no aprueba ningún uso malintencionado o indebido de la información presentada en este informe.