La IA es una herramienta poderosa, pero puede ser mal utilizada.
La IA es una herramienta poderosa, pero puede ser mal utilizada.
En este artículo, exploraremos con material elaborado con ayuda de NotebookLM, cómo organizaciones como OpenAI trabajan para detectar y desarticular el uso malicioso de la IA, por actores, incluidos afiliados a estados.
Cubriremos ciberataques, operaciones de influencia y estafas.
Descubre cómo se protegen los sistemas para que la IA beneficie a todos de forma segura.
Conocer para poder protegernos y procurar un uso correcto y provechoso de la IA en nuestros alumnos.
Documentos Fuente:
https://openai.com/global-affairs/disrupting-malicious-uses-of-ai/
https://openai.com/index/disrupting-malicious-uses-of-ai-by-state-affiliated-threat-actors/
Podcast acerca del tema:
--------------------------
Resumen:
Informe de Revisión: Usos Maliciosos de IA por Actores Estatales y Otros Actores Maliciosos
Este informe consolida hallazgos de múltiples fuentes, centrándose en el uso indebido de modelos de inteligencia artificial (IA) por parte de actores afiliados a estados y otros grupos maliciosos. Los documentos destacan los esfuerzos proactivos para detectar, interrumpir y compartir información sobre estas actividades para fortalecer las defensas colectivas.
Temas Principales:
- Uso de IA por Actores Afiliados a Estados y Otros Actores Maliciosos: Las fuentes detallan cómo diversos actores, incluidos grupos afiliados a China, Irán, Corea del Norte, Rusia, Camboya, Filipinas y Ghana, han intentado o utilizado modelos de IA para una variedad de actividades maliciosas.
- Detección y Desarticulación: Se enfatiza el enfoque proactivo para identificar y terminar cuentas asociadas con actores maliciosos que abusan de los servicios de IA. La colaboración con socios como Microsoft Threat Intelligence y la comunidad de seguridad en general es crucial en este proceso.
- Capacidades Incrementales de la IA para Tareas Maliciosas: Los hallazgos sugieren que, si bien los actores maliciosos buscan utilizar la IA para aumentar la eficiencia, los modelos ofrecen "solo capacidades limitadas e incrementales para tareas de ciberseguridad maliciosas".
- Transparencia y Compartir Información: Se destaca la importancia de la transparencia pública y el intercambio de información con la industria y el público para fomentar una mayor conciencia, preparación y defensa colectiva contra adversarios en evolución.
- Diversidad de Actividades Maliciosas: Los usos indebidos de la IA son variados, abarcando operaciones cibernéticas, operaciones de influencia encubierta (IO), vigilancia, ingeniería social, estafas (incluidas las estafas de empleo y las estafas de "pig butchering" o romance-baiting) y esquemas engañosos.
Ideas e Hechos Más Importantes:
- Actores Afiliados a Estados Identificados:China: Identificados como Charcoal Typhoon y Salmon Typhoon. Utilizaron servicios de IA para soporte de scripting, generación de contenido para spear-phishing, investigación sobre evasión de detección de malware, investigación de herramientas de ciberseguridad, depuración de código, traducción de documentos técnicos, recuperación de información pública sobre agencias de inteligencia y actores de amenazas, y asistencia con tareas básicas de codificación. También involucrados en operaciones de influencia encubierta generando contenido para redes sociales y artículos, creando una impresión falsa de compromiso orgánico, y generando contenido alineado con intereses geoestratégicos chinos. Además, se les atribuye el desarrollo de herramientas de escucha de redes sociales y el uso de IA para monitoreo no autorizado. Un informe posterior también menciona actividades de ingeniería social para extraer información e intentos de reclutar fuentes de inteligencia. Se destaca el uso de modelos para automatizar pruebas de penetración, generar código para ofuscación y técnicas anti-ingeniería inversa.
- Cita relevante: "Dos actores de amenazas afiliados a China conocidos como Charcoal Typhoon y Salmon Typhoon utilizaron nuestros servicios para dar soporte a sus operaciones. Esto incluía investigación de herramientas de ciberseguridad, depuración de código, generación de scripts, traducción y generación de contenido para campañas de phishing."
- Cita relevante: "Algunas operaciones han logrado publicar artículos en medios de comunicación principales."
- Irán: Identificado como Crimson Sandstorm. Utilizaron servicios de IA para soporte de scripting relacionado con desarrollo de aplicaciones y web, generación de contenido probablemente para campañas de spear-phishing, e investigación de formas comunes en que el malware podría evadir la detección. Un informe posterior identifica actividades vinculadas a operaciones de influencia encubierta, generando tuits y artículos para plataformas vinculadas a operaciones conocidas (STORM-2035, IUVM), generando contenido pro-Palestino, pro-Hamas, pro-Irán, y anti-Israel y anti-EE. UU. Se observó que un operador pudo haber trabajado para redes aparentemente distintas.
- Cita relevante: "Crimson Sandstorm utilizó nuestros servicios para soporte de scripting relacionado con desarrollo de aplicaciones y web, generación de contenido probablemente para campañas de spear-phishing, e investigación de formas comunes en que el malware podría evadir la detección."
- Cita relevante: "Un informe posterior identifica actividades vinculadas a operaciones de influencia encubierta, generando tuits y artículos para plataformas vinculadas a operaciones conocidas (STORM-2035, IUVM), generando contenido pro-Palestino, pro-Hamas, pro-Irán, y anti-Israel y anti-EE. UU."
- Corea del Norte (RPDC): Identificado como Emerald Sleet. Utilizaron servicios de IA para identificar expertos y organizaciones centradas en cuestiones de defensa en la región de Asia-Pacífico, comprender vulnerabilidades disponibles públicamente, ayudar con tareas básicas de scripting, y redactar contenido que podría usarse en campañas de phishing. Un informe posterior detalla el uso de modelos de IA en esquemas de empleo engañosos, incluyendo el desarrollo de materiales de apoyo para intentos fraudulentos de aplicar a trabajos remotos, generar currículums y perfiles laborales falsos, crear personas de "apoyo" para referencias, reclutar personas reales para recibir laptops corporativas, usar modelos en entrevistas para generar respuestas plausibles, y idear excusas para comportamientos inusuales. También se les atribuye la investigación de herramientas de intrusión cibernética, asistencia en codificación y depuración, y desarrollo de ataques de fuerza bruta RDP.
- Cita relevante: "Emerald Sleet utilizó nuestros servicios para identificar expertos y organizaciones centradas en cuestiones de defensa en la región de Asia-Pacífico, comprender vulnerabilidades disponibles públicamente, ayudar con tareas básicas de scripting, y redactar contenido que podría usarse en campañas de phishing."
- Cita relevante: "Utilizaron modelos de IA para desarrollar materiales de apoyo para intentos fraudulentos de aplicar a trabajos remotos, generar currículums y perfiles laborales falsos, crear personas de 'apoyo' para referencias, reclutar personas reales para recibir laptops corporativas, usar modelos en entrevistas para generar respuestas plausibles, y idear excusas para comportamientos inusuales."
- Rusia: Identificado como Forest Blizzard. Utilizaron servicios principalmente para investigación de código abierto sobre protocolos de comunicación satelital y tecnología de imágenes de radar, así como para soporte con tareas de scripting. Un informe posterior detalla el desarrollo de malware Go-based de múltiples etapas, depuración de código, configuración de infraestructura de comando y control (C2), desarrollo de malware de Windows, evasión de detección, robo de credenciales y sesiones, y notificación de compromisos a través de Telegram. También se menciona su participación en operaciones de influencia encubierta, generando contenido en alemán sobre las elecciones en Alemania y criticando a EE. UU. y la OTAN.
- Cita relevante: "Forest Blizzard utilizó nuestros servicios principalmente para investigación de código abierto sobre protocolos de comunicación satelital y tecnología de imágenes de radar, así como para soporte con tareas de scripting."
- Cita relevante: "Este actor utilizó nuestros modelos para asistir en el desarrollo y refinamiento de malware de Windows, depuración de código en múltiples lenguajes, y configuración de su infraestructura de comando y control."
- Otros Actores Maliciosos y sus Actividades:Camboya: Involucrado en estafas, incluyendo estafas de "tarea" que ofrecen altos salarios por trabajos triviales, traducción de conversaciones para estafadores, y generación de contenido para estafas de romance e inversión ("pig butchering").
- Cita relevante: "Estos actores buscaban usar la IA para aumentar su eficiencia en una variedad de tareas maliciosas."
- Filipinas: Involucrado en operaciones de influencia encubierta, generando grandes volúmenes de comentarios cortos sobre política interna, analizando publicaciones en redes sociales, sugiriendo temas para respuestas, y generando comentarios masivos alineados con temas propuestos.
- Cita relevante: "Generar grandes volúmenes de comentarios cortos sobre política interna, analizar publicaciones en redes sociales, sugerir temas para respuestas..."
- Ghana: Involucrado en operaciones de influencia encubierta, generando artículos y comentarios en redes sociales sobre las elecciones presidenciales de Ghana, apoyando a un candidato y criticando a otro, y generando comentarios cortos para simular participación de la audiencia.
- Cita relevante: "Generar artículos y comentarios en redes sociales sobre las elecciones presidenciales de Ghana, apoyar a un candidato y criticar a otro..."
- Limitaciones de la IA para Actividades Maliciosas Sofisticadas: A pesar de los intentos de los actores maliciosos, las fuentes indican que los modelos de IA proporcionan "solo capacidades limitadas e incrementales" para tareas complejas de ciberseguridad.
- Ventaja Única de las Empresas de IA: Las empresas de IA tienen una perspectiva única sobre la actividad de amenazas debido a la forma en que los actores utilizan sus modelos, lo que les permite actuar como una línea de defensa complementaria.
- Colaboración y Compartir como Multiplicadores de Fuerza: El intercambio de información con proveedores upstream (hosting, desarrolladores de software), plataformas de distribución downstream (redes sociales) e investigadores de código abierto es fundamental para mejorar la detección y la aplicación de medidas.
- La Escala de Ruptura de Operaciones de Influencia (Breakout Scale): Se utiliza una escala del 1 (más bajo) al 6 (más alto) para evaluar el impacto de las operaciones de influencia. Las operaciones descritas a menudo se clasifican en las categorías más bajas (Categoría 1 o 2), lo que sugiere un impacto limitado en la audiencia real.
- Ejemplos Específicos de Uso Malicioso de IA:Generación de contenido para engañar a personas en esquemas de empleo o estafas.
- Asistencia en la escritura y depuración de código para malware o herramientas de intrusión.
- Investigación de vulnerabilidades y tecnologías.
- Traducción y generación de mensajes para operaciones de influencia o ingeniería social.
- Análisis de datos y posts en redes sociales para identificar objetivos o temas.
- Creación de perfiles y contenido falso para simular interacción auténtica.
Enfoque y Medidas Tomadas:
- Terminación de Cuentas: Una medida clave es la terminación de cuentas identificadas como asociadas con actores maliciosos.
- Compartir Indicadores: Se comparten indicadores relevantes de actividad maliciosa con socios de la industria y autoridades para permitir defensas más amplias.
- Uso de IA para Defensa: Se utiliza la IA como un "multiplicador de fuerza" para los equipos de investigación, permitiendo la detección y desarticulación de operaciones.
- Evolución Continua de las Salvaguardas: La comprensión de cómo los actores maliciosos intentan usar los sistemas informa un enfoque iterativo para la seguridad y permite la evolución continua de las salvaguardas.
En resumen, si bien los actores afiliados a estados y otros grupos maliciosos están explorando y utilizando modelos de IA para sus operaciones, las empresas de IA están trabajando activamente, a menudo en colaboración con otros, para detectar y desarticular estas actividades, limitando su impacto y compartiendo información para fortalecer las defensas colectivas.
La IA, aunque puede ser explotada, también se está convirtiendo en una herramienta crucial en la lucha contra su uso indebido.
Comentarios
Publicar un comentario