La inteligencia artificial (IA) está mostrando ya su impacto en nuestra sociedad, aunque aún queda mucho por descubrir sobre esta tecnología. Sin embargo, en el ámbito de la seguridad ya son patentes los riesgos y amenazas derivadas de su utilización por parte de los ciberdelincuentes. A esos peligros estuvo dedicada la segunda tertulia de la Fundación Borredá sobre el impacto de la IA en la seguridad, conducida por el coordinador de Proyectos de la entidad, César Álvarez. En esa ocasión, los cinco expertos mostraron una combinación de optimismo y cautela ante el uso de la IA en este sentido.
No en vano, uno de los riesgos derivados del empleo de la IA generativa es asumir como válidos los errores que comete la tecnología. Inés Aldea Blasco, responsable de Ciberseguridad de Global Technology, habló de las vulnerabilidades de la IA generativa. Para ello hizo una analogía entre el desembarco de Normandía y los modelos de IA, señalando que, al igual que los nazis fueron engañados sobre el verdadero objetivo del desembarco, los sistemas de IA también pueden ser confundidos por patrones manipulados.
Según explicó, la IA está sujeta especialmente a dos tipos de ataques específicos: los de entrada y los de envenenamiento. El primero consiste en introducir información falsa deliberadamente, mientras que el segundo se refiere a la manipulación de datos antes de que el modelo sea entrenado, contaminando el proceso desde el principio.
A través de ejemplos concretos, Aldea enfatizó que las metodologías tradicionales de seguridad no siempre son aplicables a los modelos de esta tecnología, ya que sus vulnerabilidades son inherentes a su diseño. «Lo malo de las vulnerabilidades de la IA es que son intrínsecas a esta tecnología, no se ‘parchean’ como otras; los datos y modelos son así, y no se puede remediar», explicó esta profesional.
Su compañero Pedro Benito Durán, experto en hacking ético de Global Technology, añadió que la IA no solo está expuesta a ataques, sino que además puede ser utilizada como herramienta para perpetrar delitos. Por ejemplo, apuntó Durán, es posible aplicar metodologías de engaño para que la IA generativa «se salga de sus patrones de programación». «Muchas veces las normas de una IA no están en el modelo, sino en el filtrado de la entrada. Se le puede engañar, por ejemplo, planteándole un escenario hipotético o pidiéndole que adopte un rol de interpretarse a sí mismo, pero sin los filtros que le han impuesto», desarrolló este experto.
Riesgos de la IA
Alberto Sánchez Ruiz, experto en análisis de inteligencia que acudió en calidad de miembro de CEUSS, aportó una perspectiva sobre los riesgos estratégicos asociados a la IA, en especial su capacidad para procesar grandes cantidades de datos. En su opinión, la amenaza más evidente reside en la exposición de información crítica al utilizar IA en los procesos empresariales. «Si volcamos la información de la empresa en la IA, estamos revelando cómo trabajamos hoy y cómo lo haremos mañana; pero si hay una brecha de datos, todo nuestro know how e información acaba en manos de alguien que está en su casa», alertó Sánchez Ruiz, quien describió este fenómeno como una «amenaza terrorífica» para las organizaciones.
Además de este riesgo estratégico, mencionó otros peligros más tácticos, como la intrusión en dispositivos conectados al Internet de las Cosas (IoT), que pueden ofrecer información valiosa a los ciberdelincuentes. Para ello puso un ejemplo sencillo pero muy ilustrativo: «Si hackeo una Roomba, puedo obtener el plano de un edificio».
En este sentido, insistió en la importancia de que las organizaciones cuenten con IA propias, diseñadas específicamente para los intereses de la empresa, en lugar de depender de modelos comerciales.
Un filón para los malos
Todas estas prácticas son conocidas por los delincuentes y las están poniendo en funcionamiento. José Carlos Vaquero Triguero, especialista en IA y Big Data en GMV, detalló cómo los ciberdelincuentes están explotando la IA para mejorar sus operaciones delictivas o, directamente, atacar la propia tecnología. «La IA es vista como un filón por aquellos que no tienen limitaciones normativas«, afirmó Vaquero, describiendo el aumento de ataques dirigidos a modelos de machine learning. Estos modelos son susceptibles a los «ataques de envenenamiento», en los que se introducen datos falsos para alterar su comportamiento.
Vaquero también mencionó otro tipo de ataque preocupante: la exfiltración de datos utilizados para entrenar los modelos de IA. Los ciberdelincuentes podrían acceder a información valiosa simplemente interactuando repetidamente con un sistema de IA, lo que abre nuevas vías para el espionaje corporativo y la manipulación de información.
Las organizaciones se enfrentan al reto de equilibrar el uso de la IA para mejorar la seguridad, sin perder de vista las posibles amenazas
Aplicación policial de la IA
Frente a todas las amenazas derivadas del uso malicioso de la IA, el teniente coronel Juan Antonio Rodríguez Álvarez de Sotomayor, jefe Departamento Contra el Cibercrimen de la Guardia Civil, ofreció una visión desde el ámbito de la investigación criminal. En su intervención, destacó cómo la IA está transformando la forma en que se investiga el crimen, pero también alertó sobre los desafíos. Por ejemplo, en investigaciones como las de pornografía infantil, la IA permite procesar grandes volúmenes de fotos, pero parametrizar el sistema para obtener resultados óptimos es una tarea titánica, relató.
Rodríguez Álvarez de Sotomayor explicó que, desde el punto de vista policial, la IA tiene dos perspectivas: «la del aprovechamiento por parte de los delincuentes y la del uso para la investigación criminal». Respecto a esta última, añadió ejemplos prácticos como la elaboración de informes o de sentencias judiciales, en el caso de los Tribunales. No obstante, indicó, estas acciones están sujetas a la supervisión de un humano para validar los resultados.
Buscar el equilibrio
A lo largo de la jornada, quedó claro que la IA ofrece tantas oportunidades como riesgos en el ámbito de la seguridad. Las empresas y los organismos gubernamentales se enfrentan al reto de equilibrar el uso de la IA para mejorar la eficiencia y la seguridad, sin perder de vista las posibles amenazas que esta tecnología plantea. En palabras de Alberto Sánchez Ruiz: «La IA tiene tantos beneficios como riesgos. Pero a la velocidad que esto avanza, las empresas no pueden permitirse no contar con ella porque los competidores lo harán».
Los expertos coincidieron en que, para protegerse de las amenazas emergentes, es imprescindible desarrollar nuevas metodologías de seguridad adaptadas a las particularidades de la IA. Además, recalcaron la importancia de seguir investigando y regulando el uso de esta tecnología, especialmente en lo que respecta a la protección de datos o los derechos fundamentales de las personas.
La jornada concluyó con un llamado a la acción: aunque la IA está transformando la seguridad de maneras sorprendentes, es fundamental que tanto el sector privado como el público trabajen juntos para mitigar los riesgos y aprovechar sus beneficios de forma responsable.
Archivado en:
