esenfrdeitptru

Los Pen tester e investigadores de seguridad requieren conocer el nivel de seguridad del CHATGPT

AS-026-2023

Fecha: 21/Abr/2023

Notificado por: FIRST

Resumen:

Aprender a descifrar los últimos modelos de Inteligencia Artificial-IA es importante, pero los investigadores de seguridad también deben preguntarse si hay suficientes barreras de seguridad para evitar el mal uso de la tecnología.
Samsung prohibió algunos usos de ChatGPT , Ford Motor y Volkswagen cerraron su empresa de automóviles autónomos, y elaboraron una carta , la cual ha obtenido más de 25,000 firmas.

Un flujo constante de investigadores y tecnólogos de seguridad ya ha encontrado formas de eludir las protecciones colocadas en los sistemas de IA, pero la sociedad necesita tener discusiones más amplias sobre cómo probar y mejorar la seguridad.

Con la introducción de ChatGPT en noviembre, despegó el interés por la inteligencia artificial y el aprendizaje automático, que ya estaba aumentando debido a las aplicaciones en el campo de la ciencia de datos. Las capacidades del Large Language Model-LLM para comprender aparentemente el lenguaje humano y sintetizar respuestas coherentes ha llevado a un aumento en las aplicaciones propuestas basadas en la tecnología y otras formas de IA. ChatGPT ya se ha utilizado para clasificar incidentes de seguridad , y un LLM más avanzado forma el núcleo de Security Copilot de Microsoft .

Sin embargo, pueden tener problemas importantes con los sesgos, los falsos positivos y otros problemas. Si los modelos de IA se adoptan rápidamente sin un estudio adecuado, pueden llegar a aplicaciones críticas, donde podrían ser atacados o fallar espectacularmente.

Se espera que éstos hallazgos inspiren a la comunidad de IA en general a repensar la eficacia de los mecanismos de seguridad actuales y desarrollar mejores técnicas que conduzcan a sistemas de IA robustos, seguros y confiables. Es hora de apagar la tecnología y hacer un reinicio.

Las empresas y los investigadores deben encontrar formas de hacer un restablecimiento completo de dichos sistemas, para purgar cualquier entrada tóxica, pero al mismo tiempo enseñar a la IA a tomar tales acciones en el futuro. En realidad, debe restablecerlo, de modo que los daños no vuelvan a ocurrir, o debe restablecerlo de manera que los daños se puedan deshacer.

Por último, la amenaza a la privacidad es una amenaza importante, ya que los grandes modelos de lenguaje utilizan un gran conjunto de datos, normalmente copiados de Internet, sin los permisos de los editores de esos datos. Italia le ha dado a OpenAI hasta finales de abril para encontrar formas de proteger los datos de las personas y permitir su corrección o eliminación.

Referencia:

https://www.darkreading.com/remote-workforce/pentesters-need-to-hack-ai-question-its-existence

Tlp Clear 2023