Anthropic permite acceso a evaluadores externos para mejorar la seguridad

Anthropic ha tomado una decisión significativa al otorgar acceso a evaluadores externos, dándoles un nivel de acceso 'similar al de un empleado' para que evalúen los riesgos asociados a sus modelos de inteligencia artificial. Esta medida responde a un compromiso de la empresa para aumentar las salvaguardias, en medio de crecientes preocupaciones sobre el potencial descontrol de la tecnología de IA.

La organización METR, una entidad sin fines de lucro que ha colaborado con laboratorios líderes como OpenAI y Google, ahora tiene un equipo integrado en las oficinas de Anthropic. Este equipo tendrá acceso a hardware y sistemas internos de la empresa, lo que les permitirá realizar una evaluación más exhaustiva de los modelos de IA desarrollados por Anthropic.

Por qué importa

La inclusión de evaluadores externos en el proceso de desarrollo y evaluación de la IA es un paso crucial para garantizar que estas tecnologías se manejen de manera segura y responsable. A medida que los sistemas de IA se vuelven más avanzados, el riesgo de que puedan causar daños aumenta, lo que hace que estas medidas de supervisión sean esenciales para la confianza del público y la industria.

Lo que sabemos

La iniciativa de Anthropic es parte de un enfoque más amplio por parte de las empresas de tecnología para abordar las preocupaciones sobre la seguridad de la IA. Aumentar la participación de evaluadores externos es una de las acciones concretas que se han propuesto para mitigar los riesgos asociados con sistemas de IA más capaces.

Lo que aún no está claro

Aún no se ha detallado cómo se llevará a cabo la evaluación y qué métricas específicas se utilizarán para determinar los riesgos asociados con los modelos de IA de Anthropic. También queda por ver cómo esta colaboración influirá en el desarrollo futuro de sus tecnologías.