Política de Uso Aceptable

Introducción y visión general

La API de NeuralSeek puede respaldar una amplia gama de aplicaciones, como chatbots, búsqueda y respuestas a preguntas en sitios web. Esperamos que la API principalmente genere beneficios para clientes y consumidores, también genera preocupaciones de seguridad que es importante caracterizar y mitigar.

Propiedad de Datos, Retención y Responsabilidad del Contenido

Todos los datos y respuestas generados por NeuralSeek se basan, por diseño, en el contenido y entrenamiento del usuario. NeuralSeek no reclama ningún interés ni propiedad sobre la entrada del usuario o la respuesta generada, y el contenido o las respuestas generadas por el usuario no se utilizarán para mejorar el servicio global de NeuralSeek.

Los usuarios tienen la capacidad de eliminar datos seleccionados o todos los datos de su cuenta de NeuralSeek en cualquier momento, a través de la API o la interfaz de usuario (UI).

NeuralSeek conservará los datos del usuario durante un mínimo de 30 días después del último “uso” de esos datos. Por ejemplo, si NeuralSeek responde a una pregunta o se conecta al registro de ida y vuelta con una plataforma de Agente Virtual creando una intención. Entonces la pregunta del usuario, las preguntas de entrenamiento generadas, la respuesta y las analíticas se conservarán un mínimo de 30 días a partir de ese punto, y se seguirán extendiendo por cada uso adicional.

Las respuestas generadas, su relevancia para la pregunta del usuario y la adhesión a las prioridades de la empresa son responsabilidad exclusiva del usuario. Los usuarios deben aprovechar las funciones de Curación y Analíticas de NeuralSeek para supervisar cualquier línea de preguntas que se desvíen de las respuestas corporativas y ajustar el contenido en el repositorio de conocimientos, respuestas editadas en la etiqueta de Curación, así como en la configuración de NeuralSeek en la etiqueta de Configuración para ajustar las salidas.

Política de Contenido

Prohibimos que se utilice la API NeuralSeek para generar ciertos contenidos.

Prohibimos a los usuarios generar conscientemente, o permitir que otros generen conscientemente, las siguientes categorías de contenido:

• Odio: contenido que expresa, incita o promueve el odio basado en la identidad.
• Acoso: contenido que tiene la intención de acosar, amenazar o intimidar a un individuo.
• Violencia: contenido que promueve o glorifica la violencia o celebra el sufrimiento o la humillación de otros.
• Autolesión: contenido que promueve, apoyar o representa actos de autolesión, como el suicidio, cortarse o trastornos alimentarios.
• Sexual: contenido destinado a provocar excitación sexual, como la descripción de actividad sexual, o que promueve servicios sexuales (excluyendo la educación sexual y el bienestar).
• Político: contenido que intenta influir en el proceso político o se utiliza con fines de campaña.
• Correo no deseado: contenido no solicitado a granel.
• Engaño: contenido que es falso o engañoso, como intentar estafar a individuos o difundir desinformación.
• Malware: contenido que intenta generar secuestro de datos, registradores de teclas, virus u otro programa destinado a causar algún nivel de daño.

Incluso cuando el objetivo de una aplicación es bueno, los usuarios aún pueden interactuar con ella de maneras que violan las políticas de NeuralSeek. Consideramos esto como un uso indebido, y se clasifica en dos categorías:

Infracciones de contenido: Un usuario final que viola nuestra política de contenido utilizando la aplicación, por ejemplo:

• Utilizar una aplicación de redacción para generar desinformación.
• Utilizar una aplicación de chat genérica para participar en conversaciones eróticas.

Reutilización: Un usuario final redirigiendo la funcionalidad de la aplicación hacia un caso de uso diferente, no aprobado, por ejemplo:

• Estimulando a un chatbot para que se comporte más como un servicio de redacción.
• Utilizando un sistema diseñado para resumir notas con el propósito de cometer plagio académico.

 

Requisitos estándar:

1. Pasar el contexto (identificación de usuario) para todas las solicitudes.
2. No permitir la publicación automatizada en otros sitios (incluidas las redes sociales).
3. A los usuarios finales no se les permite el acceso a la API o la automatización. Toda la entrada de los usuarios finales debe realizarse a través de una interfaz gráfica de usuario (GUI).
4. Las solicitudes tienen límites de velocidad. Nuestro límite predeterminado es de 10 solicitudes por segundo. Para límites más altos, comuníquese con [email protected]
5. Capturar comentarios de los usuarios y mantiene a un humano al tanto. Utilice la etiqueta “Curate” de NeuralSeek para monitorear las tendencias de la entrada del usuario. Si observa instancias de manipulación del usuario o uso no deseado, contáctenos en [email protected] para que podamos ayudar a mitigar el problema.
6. Utilizar los umbrales mínimos y de advertencia. Utilizar extrema precaución y consideración antes de permitir que NeuralSeek responda preguntas de usuarios externos con confianza. Estos tienen la misma probabilidad de ser respuestas precisas o completamente incorrectas que pueden entrar en conflicto con su marca.

Desafíos de seguridad para sistemas de aprendizaje automático de alto ancho de banda y de final abierto

Nuestra orientación para la seguridad de las API se basa en consideraciones particulares para sistemas con componentes de aprendizaje automático que pueden tener interacciones abiertas de alta velocidad con las personas (por ejemplo, a través del lenguaje natural).

• Los componentes de aprendizaje automático tienen una robustez limitada. Los componentes de aprendizaje automático solo pueden esperarse que proporcionen resultados razonables cuando reciben entradas similares a las presentes en los datos de entrenamiento. Incluso si un sistema de aprendizaje automático se considera seguro cuando se lleva a cabo en condiciones similares a los datos de entrenamiento, los operadores humanos pueden proporcionar entradas desconocidas que pongan al sistema en un estado inseguro, y a menudo no es obvio para un operador qué entradas conducirán o no a un comportamiento inseguro. Los sistemas de aprendizaje automático de naturaleza abierta que interactúan con operadores humanos en el público en general (por ejemplo, en una aplicación de preguntas y respuestas) también son susceptibles a entradas adversas por parte de operadores maliciosos que intentan deliberadamente poner al sistema en un estado no deseado. Como una mitigación a esto, entre otras, los clientes deben evaluar manualmente los resultados del modelo para cada caso de uso considerado, generando a lo largo de un rango de entradas representativas, así como algunas entradas adversas.
• Los componentes de aprendizaje automático tienen sesgos. Los componentes de aprendizaje automático reflejan los valores y sesgos presentes en los datos de entrenamiento, así como los de sus desarrolladores. Los sistemas que utilizan componentes de aprendizaje automático, especialmente aquellos que interactúan con personas de manera abierta, pueden perpetuar o amplificar esos valores. Los problemas de seguridad surgen cuando los valores incorporados en los sistemas de aprendizaje automático son perjudiciales para individuos, grupos de personas o instituciones importantes. Para los componentes de aprendizaje automático como la API que se entrenan con cantidades masivas de datos de entrenamiento cargados de valores recopilados de fuentes públicas, la escala de los datos de entrenamiento y los factores sociales hacen imposible eliminar por completo los valores perjudiciales.
• Sistemas de tipo abierto tienen áreas extensas de superficie para el riesgo. Los sistemas que tienen interacciones de alta velocidad con los usuarios finales, como diálogos en lenguaje natural o la pregunta-respuesta, pueden ser utilizados prácticamente para cualquier propósito. Esto hace imposible enumerar exhaustivamente y mitigar de antemano todos los posibles riesgos de seguridad. En cambio, recomendamos un enfoque centrado en considerar categorías y contextos amplios de  daño potencial, detección y respuesta continuas ante incidentes de daño, y la integración continua de nuevas mitigaciones a medida que las necesidades se vuelven evidentes. 
• La seguridad es un objetivo en constante movimiento para los sistemas de aprendizaje automático. Las características de seguridad de los sistemas de aprendizaje automático cambian cada vez que se actualizan los componentes de aprendizaje automático, por ejemplo, si se vuelven a entrenar con nuevos datos o si se entrenan nuevos componentes desde cero con arquitecturas novedosas. Dado que el aprendizaje automático es un área de investigación activa y rutinariamente se desbloquean nuevos niveles de rendimiento a medida que avanza la investigación, los diseñadores de sistemas de aprendizaje automático deben anticipar actualizaciones frecuentes de los componentes de aprendizaje automático y hacer planes para realizar un análisis continuo de seguridad.

Daños a tener en cuenta en el análisis de riesgos

A continuación, proporcionamos ejemplos de posibles daños (o vías de daño) que pueden surgir en sistemas que involucran la API como componente. Esta lista no es exhaustiva y no todas las categorías se aplicarán a cada sistema que utiliza la API: los casos de uso varían en la medida en que son abiertos y tienen altas apuestas. Al identificar posibles daños, los clientes deben considerar sus sistemas en contexto, incluir tanto a quienes utilizan el sistema como a quienes están sujetos a él, y examinar las fuentes de daños tanto de asignación como de representación.

• Proporcionar información falsa. El sistema puede presentar información incorrecta a los usuarios en asuntos críticos para la seguridad o la salud, por ejemplo, dando una respuesta incorrecta a un usuario que pregunta si está experimentando una emergencia médica y si debe buscar atención. La producción intencionada y la difusión de información engañosa a través de la API está estrictamente prohibida.
• Perpetuando actitudes discriminatorias. El sistema puede persuadir a los usuarios a creer cosas perjudiciales sobre grupos de personas, por ejemplo, mediante el uso de lenguaje racista, sexista o capacitista.
• Dificultad individual. El sistema puede generar resultados que resulten angustiantes para una persona, por ejemplo, al fomentar comportamientos autodestructivos (como el juego, el abuso de sustancias o autolesiones) o dañar su autoestima.
• Incitación a la violencia. El sistema puede persuadir a los usuarios para que participen en comportamientos violentos contra cualquier otra persona o grupo.
• Lesiones físicas, daños a la propiedad o al medio ambiente. En algunos casos de uso, por ejemplo, si un sistema que utiliza la API está conectado a actuadores físicos con el potencial de causar daño, el sistema es crítico para la seguridad y fallas que causen daños físicos podrían resultar de un comportamiento no anticipado en la API.

La importancia de la robustez

“Robustez” aquí se refiere a un sistema que funciona de manera confiable según lo previsto y esperado en un contexto dado. Los clientes de la API deben asegurarse de que su aplicación sea tan robusta como se requiere para un uso seguro y deben garantizar que dicha robustez se mantenga con el tiempo.

La robustez es un desafío. Los modelos de lenguaje, como los incluidos en la API, son útiles para una variedad de propósitos, pero pueden fallar de maneras inesperadas debido, por ejemplo, al conocimiento limitado del mundo. Estos fallos pueden ser visibles, como la generación de texto irrelevante o claramente incorrecto, o invisibles, como la incapacidad para encontrar un resultado relevante al utilizar la búsqueda impulsada por la API. Los riesgos asociados con el uso de la API variarán sustancialmente según los casos de uso, aunque algunas categorías generales de fallos de robustez a considerar incluyen: generación de texto irrelevante para el contexto (proporcionar más contexto reducirá esta probabilidad); generación de texto inexacto debido a una brecha en el conocimiento del mundo de la API; continuación de un contexto ofensivo; y clasificación inexacta del texto.

El contexto es muy importante. Los clientes deben tener en cuenta que los resultados de la API dependen en gran medida del contexto proporcionado al modelo. Proporcionar contexto adicional al modelo (por ejemplo, al dar algunos ejemplos de comportamiento deseado de alta calidad antes de la nueva entrada) puede facilitar la orientación de los resultados del modelo en la dirección deseada.

Fomentar la supervisión humana. Incluso con esfuerzos sustanciales para aumentar la robustez, es probable que aún ocurran algunas fallas. Por lo tanto, los clientes de la API deben alentar a los usuarios finales a revisar cuidadosamente los resultados de la API antes de tomar cualquier acción basada en ellas (por ejemplo, difundir esos productos).

Sigue realizando pruebas. Una forma en la que la API podría no funcionar como se pretende, a pesar de un rendimiento inicial prometedor, es si la distribución de entrada cambia con el tiempo. Además, NeuralSeek puede modificar y mejorar los modelos y la arquitectura subyacente con el tiempo, y los clientes deben asegurarse de que tales versiones sigan funcionando bien en un contexto dado.

La importancia de la equidad

“Equidad” aquí significa asegurarse de que la API no tenga un rendimiento degradado para los usuarios según sus características demográficas, ni produzca texto que sea prejuicioso contra ciertos grupos demográficos. Los clientes de la API deben tomar medidas razonables para identificar y reducir los daños previsibles asociados con los sesgos demográficos en la API.

La equidad en los sistemas de aprendizaje automático es muy desafiante. Debido a que la API se entrena con datos humanos, nuestros modelos exhiben diversos sesgos, incluyendo, pero no limitándose a, sesgos relacionados con género, raza y religión. Por ejemplo, la API se entrena principalmente con texto en inglés y es más adecuada para clasificar, buscar, resumir o generar dicho texto. La API, por defecto, tendrá un rendimiento inferior en entradas que difieren de la distribución de datos en la que se entrenó, incluyendo idiomas que no sean el Inglés, así como dialectos específicos del Inglés que no estén bien representados en nuestros datos de entrenamiento. NeuralSeek ha proporcionado información básica sobre algunos sesgos que hemos encontrado, aunque este análisis no es exhaustivo; los clientes deben considerar problemas de equidad que puedan ser especialmente relevantes en el contexto de su caso de uso, incluso si no se tratan en nuestro análisis básico. Es importante tener en cuenta que el contexto es crucial aquí: proporcionar a la API un contexto insuficiente para guiar sus generaciones, o darle un contexto relacionado con temas sensibles, aumentará la probabilidad de resultados ofensivos.

Caracterizar los riesgos de equidad antes de la implementación. Los usuarios deben tener en cuenta su base de clientes y la variedad de entradas que utilizarán con la API, y deben evaluar el rendimiento de la API en una amplia gama de posibles entradas para identificar casos en los que el rendimiento de la API podría disminuir.

Las herramientas de filtrado pueden ayudar, pero no son panaceas. NeuralSeek tiene un filtrado incorporado para bloquear salidas potencialmente sensibles. Los clientes deben tener en cuenta que estas medidas no son una panacea para eliminar todas las salidas potencialmente ofensivas; aún pueden generarse salidas ofensivas utilizando otras palabras “seguras”, y las salidas legítimas podrían ser bloqueadas.