IA y responsabilidad civil en proyectos: ¿qué debemos tener en cuenta?

La inteligencia artificial se está desarrollando rápido. Cambiará nuestras vidas ya que, entre otras muchas cosas, mejorará la atención sanitaria (por ejemplo, incrementando la precisión de los diagnósticos y permitiendo una mejor prevención de las enfermedades), aumentará la eficiencia de la agricultura, contribuirá a la mitigación del cambio climático y a la transición energética.

Además, ayudará a prevenir y mitigar los efectos de las catástrofes naturales, facilitará la gestión de las reclamaciones por siniestros, mejorará la eficiencia de los sistemas de producción a través de un mantenimiento predictivo, hará nuestra vida más cómoda a través de la hiperpersonalización, aumentará la seguridad de los europeos y nos aportará otros muchos cambios que de momento solo podemos intuir.

Sin embargo, al mismo tiempo, la IA puede resultar muy nociva, pudiendo incluso, en algunas ocasiones, usarse con fines delictivos (por ejemplo, los sistemas de armas autónomas letales con habilidades cognitivas para decidir quién, cuándo y dónde luchar sin intervención humana). Los daños pueden ser:

• Materiales: perjuicios para la seguridad y la salud de las personas, con consecuencias como la muerte, y menoscabos al patrimonio.
• Inmateriales: pérdida de privacidad, intromisiones en nuestra vida privada, limitaciones del derecho de libertad de expresión, dignidad humana, discriminación en el acceso al empleo, de género o de otro tipo, etc.

Las características particulares de numerosas tecnologías de IA, como la opacidad («efecto caja negra»), la complejidad, la imprevisibilidad y un comportamiento parcialmente autónomo, pueden hacer difícil comprobar el cumplimiento de la legislación vigente de la UE e incluso impedir su efectiva observancia.

En este contexto, los principales riesgos relacionados con el uso de la inteligencia artificial afectan a la aplicación de las normas diseñadas para velar por los derechos fundamentales (como la protección de los datos personales y la privacidad, o la no discriminación) y la seguridad, así como a las cuestiones relativas a la responsabilidad civil (RC).

En este post nos centraremos en esta última problemática (responsabilidad civil) de manera entendible para todos los públicos. Para ello, trataremos de describir una serie de cuestiones básicas (que serán analizadas con mayor profundidad en publicaciones posteriores), tales como:

La aplicación o no de la Directiva 85/374/CEE sobre responsabilidad derivada de productos defectuosos1, hoy recogida en el Texto Refundido de la Ley General para la Defensa de los Consumidores y Usuarios

Según esta normativa, se entiende por producto defectuoso aquél que no ofrezca la seguridad que cabría legítimamente esperar, teniendo en cuenta todas las circunstancias y, especialmente, su presentación, el uso razonablemente previsible del mismo y el momento de su puesta en circulación. ¿Sería el caso de la IA?

La legislación general de seguridad de la UE actualmente en vigor se aplica, en principio, a los productos y no a los servicios y, por lo tanto, en principio, tampoco a los servicios basados ​​en tecnología de IA (por ejemplo, servicios de salud, servicios financieros, servicios de transporte, etc).

En todo caso, de ser la respuesta afirmativa y de regir esta Directiva, el fabricante no sería responsable si probara que, en el momento en que el producto fue puesto en circulación, el estado de los conocimientos científicos y técnicos no permitía descubrir la existencia del defecto.

Entonces, si una solución basada en IA fue admitida en el mercado y fruto de la evolución de la misma se produce un daño, ¿éste no se podría imputar al diseño original?

La excepción por riesgo de desarrollo (risk development defence), que permite al productor evitar la responsabilidad por defectos imprevisibles (siempre que su conocimiento acerca del estado de avance de la técnica sea el adecuado), no debería estar disponible en los casos en los que era predecible que pudieran ocurrir desarrollos imprevistos.

Asimismo, hay que recordar que la Directiva no prevé la reparación de daños morales, lo que choca frontalmente con la necesidad de compensar a los sujetos que hayan sufrido una discriminación derivada del mal uso de esta tecnología, ya sea en términos pecuniarios (dinerarios) o ya sea mediante una reparación más satisfactoria (impacto positivo: por ejemplo, trasladando a los trabajadores a otro departamento de la empresa, sin que pierdan su empleo por la introducción de la IA).

La aplicabilidad de la responsabilidad por hecho ajeno (culpa in eligendo/culpa in vigilando) si el dependiente o auxiliar del empresario no es un humano

En este sentido, en la delegación en no humanos, se debe aplicar el principio de equivalencia funcional: prohibición de negar la compensación o reparación en una situación que involucra tecnologías digitales emergentes cuando hubiese habido resarcimiento en una situación funcionalmente equivalente que implicara conducta humana y tecnología convencional.

Dicho de otro modo, si alguien puede ser considerado responsable del daño causado por un ayudante humano, ¿por qué el beneficiario de dicho apoyo no es igualmente responsable si externaliza sus deberes en un ayudante no humano, considerando que se aprovechan igualmente de dicha delegación?

En este sentido, ¿debería observarse el principio “qui sentire commodum debet sentire incommodum”? La razón de ser de este principio se encuentra en el hecho de que quien obtiene beneficios de un servicio que se le presta por otro (en este caso, tecnológico), debe soportar también los daños ocasionados por el mismo (criterio "cuius commoda, eius est incommoda").

Las consecuencias de observar o no los estándares de seguridad de la industria y cuáles son estos

¿Se debería presumir la causalidad, además de la culpa y la propia existencia del defecto, siempre que se detecte el incumplimiento de normas de seguridad? ¹

O, por el contrario, ¿la observancia de dichas reglas debería conllevar una limitación de responsabilidad o incluso una presunción iuris tantum (que admite prueba en contrario) de ausencia de causalidad? ²

Nota ¹: Si el productor o el operador no cumplió con los estándares de seguridad, ¿se debería presuponer que existe una relación de causalidad entre su omisión y el defecto?

Nota ²: Por ejemplo, si el fabricante comparte ciertas instrucciones sobre la aplicación o advierte acerca de determinados peligros, ¿eso debería influir en que la responsabilidad se pudiera limitar, económicamente hablando?

Las pautas para elegir correctamente la tecnología a utilizar

Se debe preconstituir prueba acerca del benchmark o estudio comparativo efectuado para la toma de esta decisión, debiendo siempre realizar la comparación con el rendimiento/seguridad que hubiera podido proporcionar una tecnología similar disponible en el mercado.

A modo de ejemplo, el grupo de expertos en tecnologías emergentes de la Comisión Europea se plantea si acaecido un daño producido por un robot asistente cirujano, hubiera sido mejor solución contratar más doctores u otro robot en el mercado que hubiese ofrecido mayores garantías en la ejecución.

Delimitación de conceptos jurídicos indeterminados como:

• Control: en este punto, nos preguntamos; ¿quién puede tener una influencia significativa; el que activó el sistema o el que lo actualizó? o ¿quién tiene un mayor impacto en el potencial error, el desarrollo back end o el front end?
• Alto riesgo: de acuerdo con el Informe del comité de expertos titulado Liability for AI and other emerging digital technologies (2019), una aplicación de IA debe considerarse de alto riesgo cuando cumpla con los siguientes criterios acumulativos:
  • Se emplea en un sector donde, dadas las características de las actividades típicamente realizadas, es previsible que surjan riesgos significativos (riesgos que deberían evitarse por la gravedad del impacto). Los sectores cubiertos deberían enumerarse de forma específica y exhaustiva en el nuevo marco regulador: por ejemplo, atención médica; transporte; energía; partes del sector público, etc.
  • La aplicación de IA en el sector en cuestión se utiliza, además, de tal manera que es probable que surjan riesgos importantes. Este segundo criterio supone el reconocimiento de que no todo uso de la IA en los sectores seleccionados conlleva necesariamente riesgos relevantes.

Por ejemplo, aunque la asistencia sanitaria en general puede ser un sector relevante, un fallo en el sistema de programación de citas en un hospital normalmente no presentará riesgos de tanta envergadura como para justificar una intervención legislativa.

La evaluación del nivel de riesgo de un uso determinado podría basarse en la medición del potencial impacto sobre las partes afectadas.

A la vista de estos criterios: ¿sería aconsejable que cada empresa estableciese una clasificación de las aplicaciones de IA en función del riesgo (de mayor a menor) para, de este modo, poder fijar las medidas pertinentes en cada caso?

Complejidad de la cadena de suministros

La dificultad para hacer un seguimiento retrospectivo de las decisiones potencialmente problemáticas adoptadas mediante sistemas de IA y de imputar responsabilidad en el caso de pluralidad de partes.

Es sumamente compleja la tarea de discernir quién es responsable de los daños que se desprendan del uso de productos o de la prestación de servicios basados en IA (el fabricante, el operador, el empresario que se sirve de la tecnología, el cesionario, el usuario, etc).

Nivel de diligencia exigible al adquirente de tecnología

Debe tenerse en cuenta la pericia del comprador para poder llegar a conocer los defectos ocultos de la solución.

La conveniencia o no de aplicar la teoría del riesgo/responsabilidad objetiva

Su concepto lo explicaremos detalladamente en otras publicaciones, pero debemos recordar que consiste en derivar la obligación de resarcimiento simplemente de la relación de causalidad entre el acto del agente y el daño causado, con independencia de toda idea de culpabilidad (principio de imputación objetiva).

Como justificación del establecimiento de esta responsabilidad objetiva, se han señalado las siguientes causas:

• Que la investigación de la culpabilidad es siempre difícil.
• Que quien pone en actuación un riesgo potencial (aeronaves, máquinas, automóviles, etc.), debe soportar las consecuencias dañosas de su funcionamiento, haya o no culpa por su parte.
• Que en las actividades anormalmente peligrosas la adopción de las medidas de precaución razonablemente exigibles no basta para evitar la causación de daños frecuentes o importantes.
• Que quienes deciden llevar estas actividades extraordinariamente peligrosas, han aceptado la existencia de estos riesgos de antemano, por lo que cobra sentido que sean estos sujetos los que deban responder.
• En definitiva, la necesidad social de una reparación ante los avances tecnológicos y científicos y su falta de control.

No obstante, en sede de IA, existen autores que, a nuestro juicio de forma acertada, se inclinan por no objetivar la responsabilidad de modo estricto y automático (como si de una fórmula matemática se tratase: tecnología x=responsabilidad y).

Según esta parte de la doctrina, la rigidez conduciría a una falta de incentivos por parte del empresario para observar los cánones o arquetipos correctos en función del riesgo, puesto que, de una manera u otra, obtendrían el mismo resultado en términos de penalización.

Por último, en este apartado, es oportuno cuestionarnos si es compatible con perseguir la responsabilidad por culpa. Dejamos reseñada esta cuestión ya que puede ser de interés dados los topes indemnizatorios típicos de la responsabilidad objetiva.

La necesidad de facilitar la rendición de prueba a la víctima

Hay distintos mecanismos para ello, ya sea mediante presunciones, ya mediante el desplazamiento de la carga, ya elevando el nivel de diligencia exigible o bien a través de figuras procesales de otras jurisdicciones (prima facie).

El Informe del grupo de expertos de la Comisión Europea, al que ya hemos hecho alusión, reconoce que la complejidad de la tecnología involucrada en la causación del daño puede incrementar la asimetría informativa entre el responsable y su víctima.

Hasta el punto de convertir la prueba del vínculo causal para el perjudicado en una misión casi imposible o prohibitivamente cara (siendo imprescindible la prueba pericial).

Dicho de otra manera, el fabricante y el operador disponen de más medios para conocer los datos de entrenamiento, el entorno de preproducción, los algoritmos, etc.

En definitiva, tienen menos trabas para ser conocedores de la ingesta de datos o inputs, de la lógica empleada y de las consecuencias previstas u outputs del sistema.

Por lo tanto, podrían identificar de manera más sencilla que la víctima, qué parte de un código ahora defectuoso estuvo mal desde el principio o cambió adversamente en el curso de una actualización. De ahí que pueda ser aconsejable que recaiga sobre ellos la carga de la prueba.

Pactos de modificación de la responsabilidad contractual (lo que analizaremos en otra ocasión a la vista del artículo 1102 del Código Civil y de la regla de la irrenunciabilidad de las normas sobre responsabilidad civil) y limitación temporal de la misma

En relación con esta última cuestión, ¿hasta cuándo debe responder el fabricante del software?

A priori, podemos afirmar que la propia naturaleza cambiante y autónoma de esta tecnología obliga a observar una debida diligencia (adecuada vigilancia, adopción de medidas preventivas o mitigadoras, deber de información, subsanación de errores originarios o sobrevenidos, oportunas actualizaciones o incluso retirada de la solución en el mercado) a lo largo de todo el ciclo de vida de la misma.

La importancia del logging by design para la rendición de cuentas

Debería existir el deber de los fabricantes de equipar la tecnología con medios suficientes para registrar información sobre el funcionamiento de la misma (logging by design), con el objeto de esclarecer si se materializaron los riesgos típicos de aquella.

Se debe guardar el principio de proporcionalidad en la exigencia de este deber, teniendo en cuenta, en particular, la viabilidad técnica y los costes aparejados, la disponibilidad de medios alternativos para recopilar dicha información, el tipo y la magnitud de los riesgos que entraña la tecnología, y cualquier implicación adversa que el logging pueda tener sobre los derechos de otros.

En cualquier caso, debe realizarse siempre de conformidad con la legislación aplicable, en particular la normativa de protección de datos y la relativa a la salvaguarda de los secretos comerciales (ley 1/2019 de 20 de febrero).

Análisis sobre si es recomendable la constitución de un seguro de responsabilidad civil obligatorio en sede de IA

Adelantamos que es preciso reflexionar acerca de los peligros asociados a la obligatoriedad de un seguro de RC en esta materia.

En primer lugar, es posible que el mercado simplemente no ofrezca cobertura de seguro para un determinado riesgo, particularmente si es difícil de calcular debido a la falta de experiencia, lo cual es bastante probable con las nuevas tecnologías.

A su vez, exigir un seguro podría prevenir efectivamente el despliegue de la tecnología. Sea como fuere, de establecerse este seguro como obligatorio por el legislador, las aseguradoras tendrán que hacer descansar la tarificación de los riesgos en criterio experto, como el ofrecido por las consultoras tecnológicas.

La necesidad o no de crear juzgados especializados que entiendan sobre tecnologías emergentes

Más allá de estos extremos enumerados a título ilustrativo, consideramos imperioso examinar si debe armonizar la legislación a nivel europeo, con el objeto de evitar la fragmentación del mercado único, reduciendo o eliminando prácticas como el forum shopping, y, sobre todo, con el ánimo de respaldar la competitividad de las empresas de la UE en los mercados mundiales.

Mientras el regulador se decide... desde Paradigma, ¿qué hacemos?

Tenemos experiencia contrastada para saber cuáles son las mejores prácticas para desarrollar proyectos de estas características:

• Empleamos pautas para escoger correctamente la tecnología (la importancia del benchmark).
• Seguimos los mejores estándares de la industria.
• Clasificamos las aplicaciones de IA según el riesgo, aplicando las medidas proporcionalmente.
• Diseñamos sistemas inteligentes trazables en todas sus etapas, desde la captura de datos, las interacciones con terceros y la toma de decisiones (auditabilidad).
• Utilizamos los algoritmos con mayor grado de explicabilidad.
• Nos aseguramos de no usar conjuntos de datos sesgados.
• Ayudamos al cliente con métricas que reduzcan al mínimo la posibilidad de discriminación por su parte, proporcionándole las herramientas precisas para una adecuada interpretabilidad.
• Velamos por que siempre exista supervisión humana suficiente.
• La dignidad de las personas es nuestra piedra angular.

Conclusión

En resumidas cuentas, debemos plantearnos si podemos asumir con las leyes existentes los cambios exponenciales estructurales que estamos experimentando, esto es, si los principios vertebradores de nuestro Derecho bastan para hacer frente no a una era de cambios sino a un cambio de era.

Mientras el legislador se lo piensa, nosotros estamos preparados.