El problema de la rendición de cuentas con la IA por Camilo Lascano Tribin en Medium
Camilo Lascano Tribin advierte que estamos en un punto de inflexión donde la conveniencia de la IA está llevando a la sociedad a renunciar a siglos de desarrollo en la rendición de cuentas.
La incapacidad inherente de los sistemas de IA para explicar su lógica, combinada con la complejidad de los futuros agentes autónomos, amenaza con crear un mundo donde las decisiones que nos afectan se tomen en una "caja negra" inescrutable, despojándonos de nuestra capacidad de exigir razones y, en última instancia, de nuestra propia agencia.
El problema de la rendición de cuentas con la IA
Por Camilo Lascano Tribin - 1 de junio de 2025
Traducido con ayuda de Google translate revisado por ACG
enlace al articulo original: https://generativeai.pub/the-accountability-problem-with-ai-ff49b222af2eCuando ya nadie sabe por qué sucede nada
Conozcan a Eric Loomis. En 2016, fue detenido en La Crosse, Wisconsin, conduciendo un auto que había sido utilizado en un tiroteo reciente. Loomis no fue acusado del tiroteo en sí, pero sí se declaró culpable de intentar huir de un oficial y de conducir un vehículo sin el consentimiento del propietario. En resumen, delitos menores.
Pero cuando llegó el momento de la sentencia, ocurrió algo bastante extraño. El destino de Loomis no solo lo forjó un juez o un jurado, sino un programa informático. Un algoritmo patentado llamado COMPAS (Perfiles de Gestión de Delincuentes Correccionales para Sanciones Alternativas) se había introducido en el proceso de sentencia de Wisconsin como parte de un impulso más amplio hacia la "justicia basada en datos". Su objetivo era evaluar la probabilidad de reincidencia de un acusado, ayudando a los jueces a tomar decisiones más objetivas sobre cuestiones como la pena de prisión y la libertad condicional.
COMPAS le asignó a Loomis una puntuación de alto riesgo, lo que sugería que era probable que cometiera otro delito. Esta puntuación fue clave en la decisión del juez de condenarlo a seis años de prisión.
Ni Loomis ni su equipo legal pudieron ver cómo se calculó esa puntuación. El algoritmo era propietario: una caja negra. Los desarrolladores no revelaron qué datos se utilizaron, qué peso se asignó a los diferentes factores ni cómo se llegó a sus conclusiones. Loomis fue sentenciado con una lógica que nadie en la sala comprendió del todo y que nadie pudo cuestionar.
Naturalmente, apeló, argumentando que esto violaba su derecho al debido proceso: que era inconstitucional ser sentenciado con base en pruebas que no podían ser analizadas. El caso llegó hasta la Corte Suprema de Wisconsin, donde, sorprendentemente, el tribunal confirmó la decisión.
Convino en que COMPAS tenía limitaciones e incluso advirtió contra confiar demasiado en sus resultados. Sin embargo, dictaminó que, siempre que la herramienta no fuera la única responsable de la sentencia, su uso era aceptable.
Para decirlo sin rodeos: una IA tomó una decisión que le cambió la vida, y nadie pudo explicar por qué. Y esto estaba bien, dijo el tribunal, siempre y cuando alguien lo aprobara al final. Porque yo lo digo.
Porque lo digo yo
Para cualquier especie que vive en grupo, la capacidad de cooperar eficazmente determina quién come, quién se reproduce y quién sobrevive. Para funcionar como grupo, se necesita más que solo un espacio compartido; se necesita una comprensión compartida de los roles, de las expectativas, de cómo comportarse y de qué sucede cuando no se hace. Se necesita cohesión, y la cohesión no surge por sí sola. Se impone ya sea por instinto emoción o una norma explícita.
Esa aplicación —blanda o dura— es el origen de la rendición de cuentas.
El deseo de responsabilidad tampoco es un rasgo exclusivo de los humanos. Los simios exhiben lo que filósofos como Kristin Andrews y primatólogos como Frans de Wall llaman proto-responsabilidad. Participan en la caza grupal coordinada, comparten la carne según su contribución y responden con sanciones sociales cuando se violan estas normas. Consuelan a los afligidos, castigan a los tramposos e incluso parecen comprender conceptos como la justicia y la intención.
Estas no son leyes, sino expectativas. Normas sociales impuestas no por las instituciones, sino por el comportamiento, y que conforman un andamiaje básico de lo que hoy consideramos justicia.
Antes de que escribiéramos una ley, los humanos también imponían normas. Antes de construir gobiernos, vivíamos en tribus. Y en esas tribus, la rendición de cuentas no era algo abstracto, sino inmediato. Si tomabas más de lo que te correspondía, si ponías en peligro al grupo, pagabas un precio. A veces en estatus. A veces en comida. A veces en exilio. A menudo, en muerte.
Filósofos morales como Jonathan Haidt y James Q. Wilson argumentan que los seres humanos desarrollaron sistemas emocionales como la vergüenza, la culpa y la indignación específicamente para mantener este orden grupal. Herramientas de refuerzo social que ayudan a un grupo a mantener límites, detectar transgresiones y reforzar la cooperación.
Desde esta perspectiva, la rendición de cuentas no comenzó en un tribunal, sino más bien alrededor de una fogata. Era nuestro sistema operativo original, el código que permitía a las personas sobrevivir alineándose con un colectivo.
Y con el tiempo, lo hicimos mejor. Lenta y dolorosamente, empezamos a convertir esas expectativas tácitas en sistemas formales. El instinto se convirtió en costumbre. La costumbre en ley.
Al principio, el poder no necesitaba explicarse. El derecho divino era la excusa: faraones, emperadores y reyes que gobernaban porque Dios lo mandaba. La rendición de cuentas se debía a lo mítico, lo etéreo, lo divino.
Pero entonces llegó la resistencia. Y la responsabilidad pasó de los dioses a los demás.
La Carta Magna truncó la corona. Locke introdujo el contrato social. Montesquieu nos dio pesos y contrapesos. Beccaria argumentó que el castigo debía ser justo, no temible. Los humanos comenzaron a reescribir las reglas y tomaron lo que antes era arbitrario y se disfrazaba de ritual, exigiendo que fuera racional, proporcionado y responsable.
En ese sentido, la rendición de cuentas no solo evolucionó, sino que se consolidó como infraestructura. Se convirtió en la base de todo sistema legítimo de poder. Es lo que nos permitió reemplazar la venganza por la justicia, el instinto por los principios. Dio a la gente algo radical: el derecho a exigir una razón.
Y, sin embargo, tras siglos dedicados a sacar a la luz el poder —debajo de túnicas, coronas y cruces—, ahora nos encontramos a punto de devolvérselo. No a sacerdotes ni monarcas, sino a máquinas que no sabemos cómo cuestionar. A herramientas que no pueden explicarse porque desconocen cómo hicieron algo en primer lugar.
El punto en el que nos encontramos en la conversación sobre la IA autónoma parece más una regresión disfrazada de innovación que un progreso genuinamente real.
Dame una buena razón
Cuando una persona toma una decisión, especialmente si afecta a otra, esperamos una razón. Puede ser errónea, puede ser emocional, pero es algo que podemos cuestionar, cuestionar y revisar. Podemos preguntar por qué y esperar razonablemente una respuesta que se conecte con nuestros valores, nuestra experiencia o nuestra lógica. Las máquinas no deciden así.
Los humanos sopesamos las consecuencias, consideramos el contexto. Sí, somos inconsistentes, pero también somos conscientes de nosotros mismos: capaces de explicar nuestras decisiones, aunque sean imperfectas. Justificamos, dudamos, discutimos y nos adaptamos. Nuestras decisiones conllevan el peso de la intención. Las máquinas, en cambio, optimizan.
Procesan entradas y calculan resultados estadísticos. No razonan, sino que clasifican. Puntúan. Deducen el resultado con mayor probabilidad de éxito según los datos con los que se han entrenado, independientemente de si dicho entrenamiento incluye sesgos, lagunas o ruido.
Como explica un artículo reciente de la Cambridge Judge Business School, la IA no "piensa", sino que calcula. Destaca en el reconocimiento de patrones, no en el contexto. Hace predicciones basadas en datos históricos, no en principios. Y si bien puede superar a los humanos en velocidad y escala, carece de lo que realmente hace que una decisión sea inteligible: la capacidad de reflexionar sobre la intención, las consecuencias o el significado.
Entonces, cuando le pides a un modelo de IA que explique la decisión que tomó, independientemente de lo inteligente que sea el LLM, la respuesta casi siempre es una variación de lo mismo: porque eso es lo que los datos le dijeron que hiciera.
Otra historia que ilustra esta desconexión proviene de "La Era de la IA" de Henry Kissinger, Eric Schmidt y Daniel Huttenlocker, el mismo libro que me presentó el caso de Eric Loomis. Si bien aquella historia mostraba lo que sucede cuando intentamos cuestionar las decisiones de una IA, la siguiente muestra lo que ocurre cuando ni siquiera podemos comprenderla.
En 2016, AlphaGo, el sistema de IA desarrollado por DeepMind, jugó una partida histórica contra el campeón mundial de Go, Lee Sedol. Y en la segunda partida, en la jugada 37, AlphaGo hizo algo que ningún humano había hecho jamás. Hizo una jugada tan extraña, tan estadísticamente improbable, que los comentaristas asumieron que se trataba de un fallo técnico. No lo fue. Fue genial.
La jugada 37 abrió la partida por completo. Fue la jugada ganadora. Pero cuando los ingenieros y expertos intentaron comprender por qué AlphaGo la había creado, la respuesta fue simple: no lo sabía. No había razonado para llegar hasta allí. No había elaborado una estrategia. Simplemente había hecho cálculos. La jugada 37 tenía la mayor probabilidad de victoria, así que AlphaGo la jugó.
No fue un riesgo ni intuición, sino un mero surgimiento estadístico. Producto de jugarse a sí mismo millones de veces y favorecer los números que funcionaron. La jugada fue brillante, pero el sistema que la creó no supo explicar por qué, y para la mayoría de las IA, eso no es un error, sino una característica.
Jesucristo...ese es Jason Bourne
Así es como nos encontramos en 2025. La IA se está implementando en todas las áreas de cada organización a una velocidad increíble, con pocas, o ninguna, barreras para medir su verdadero rendimiento. Una vez más, somos la placa de Petri. La prueba en vivo.
Y lo que viene a continuación hace que los últimos años de adopción de IA parezcan más bien pintorescos.
No se trata solo de que la IA tome decisiones. Es que está empezando a actuar, sin necesidad de indicaciones, sin supervisión y, cada vez más, en sintonía con otros agentes de IA. Ya no nos limitamos a introducir datos en un modelo y obtener un resumen. Ahora observamos cómo los sistemas autónomos se asignan tareas entre sí, toman decisiones, negocian resultados y ejecutan los siguientes pasos, sin intervención humana.
Esto es lo que se conoce como IA agente.
Los sistemas de IA agenciales están diseñados para perseguir objetivos, no para esperar órdenes. Razonan (estadísticamente), planifican (probabilísticamente) y actúan (autónomamente). Esto incluye configurar invitaciones de calendario, procesar facturas, redactar informes e incluso decidir con qué sistema o herramienta deben conectarse para completar el trabajo.
Según la última actualización de Google, su nuevo protocolo A2A (Agent2Agent) permite una nueva era de sistemas de IA que se comunican directamente entre sí, orquestando automáticamente tareas en todas las plataformas, API y servicios, sin necesidad de intermediarios humanos.
Y Google no está solo: Workday lo define como un apretón de manos entre IA: una visión en la que agentes inteligentes coordinan los flujos de trabajo empresariales y se activan entre sí como una red de gerentes intermedios hipereficientes.
Con tantos agentes listos para desplegarse, uno pensaría que ya sabemos cómo analizar lo que hacen estos sistemas. Desafortunadamente para todos, no es así. Al menos, no realmente.
Ya nos cuesta comprender cómo un solo modelo llega a una decisión determinada. Imaginemos ahora cadenas de decisiones tomadas por grupos de agentes, cada uno entrenado con datos diferentes, optimizando para obtener resultados distintos y operando en entornos diferentes; todo esto ocurre a una velocidad superior a la que podemos observar, y mucho menos interpretar.
Como lo expresa el Dr. Adnan Masood, director regional de Microsoft y arquitecto jefe de IA en UST, "las interacciones entre IA operan a una velocidad y un nivel de complejidad que hace que los enfoques tradicionales de depuración, registro e inspección sean casi inútiles".
La explicabilidad no escala en un sistema como ese. Se derrumba.
Así que tenemos la fachada. El teatro. Una oleada de herramientas promete ahora una "IA explicable", ofreciendo a los usuarios y partes interesadas justificaciones claras y plausibles. Pero en esta etapa, son solo eso: plausibles. Generadas a posteriori para simular la comprensión, no para exponer la lógica subyacente. Como dice Veritis, una consultora de TI empresarial: "Estas herramientas no ofrecen justificaciones. Ofrecen resultados".
Y esa distinción es importante, porque cuando los agentes empiezan a coordinarse —actuando en nombre de las instituciones, ejecutando transacciones, filtrando información, restringiendo el acceso— ya no solo lidiamos con resultados inexplicables. Lidiamos con sistemas que no rinden cuentas.
En la toma de decisiones humanas, si algo sale mal, podemos preguntar quién lo firmó. ¿Quién tomó la decisión? ¿Quién es el responsable? Con la IA agente, la respuesta es: nadie. O peor aún: todos y todo a la vez.
Desconocemos para qué optimizan estos agentes. Desconocemos cómo se comunican. Y, lo más peligroso, desconocemos qué están dispuestos a sacrificar en nombre de la eficiencia.
Es increíble pensar en lo rápido que pasamos del texto predictivo a la toma de decisiones distribuida. De automatizar tareas a externalizar el criterio. De "¿Cómo sucedió esto?" a "¿Qué lo motivó?".
¿Podría ponerse de pie el verdadero Eric Loomis?
Eric Loomis se convirtió en un símbolo de un sistema de justicia cada vez más influenciado por la toma de decisiones algorítmica, y tal vez sea también un presagio de lo que nos espera a todos.
Las decisiones irresponsables de la IA ya configuran gran parte de nuestra vida cotidiana, de forma sutil y radical. Desde a quién se cita para una entrevista hasta a quién se le marca para una revisión adicional. Desde el precio de un vuelo hasta si se aprueba un préstamo. Y pronto, mucho antes de lo que imaginamos, si un coche sin conductor se desvía a la izquierda o a la derecha, lesionando a uno solo en beneficio de muchos.
Estos sistemas se están infiltrando silenciosamente en la toma de decisiones, no solo ayudándonos, sino reemplazándonos. Nos demos cuenta o no, estamos externalizando voluntariamente la cognición. Poco a poco, elección tras elección. Como argumenté en "Dejando atrás el pensamiento", la comodidad siempre tiene un precio. Y estamos pagando la facilidad con autonomía.
¿Qué tipo de sociedad estamos construyendo si lo único que importa es el resultado?
¿El resultado es realmente lo único que hay?
Así medimos las máquinas: precisión, eficiencia, velocidad. Pero no medimos a los humanos de esa manera. Nos importa por qué las personas hacen lo que hacen. Discutimos por ello. Perdonamos por ello. Castigamos por ello.
Como dice Simon Sinek, el gurú de liderazgo favorito de TED: «El porqué importa más que el qué. Siempre lo ha hecho».
Las razones nos permiten comprender el mundo. Nos permiten generar confianza. Nos permiten saber que aún tenemos el control.
Si renunciamos a eso —si decidimos que el porqué ya no importa— no solo estamos cediendo decisiones. Estamos cediendo responsabilidad. Identidad. Agencia.
Quizás algún día nos preguntemos por qué, y nos parecerá completamente normal cuando la máquina responda: Porque yo lo digo.
Comentarios
Publicar un comentario