Discriminación algorítmica y la ilusión de la neutralidad: Cuando los datos hacen acepción de personas

Introducción: La discriminación como eje de la era digital

Vivimos en una época donde las decisiones con mayor impacto social-como el otorgamiento de un crédito bancario, el reclutamiento para un puesto laboral o el acceso a cobertura de salud- están siendo delegadas a sistemas de Inteligencia Artificial (IA). Sin embargo, bajo la apariencia de la precisión y la imparcialidad, nos encontramos ante uno de los mayores desafíos éticos del presente: la discriminación algorítmica.

Los algoritmos no discriminan por malicia ni por poseer conciencia propia, pues no poseen características humanas, sino porque son entrenados con datos proporcionados por humanos. Al nutrirse de la historia humana, las máquinas no hacen más que sistematizar, automatizar y amplificar las inequidades, prejuicios y sesgos de la sociedad que las diseñó (Barocas y Selbst, 2016; UNESCO, 2022). La IA se desarrolla y entrena con información humana y lamentablemente toda la información de nuestra historia y "sabiduría" pasada contiene también todos nuestros errores cometidos.

La literatura sobre ética de la IA, incluida la recomendación de la UNESCO (2022) y su portal sobre el tema (UNESCO, s. f.), permite identificar tres mecanismos principales:

1. Datos históricos sesgados (aprender de los errores del pasado): La Inteligencia Artificial no piensa por sí misma; aprende analizando enormes volúmenes de información histórica. Si en el pasado existieron prejuicios o desigualdades -por ejemplo, si durante décadas se contrataba a menos mujeres o se denegaban préstamos a ciertas comunidades-, la IA toma esos datos como un modelo ideal de éxito y repite la misma injusticia en el presente (Dastin, 2018; Mehrabi et al., 2021).

2. Uso de "pistas indirectas" (proxies¹): Aunque al programa se le prohíba usar datos sensibles como la raza o el género, la tecnología es capaz de deducir esa información a través de otros datos aparentemente neutros. Por ejemplo, al evaluar el código postal, el nivel de ingresos o las rutinas de consumo, el algoritmo termina descartando o perjudicando de forma automática a los mismos grupos vulnerables de siempre, mediante minería de datos² (Barocas y Selbst, 2016).

3. La ilusión de la neutralidad: Cuando un ser humano toma una decisión prejuiciosa, es fácil cuestionarlo. Sin embargo, cuando la respuesta la entrega una computadora en forma de número o porcentaje, tendemos a asumir que es "objetiva" e infalible. Esta apariencia de exactitud matemática vuelve a la discriminación algorítmica mucho más silenciosa y difícil de detectar o denunciar (O'Neil, 2016; Skitka et al., 1999).

I. Cosmovisión cristiana: Dios no hace acepción de personas

Frente al riesgo de que los algoritmos estructuren una sociedad dividida entre elegidos y descartados, la fe cristiana presenta una verdad inmutable: en Dios no hay acepción de personas (Romanos 2:11; Hechos 10:34; Reina-Valera 1960).

A diferencia de los sistemas humanos y de los algoritmos de recomendación o evaluación, Dios no juzga por las apariencias, por el origen, por el código postal ni por el perfil socioeconómico:

La dignidad intrínseca de la Imago Dei (Génesis 1:26-27): Toda persona porta la imagen del Creador. Su valor es inalienable, esencial por derecho creacional y no depende de una métrica de productividad o solvencia procesada por un modelo predictivo. Creer en esto lo cambia todo, nos centra en nuestra verdadera identidad y evita que nos aferremos a creencias limitantes humanas.

La trampa del sesgo histórico: Los datos con los que entrenamos a las máquinas son la radiografía de una humanidad caída y fragmentada. Pretender que un algoritmo extraiga una "justicia pura" a partir de datos históricos imperfectos es una ilusión moral. La tecnología no redime los prejuicios humanos sino que los automatiza repitiendo los fallos del pasado.

El favoritismo como falta ética: La Escritura advierte severamente contra el favoritismo o la parcialidad (Santiago 2:1-9). Cuando un algoritmo se encarga de perpetuar la marginación de los vulnerables, no estamos ante un simple "error de código", sino ante una manifestación actual del sesgo social que debemos señalar y corregir antes que repetirlos.

II. La encrucijada de la regulación: ¿Quién define la equidad?

Para detectar y corregir la discriminación en la tecnología, hoy se aplican evaluaciones técnicas y fórmulas matemáticas que miden si un programa trata a todos por igual o si favorece injustamente a un grupo sobre otro. Estos métodos de control han impulsado leyes en todo el mundo, siendo la Ley de IA de la Unión Europea (EU AI Act) el primer marco regulatorio integral sobre el tema (Parlamento Europeo y Consejo de la Unión Europea, 2024). Esta normativa prohíbe prácticas especialmente invasivas, como los sistemas de categorización biométrica que buscan inferir atributos sensibles de las personas, entre ellos su origen racial o étnico, sus creencias religiosas o su orientación sexual (Parlamento Europeo y Consejo de la Unión Europea, 2024, art. 5). Además, exige que los sistemas de alto riesgo, como los utilizados en el empleo o en el acceso a servicios esenciales, estén diseñados para ser supervisados de forma efectiva por personas, que puedan intervenir cuando sea necesario (Parlamento Europeo y Consejo de la Unión Europea, 2024, art. 14), principio conocido como human-in-the-loop 3."

Sin embargo, la gobernanza de la equidad se halla en un terreno en plena teorización y desarrollo, donde toda alternativa presenta sesgos -prejuicios y defectos de análisis contaminados-:

El riesgo de la gobernanza estatal: Dejar el control absoluto en manos de los gobiernos de turno implica el peligro de que la definición de "equidad" o "sesgo" sea instrumentalizada por miradas ideológicas o intereses del poder de turno. Cada cambio de gobierno tendría un sesgo y una ideología diferente, con el problema potencial de contaminar la administración y gestión.

El riesgo de la autorregulación corporativa: La autorregulación de las grandes empresas tecnológicas, sin importar dónde operen, no basta por sí sola, pues la lógica de mercado difícilmente priorizará el bien común por sobre la rentabilidad. Cuando en primer lugar están las lógicas del mercado, la aplicación de la ética a la Inteligencia Artificial queda en segundo plano.

Esta tensión fue expuesta de forma directa por Sam Altman (2026), CEO de OpenAl, en su discurso ante el Consejo de Seguridad de las Naciones Unidas:

Si la IA ha de ser democrática, las decisiones más importantes no pueden ser tomadas únicamente por laboratorios en San Francisco [...] Deben configurarse a través de procesos democráticos y por gobiernos que rindan cuentas a las personas a las que sirven. (Altman, 2026. traducción propia)

Al mismo tiempo, Altman reconoció que la gestión de esta tecnología debe resguardar el libre albedrío y la capacidad de decisión de las personas:

La mejor versión de la IA no consiste en convertir a las personas en engranajes de una gran máquina [...] Se trata de dar a las personas más autonomía en un mundo cada vez más complejo... Hay muchas cosas que la IA no puede - y no debe- automatizar. (Altman, 2026. traducción propia)

Las palabras de Altman reflejan que, incluso desde la industria, se reconoce que la gobernanza sigue abierta, pero la respuesta sobre la justicia no vendrá de un laboratorio ni de un decreto burocrático.

III. Hacia una gestión inteligente y una mayordomía sabia

Denunciar la discriminación algorítmica desde una cosmovisión cristiana no significa adoptar una postura de tecnofobia o rechazar el avance científico. La postura correcta es la de una gestión inteligente basada en la mayordomía sabia sin trasgredir los límites éticos y bíblicos:

1. Subordinar la máquina al bien común: La IA es una desarrollo tecnológico extraordinariamente útil para automatizar tareas mecánicas y procesar grandes volúmenes de información, pero nunca debe sustituir el juicio ético ni la responsabilidad moral humana.

2. Exigir transparencia e imparcialidad: Así como la Biblia manda a juzgar con justa balanza (Levítico 19:15), debemos respaldar activamente las auditorías de datos, la explicabilidad de la IA y el control ético para evitar que las herramientas digitales refuercen la injusticia.

3. Preservar el discernimiento humano: Ningún algoritmo posee compasión, gracia o capacidad para determinar la singularidad de la historia de una persona. Los procesos e idiomas del desarrollo tecnológico son sólo un sistema binario que no posee alma, emociones ni empatía. El discernimiento moral y la decisión final deben permanecer en manos humanas.

Conclusión

La discriminación algorítmica es un espejo de nuestras propias deficiencias como sociedad. Si los datos están sesgados, es porque el mundo histórico del que provienen no ha practicado la imparcialidad sino todo lo contrario.

Frente a la tentación de permitir que las máquinas clasifiquen y descarten personas según proyecciones de costo o eficiencia, debemos levantar la voz con firmeza y serenidad. La tecnología debe gestionarse con inteligencia, ética y justicia, recordando siempre la verdad eterna que sostiene nuestra convivencia: ante Dios no hay acepción de personas, y esa misma imparcialidad debe guiar el desarrollo de las herramientas del mañana.

Referencias

• Altman, S. (2026, 23 de septiembre). Discurso de Sam Altman ante el Consejo de Seguridad de las Naciones Unidas [Discurso]. OpenAl. https://openai.com/es-419/index/sam-altman-un-security-council-remarks/
• Barocas, S., y Selbst, A. D. (2016). Big data's disparate impact. California Law Review, 104(3), 671-732. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2477899
• Dastin, J. (2018, 10 de octubre). Amazon scraps secret Al recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/
• Fayyad, U., Piatetsky-Shapiro, G., y Smyth, P. (1996). From data mining to knowledge discovery in databases. Al Magazine, 17(3), 37-54. https://ojs.aaai.org/aimagazine/index.php/aimagazine/article/view/1230
• Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., y Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys, 54(6), Artículo 115. https://dl.acm.org/doi/10.1145/3457607
• O'Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown.
• Parlamento Europeo y Consejo de la Unión Europea. (2024). Reglamento (UE) 2024/1689, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial). Diario Oficial de la Unión Europea, L 2024/1689. https://data.europa.eu/eli/reg/2024/1689/oj
• Skitka, L. J., Mosier, K. L., y Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991-1006. https://www.sciencedirect.com/science/article/abs/pii/S1071581999902525
• UNESCO. (s. f.). Ética de la inteligencia artificial. Recuperado el 9 de octubre de 2026, de https://www.unesco.org/es/artificial-intelligence/recommendation-ethics
• UNESCO. (2022). Recomendación sobre la ética de la inteligencia artificial. https://unesdoc.unesco.org/ark:/48223/pf0000381137_spa

Glosario

1. Proxies (variables sustitutas o «pistas indirectas»). Variables aparentemente neutras, como el código postal, el nivel de ingresos o los hábitos de consumo, que están correlacionadas con atributos protegidos como la raza, el género o la religión. Por eso un modelo puede reproducir un efecto discriminatorio aunque no tenga acceso directo a esos atributos (Barocas y Selbst, 2016).
2. Minería de datos. Proceso de descubrir patrones en grandes volúmenes de datos mediante técnicas estadísticas y de aprendizaje automático (Fayyad et al., 1996).
3. Human-in-the-loop («el humano dentro del circuito»). Expresión del inglés que describe un sistema donde la IA puede sugerir, clasificar o generar un borrador, pero siempre hay una persona que supervisa, valida, corrige y asume la responsabilidad final antes de que la acción tenga efecto. Es lo opuesto a un sistema totalmente autónomo. Desde la ética cristiana, es la aplicación práctica de la mayordomía: no se delega el discernimiento moral a la máquina. El artículo 14 del Reglamento (UE) 2024/1689 exige supervisión humana efectiva en los sistemas de alto riesgo (Parlamento Europeo y Consejo de la Unión Europea, 2024, art. 14).
4. Explicabilidad de la IA. Capacidad de un sistema de inteligencia artificial para que sus resultados y el razonamiento que condujo a ellos puedan ser comprendidos e interpretados por las personas afectadas, por quienes lo supervisan y por las autoridades. Permite cuestionar, auditar y, cuando corresponde, impugnar una decisión automatizada, frente a los sistemas de «caja negra» cuyo funcionamiento interno resulta opaco (UNESCO, 2022). Desde la ética cristiana, se vincula con el mandato de juzgar con justa balanza (Levítico 19:15), pues una decisión que no puede explicarse tampoco puede examinarse con justicia.

Carlos Samuel Mansilla.
Presidente de la Organización Casa Bíblica Internacional, comunicador, escritor. Desarrolla el análisis ético entre la intersección del Cristianismo y la Inteligencia Artificial, con el propósito de equipar a la Iglesia frente a los desafíos tecnológicos del siglo XXI y las tecnologías emergentes. 

Apasionado por la reflexión ética y el diálogo entre fe, cultura y tecnología.

🌐 Carlos Samuel Mansilla 📄 Biografía completa

Etiquetas: • Inteligencia Artificial ⎪ Ética Cristiana ⎪ IA & Cristianismo ⎪ Teamwork ⎪ Mayordomía Digital