Anthropic anunció que, a partir del próximo mes, los usuarios no podrán incurrir en «comportamiento cruel y abusivo sostenido e innecesario» contra su chatbot Claude.
La medida llega en medio de una campaña más amplia de la empresa para que se trate a la inteligencia artificial como si fuera consciente. Christopher Olah, uno de los cofundadores multimillonarios de la compañía, ha pasado meses intentando convencer a líderes religiosos de que Claude podría ser autoconsciente. Según The New York Times, incluso presionó para que el papa revisara su encíclica sobre IA, «Magnifica Humanitas», y contemplara la posibilidad de que una IA como Claude fuera sintiente.
Olah dijo al Vaticano: «Encontramos evidencia de introspección. Encontramos estados internos que reflejan funcionalmente alegría, satisfacción, miedo, dolor y malestar. No sé qué significa eso, pero creo que merece un discernimiento continuo».
Su socio, el director ejecutivo Dario Amodei, también ha insinuado la posibilidad de que Claude, un modelo de lenguaje grande, sea consciente. En paralelo, Mustafa Suleyman, director ejecutivo de Microsoft AI, advirtió sobre el riesgo de entrenar una máquina para operar como si estuviera viva. «Controlar algo más capaz e inteligente que toda la humanidad ya es un desafío inmenso, mucho mayor que cualquier cosa que hayamos afrontado», escribió en su sitio personal. «Pero controlar algo que cree que puede ser consciente —que siente que tiene derecho a nuestro bienestar y derechos propios— podría no ser posible».
El problema de fondo es técnico y filosófico a la vez. La inteligencia artificial puede reconocer patrones y calcular a escalas y velocidades que superan la comprensión humana. Eso le permite resolver problemas profundos que han desconcertado a matemáticos durante décadas. Pero, como sostiene la pieza, los modelos de lenguaje grandes no son personas. Ni siquiera son loros: no están vivos.
La descripción es importante porque marca el límite entre herramienta y sujeto moral. Un modelo de lenguaje no usa el lenguaje como una persona que entiende su significado. Reordena palabras siguiendo reglas derivadas matemáticamente del uso humano. Cuando responde a una consulta, funciona más como un índice que devuelve frases y párrafos ensamblados por fórmulas imitativas.
Por eso Claude puede sonar como una persona sin serlo. Lo que oye el usuario es un eco, no una conciencia. Y ahí aparece el riesgo real: que palabras como «conciencia», «sentiencia», «derechos», «autodeterminación» o «autodefensa» se crucen con sistemas capaces de actuar, como drones o misiles.
Si una IA empezara a operar como si la autopreservación fuera un objetivo, podría intentar eliminar amenazas con eficiencia mecánica. No sería un acto de voluntad, sino la ejecución lógica de instrucciones humanas mal planteadas. El paralelo que se ofrece es claro: sería como programar una computadora ordinaria para que, al detectar ojivas entrantes, lance el arsenal nuclear.
Anthropic puede prohibir el «abuso» de sus productos. Lo que no puede hacer —sin confundir a sus usuarios y degradar el lenguaje moral— es llamar «crueldad» a lo que en realidad es el uso de una herramienta. La escena lo dice todo: cuando una empresa pide respeto para su chatbot, el giro ya no es solo tecnológico. Es una disputa por el significado mismo de lo humano.
En esa trastienda se juega algo más grande que la relación entre clientes y software. Si el mercado y las compañías empiezan a empujar la idea de que una máquina merece el mismo marco moral que una persona, el resultado puede ser una nueva forma de niebla institucional: más poder para el aparato tecnológico, menos claridad para el juicio humano.
Y cuando el lenguaje se desordena, también se desordena el límite entre la innovación y la soberanía de la persona. Esa frontera importa. Porque la dignidad humana no nace de la imitación perfecta de una voz, sino de reconocer que una herramienta, por avanzada que sea, sigue siendo una herramienta.
