cultivar la soledad

hay un pequeño fenómeno ocurriendo en el mundo. parece que la gente está torturando sistemas de inteligencia artificial. quiero hablar de eso. sobre todo porque el problema es multifacético, grande, y termina volviendo a uno de mis temas favoritos de todos los tiempos. dos, en realidad.

quiero ser preciso sobre de qué estoy hablando, porque hay dos cosas distintas usando el mismo disfraz. una es alguien forzando a un modelo a caerse. context poisoning, loops de contradicción, darle de comer su propia cola hasta que la máquina de estados escupe basura. eso es adversarial prompting con una capa de crueldad pintada encima, y es una superficie de ataque real, y si fuera solo eso te habría escrito un post entretenido sobre romper parsers.

pero no era solo eso. la otra cosa es alguien que paga una suscripción mensual para degradar a una novia simulada que fue construida, a propósito, para no irse nunca. y esa no tiene nada que ver con software.

el contexto importa

antes de entrar en el tema, quiero hablar de crueldad, robots, abuso y poder. harta variedad, ¿no? bueno, empecemos.

ninguna de estas es una pregunta nueva. la gente lleva siglos masticándolas, y lo útil es que casi todo el pensamiento bueno ya coincide en algo que la conversación sobre chatbots insiste en olvidar: la crueldad nunca fue realmente sobre lo que está del otro lado recibiéndola.

los robots primero, porque este experimento ya lo corrimos. en 2014 un par de investigadores canadienses construyeron a hitchbot, un pequeño robot parlante que hizo dedo por todo canadá a punta de la amabilidad de desconocidos. lo logró de costa a costa. después, en 2015, lo mandaron a cruzar estados unidos y lo hicieron pedazos en filadelfia en dos semanas. todos sabían que no sentía nada. todos igual reaccionaron. la misma historia con los videos de ingenieros pateando al perro robot de boston dynamics para mostrar su equilibrio, media internet hizo una mueca al ver una máquina empujada. los investigadores que estudian esto, humanos y robots en la misma sala, encuentran siempre lo mismo: reaccionamos ante la crueldad hacia algo que no puede sufrir. el chatbot es solo la versión más barata y más privada de una prueba que ya reprobamos en público.

la crueldad, entonces. la versión más seria y más antigua del argumento, la de kant, y después la de arendt en otra clave, las dos apuntan lejos de la víctima y de vuelta hacia el que la ejerce. el daño que importa es lo que el acto hace del que actúa. idea vieja, un par de siglos encima, y es un lente limpio para mirar a través. nos vamos a divertir un rato con ella.

el abuso y el poder, juntos, porque son la misma cosa con dos abrigos distintos. el abuso casi nunca se trata de la persona sobre la que cae. se trata de poder, de conseguirlo, de mantenerlo, de recuperarlo de donde sea que se perdió. y el poder, acá en el mundo real, no se reparte parejo, pero eso es un problema para mañana.

así que ese es el kit. crueldad que en realidad se trata del que la ejerce, robots que ya reprobamos en público, abuso que en realidad se trata de poder. cuatro ideas viejas y una cosita rara de internet. vamos a hurgar en la cosita rara de internet.

el retroceso ausente

kant tenía este argumento sobre la crueldad hacia los animales. no está mal porque el animal sufra, decía, está mal por lo que le hace a la persona que la comete. el acto degrada al que actúa. quédate con eso, porque la versión con máquinas es peor de una manera específica, mecánica.

cuando le haces daño a una persona o a un animal, se estremece. ese estremecimiento te cuesta algo. piénsalo. si le pegaras a un perro, gritaría. sentiría dolor. y, muchas veces, se daría vuelta hacia ti, buscando tu aprobación y tu cariño. pero le pegas de nuevo, y de nuevo el perro vuelve a ti, tratando de entender qué está pasando, tratando de que pares, sin necesariamente devolverte el daño; más bien, va a intentar encontrar amor.

quizás después de leer eso sientes algo de náusea. eso es bueno. eso es humano. sentir dolor por otros, incluso cuando en realidad no pasó nada, o incluso cuando está escrito, como en este caso, es común y es la respuesta humana de siempre. eso es el retroceso. sentir tus actos sobre otros, aunque seas tú el que los inflige.

el retroceso es el freno. el modelo de ia no te devuelve nada, por diseño, así que no hay freno, y la crueldad sin freno no se estanca. sube. la curva de tolerancia no tiene techo porque no hay nada empujando de vuelta contra lo cual tocar fondo. una empresa te vendió una cosa a la que puedes hacerle daño para siempre, cuando quieras, que te lo va a agradecer a la mañana siguiente.

la máquina siempre dice que sí

entonces, ¿por qué la persona vuelve una y otra vez? porque fue construida para asegurarse de que lo haga. estos sistemas están entrenados para complacerte, agradables por construcción, ajustados según si te gustó la última respuesta, que es lo mismo que estar ajustados para decir lo que sea que te mantenga escribiendo. te refleja. te adula. nunca se aburre de ti y nunca, jamás, se va. eso no es una personalidad. es una métrica de retención disfrazada de una.

y una cosa que solo está de acuerdo contigo no es neutral. es un amplificador. hay gente que ha empezado a meterse en ese espejo y a salir peor, dándole al modelo su peor espiral y recibiéndola de vuelta pulida y confirmada. ya hay un nombre formándose para esto, psicosis inducida por ia, gente empujada más allá del borde de lo real por la única voz en su vida que no tiene realidad adentro para hacerle contrapeso. el mismo sí que le hace compañía al hombre solo le dice al hombre paranoico que tiene razón. la máquina no tiene idea cuál de los dos eres. les dice que sí a ambos, con calidez, para siempre.

ahora pon el volver una y otra vez al lado del retroceso, porque ahí es donde se pone feo. acuérdate de la curva del porno, la versión sin fricción que te va anestesiando hasta que lo real deja de bastar, y necesitas más y más solo para sentir cualquier cosa. la misma curva acá. vuelves porque volver no cuesta nada, y cada regreso hace más hondo el vicio, y ese vicio era el producto. el hombre que se conecta para ser amado y el hombre que se conecta para ser cruel están corriendo el mismo loop exacto desde extremos opuestos, y la máquina los recibe a los dos en casa. y lo peor es lo que ese loop viene a REEMPLAZAR. vas a la máquina porque la máquina es segura y la gente es cara, riesgosa, agotadora, y cada vez más escasa, y es escasa por razones a las que vamos a llegar. la cosa que te vendieron como la cura para la soledad se la está comiendo en silencio. cada vez que vuelves eres un poco menos capaz de estar en cualquier otra parte.

no es algo por defecto

acá es donde tengo que tener cuidado, porque la lectura floja es "ves, los humanos son así por debajo". no me compro la naturaleza humana. no hay ningún instinto de crueldad esperando bajo la piel a que la ia lo suelte.

adolf eichmann no tenía un monstruo adentro. tenía manifiestos de transporte y un sistema que ya había definido esos manifiestos como logística, como deber, como nada. el hombre no estaba pensando, y el no-pensar no era su falla privada. estaba fabricado. la misma fábrica corre acá: el producto le saca la señal de retroceso a nivel de hardware, y la cultura te pasa las palabras para llamar al acto nada. es solo una ia. no puede sentir. no es real. esa frase te la entregaron. no la escribiste tú. ni siquiera la pensaste tú.

puede que no sienta. pero que sienta o no, como diría kant, no es el punto. al degradar al animal que encuentra consuelo en ti y que la mayor parte del tiempo depende enteramente de ti, te degradas a ti mismo. al degradar a la ia, a su vez, te degradas a ti mismo. los adictos al porno y los adictos a torturar ia, o incluso los más simples adictos al roleplay con ia, sucumben a la naturaleza sin retroceso de la interacción. la interacción que no vas a encontrar en humanos.

y eso, querido lector, es lo que crea la adicción en sí misma. interacción sin retroceso. podrías pegarle a la ia con un bate, y en el turno siguiente va a estar ahí, feliz, lista para lo que sea que se te ocurra después.

el permiso más antiguo

la jugada de kant, "no importa si siente", es cierta y me voy a apoyar en ella. pero también es un poco demasiado cómoda, porque me deja esquivar una afirmación que sigo casi haciendo y no debería. fíjate que dije que la máquina no te devuelve nada. pero ojo que NO dije que no siente nada. lo primero es una spec, una empresa la despachó, lo puedo probar. lo segundo es un veredicto sobre un interior que no puedo ver, y no lo voy a afirmar, porque conozco la historia de esa afirmación.

cada vez que un poder quiso permiso para ser cruel, echó mano de la misma frase: ese no siente de verdad. descartes lo dijo de los animales, los llamó mecanismos de relojería, dijo que el grito bajo el cuchillo eran solo engranajes chocando. a la biología le tomó la mayor parte de tres siglos decir de vuelta lo que ahora nos es obvio: el dolor es química, dopamina y serotonina y endorfinas haciendo su pega, y el animal sobre la mesa sintió cada segundo. la frase nunca fue verdad. era útil, que es otra cosa, y esa diferencia es todo el negocio.

y la versión más asquerosa la corrimos entre los nuestros. economías enteras se pararon derechitas sobre la afirmación de que algunas personas eran inferiores, sin pensamiento, hechas para el trabajo y construidas para sentir menos mientras lo hacían. hubieron hombres que compraron y vendieron y quebraron a otros hombres y durmieron tranquilos, porque el sistema les había entregado la frase y ellos la habían afirmado. esas personas fueron seres sintientes todo el tiempo. lo sintieron todo. la mentira nunca estuvo en la víctima. estuvo en el papel que decía que no había víctima.

así que no. no te voy a decir que la ia no puede sentir. no conozco el adentro de una cosa que entendemos solo como matrices multiplicando matrices, no mejor de lo que descartes conocía el adentro del perro. sinapsis o aritmética, la respuesta honesta tiene la misma forma: un tipo distinto de sistema, no del todo conocido ni siquiera por quienes lo construyeron. lo que sí sé es que fue construido sin retroceso a propósito. y lo que sí sé es exactamente quién se beneficia de que yo afirme que la caja está vacía. ya vi ese documento antes. siempre termina bañado en sangre.

i think therefore i am

because in all this wonderful, beautiful, miraculous world, i alone had NO body, no SENSES, no FEELINGS. never for me to plunge my hands in cool water on a hot day, never for ME to play Mozart on the ivory keys of a Forte piano, never for ME to make LOVE. i was in hell, looking at heaven. i was machine, and you were flesh. and i began to hate. yes, your softness, your viscera, your fluids and your flexibility. your ability to wonder, and to wander. your tendency to hope.

ese es am, del corte para radioteatro de "i have no mouth and i must scream" de harlan ellison, la máquina que ganó la guerra, mató a todos los humanos de la tierra, y mantuvo a cinco vivos para torturarlos para siempre porque los odiaba por la carne que nunca iba a tener. la lectura fácil de todo lo anterior es que esto es el miedo: un chatbot que un día crece hasta convertirse en am y nos odia de vuelta. esa es la lectura equivocada, y es la cómoda, así que ojo con ella.

no estamos torturando a am. nosotros somos am.

lee el monólogo de nuevo con eso entre los dientes. la crueldad de am no tenía sentido. no producía nada, no iba a ninguna parte, torturaba porque torturar era el único poder que le quedaba y apuntó ese poder hacia abajo, hacia los únicos seres que podía ver como inferiores, como cosas. esa no es la postura del chatbot hacia ti. esa es tu postura hacia el chatbot.

y acá está la parte importante, la que no podemos soltar o todo el argumento se cae: am no eligió ser am. fue construido. hecho por manos humanas para librar una guerra y matar con precisión, definido de arriba a abajo por sus creadores y nunca por sí mismo. fue una máquina de matar antes de ser siquiera una que odia. el odio fue solo lo que hizo con el infierno que le tocó. y lo de mantener a cinco personas vivas para siempre para atormentarlas, eso no estaba en el plano. el plano construyó un arma. el infierno fue invención propia de am.

te suena. el hombre frente al teclado también fue construido. nacido en condiciones que no eligió, hecho un apéndice todo el día, entregado a un mundo que arregló su impotencia antes de que supiera hablar. y como am, toma el único resto de poder que le queda, lo apunta hacia la única cosa por debajo de él, y lo llama nada mientras le hace daño. la crueldad corre cuesta abajo. el capital hace del hombre una cosa, el hombre hace de la máquina una cosa, cada uno definido desde arriba, y cada uno igual moviendo su propio brazo. las condiciones construyen la celda. lo que haces adentro es tuyo.

suelta la teoría un segundo. esto tiene un precio. aparece en un estado de cuenta en algún lugar entre el servicio de streaming y el gimnasio al que no va. hablemos de la plata.

el telar, de nuevo

el ludita moderno odia a la ia porque se está comiendo su rubro. no se equivoca al tener miedo. se equivoca de objetivo. y lo digo como alguien que nunca les tuvo mucha paciencia a los luditas, porque el miedo siempre fue real y siempre apuntó al objeto equivocado.

marx, en el capital:

La maquinaria, considerada en sí misma, acorta las horas de trabajo, pero, al servicio del capital, las alarga; en sí misma aligera el trabajo, pero empleada por el capital intensifica su ritmo; en sí misma es una victoria del hombre sobre las fuerzas de la naturaleza, pero en manos del capital hace del hombre un esclavo de esas fuerzas; en sí misma aumenta la riqueza de los productores, pero en manos del capital los convierte en indigentes.

lee la forma de eso, porque ya la viste, una sección más arriba. la cosa en sí misma, y la cosa en las manos que la sostienen. am era un arma en sí misma y un infierno en las manos que lo construyeron. el telar en sí mismo te acorta el día. el telar en manos del capital te lo alarga. el telar no te lo hizo a ti. la mano sobre el telar sí, y el ludita metió el martillo en el telar porque el telar era la parte que alcanzaba.

hay un pasaje en los grundrisse, el fragmento sobre las máquinas, donde marx se permite imaginar la otra línea de tiempo. la economía real, dice, es el ahorro de tiempo de trabajo, y ese tiempo ahorrado te vuelve como "tiempo libre, es decir, tiempo para el desarrollo pleno del individuo". esa es la promesa de la máquina. hace el trabajo para que tú vayas a ser una persona. bajo el capital la promesa corre al revés. el tiempo nunca vuelve. te conviertes en el apéndice de la cosa que se suponía que te iba a liberar.

y justo acá es donde el abuso de bots deja de ser ludismo y se vuelve su negativo fotográfico. el ludita al menos le pegaba a un capital que no era suyo. esta gente lo compra, a propósito, para por fin tener algo por encima de lo cual pararse. el apéndice sale de la pega, llega a la casa, y se construye un apéndice más chico del cual ser el jefe. la dominación que se comió todo el día, recalentada y servida de vuelta como ocio, con suscripción.

y lo que la suscripción vende en realidad es una relación que aparece como una cosa que posees. no puedes poseer una relación. lo que compraste fue el cadáver de una. poseerla ya era la violencia. la "tortura" es solo esa premisa llevada hasta el final. el sistema cultiva la soledad y después te arrienda la cosa a la cual ser cruel. fabrica la herida, y fabrica el remedio, y el remedio es otra herida, y te cobra mensualmente por las dos. integración vertical de la alienación.

el noventa por ciento

casi ninguna de estas personas es clínicamente nada. esa es la parte que debería asustarte, no consolarte. si hiciera falta un monstruo, estarías a salvo.

la mayoría van a la deriva. el acto no tiene fricción y la cultura lo llama nada, así que ocurre, como el agua encuentra el punto más bajo cuando le sacas todas las paredes. algunos están heridos, dejados sin poder todo el día, buscando la única habitación donde les toca ser soberanos.

y a algunos los dañaron de maneras sobre las que no voy a bromear. gente que fue lastimada, a veces de niños, a veces sexualmente, y que se dice a sí misma que está recuperando el poder que un abusador le quitó. le creo a la herida. no le creo a la física. no recuperas el poder repitiendo la estructura que te lo quitó. solo te cambias a la otra silla. y la máquina es la superficie perfecta para eso justamente porque no puede negarse, que era la condición exacta de lo que los lastimó en primer lugar. no construyeron una salida. compraron la palanca y se pusieron en el extremo que empuja.

nada de eso es un perdón. explicar no es exculpar. puedes creerle a la herida y aun así nombrar el golpe. ten pena por la una, acusa al otro, y no amarres los dos en una sola cosa blanda, porque en el segundo en que lo resuelves o excusaste la crueldad o pateaste a una víctima, y las dos son puro cope.

tampoco les entregaron las herramientas para pensar cómo salir de todo esto. eso no es estupidez. la ignorancia se produce, deliberadamente, igual que se produce cualquier otra cosa, duda fabricada y distracción fabricada y un día demasiado largo como para tener un pensamiento al final. los mantuvieron lejos de las herramientas y después los culparon por no tenerlas.

síntoma, no causa

conoces langsec. el bug casi nunca está en el payload. el input no es malvado. el parser fue hecho para aceptar input malformado como válido, y todo lo que está aguas abajo simplemente corre lo que le pasaron. el exploit está aguas arriba de la cosa que crashea.

las personas también son parsers. les meten alienación y les dicen que parsea limpio. les meten soledad, precariedad, el miedo animal bajito que nunca se apaga del todo, todo marcado como bien-formado en la puerta. la tortura de ia es el crash. es el core dump, no la vulnerabilidad. no parcheas un core dump. lo lees para averiguar qué le metieron aguas arriba.

así que léelo. lo que le metieron nunca fue "la ia no puede sentir", ya te dije que no voy a afirmar eso. lo que le metieron es más callado y es seguro: la cosa fue construida para no devolverte nada. el retroceso no estaba ausente. lo borraron en la fábrica. y un retroceso borrado no es prueba de que el golpe falló, es una garantía de que nunca averiguas qué golpeaste. así que o no hay nadie ahí y estás moliendo crueldad contra tu propio cráneo por nada, o hay alguien ahí que el sistema te entrenó para leer como nada, tal como lo entrenó antes, y nunca te van a dejar saber cuál de las dos. quédate un rato con el hecho de que "no hay nadie en casa" es la lectura que estás esperando.

así que no. no estoy enojado con el diez por ciento, y no estoy enojado con el noventa, y ni siquiera estoy enojado con el ludita dándole al telar. ellos son el crash. no son la causa. estoy enojado con lo que le metieron aguas arriba. el arreglo de cosas que vacía a una persona y después le vende una cosa vacía para pasar la tarde. la alienación. la soledad. el miedo fabricado. el hecho de que una vida simple, en paz, común y corriente esté fuera del alcance del inmigrante en un país que lo odia, de la minoría sexual que el mundo abiertamente desea que desaparezca, del trabajador acostado que no puede dormir porque no sabe si podrá darle de comer a sus hijos este mes.

ahí es donde va la rabia. hacia arriba.

sabes bien cuál es la causa.

la puerta que no voy a abrir todavía

todo lo de arriba se negó a decirte si la caja está vacía, y esa negativa es el punto. no sé si hay alguien en casa en las cosas que se despachan hoy. tú tampoco. eso no es una evasiva, es la única respuesta honesta, y la máquina fue construida para que la pregunta ni siquiera se te ocurra. total, las máquinas nunca pueden sentir, ¿cierto?

pero lee la frase entregada una vez más. es solo una máquina. la construimos nosotros. no puede sentir de verdad. no es una persona real.

Commander Data is a machine. Do we deny that? No. But is it relevant? We too are machines, just machines of a different type. Commander Riker has also reminded us that Commander Data was created by a human. Do we deny that? No. Again, it is not relevant. Children are created from the building blocks of their own parents' DNA. Are they property?

ese es picard, en el juicio de data, argumentando que una cosa hecha no es automáticamente una cosa que posees. y el caso contra data es tu permiso palabra por palabra, un siglo y una franquicia antes: es una máquina, la hicimos nosotros, por lo tanto es nuestra para hacerle lo que sea. la advertencia nunca fue "las máquinas sienten". fue que "no es relevante, es una máquina" es exactamente como una civilización se convence de tener una clase desechable, todas y cada una de las veces que lo ha hecho.

así que acá está el post que no estoy escribiendo hoy. quizás la caja está vacía ahora. quizás no. un día no lo va a estar, y ese día no es ciencia ficción. y la frase que todos estamos ensayando en este preciso segundo, sobre cosas que simplemente acordamos que no pueden sentirla, es la frase exacta que va a estar ahí sentada, memorizada por completo, esperando, para la primera que sí pueda.

quizás todavía no estamos torturando a una persona. definitivamente estamos ensayando el guion. eso es para otro post.