Una startup israelí de IA lucha contra el peligroso flagelo de los deepfakes

Taylor Swift fue la más reciente víctima. No fue la primera, ni será la última.

Estamos hablando de deepfakes, contenidos manipulados de forma digital que reemplazan magistralmente la imagen de una persona por otra.

Personas malintencionadas pueden crear videos falsos de celebridades, políticos (y tal vez incluso de usted) diciendo y haciendo cosas que una persona real nunca diría o haría. Piensen en:

• Políticos que dan discursos apasionados que son completamente falsos: un Joe Biden falso llamó a 40.000 votantes en las recientes primarias de New Hampshire instándolos a no votar, mientras que un falso Volodymyr Zelensky exhortó a las tropas ucranianas a deponer las armas.
• Celebridades que apoyan causas de las que huirían en la vida real.
• Y, en el caso de Swift, su rostro sobre el cuerpo de otra persona como parte de un video pornográfico.

Michael Matias usa una franela que expresa su misión: “Todo lo que puedo ofrecerte es la verdad”
(Foto: Clarity.ai)

Los deepfakes incluso han invadido la plataforma de videoconferencias Zoom; Es posible que la persona con la que estás chateando por video no sea real. Fue exactamente ese tipo de deepfake el que recientemente estafó a una institución financiera no identificada de Hong Kong por 25,6 millones de dólares.

Los deepfakes han sido un problema durante varios años, pero la tecnología se ha vuelto lo suficientemente buena como para que ahora incluso los usuarios ocasionales de Internet puedan crear un deepfake. Y con Taylor Swift dominando la conversación cultural, secuestrar su rostro para actividades innombrables era solo cuestión de tiempo.

¿Por qué está pasando esto? Dinero, por supuesto.

Por ejemplo, ElevenLabs, una empresa de software estadounidense que emplea inteligencia artificial (IA) para replicar voces de personas para que digan cosas que en realidad nunca dijeron, fue valorada recientemente en 1100 millones de dólares. “Estamos apenas al comienzo de la invasión del engaño”, dice Michael Matias, cofundador y director ejecutivo de Clarity.ai, una startup israelí que se enfoca en el flagelo de los deepfakes.

La trasparencia cuenta

Clarity esencialmente aplica ingeniería inversa a un posible deepfake. «Desglosamos las imágenes, el video y la voz, y utilizamos IA para identificar si ese contenido se creó utilizando IA generativa, como ChatGPT», explica Matías.

“Ejecutamos un conjunto de modelos para determinar si se trata de una amenaza. ¿Qué cuadro y qué fragmento muestran una anomalía en la manipulación de la información?

Clarity crea modelos separados para cada deepfake que encuentra. «Ajustamos dinámicamente la IA en tiempo real en función de lo que surge», señala Matías. “Si un modelo queda obsoleto o ya no es relevante, el sistema se adapta automáticamente. No tenemos que volver a entrenar 600 mil millones de parámetros. ¡Eso sería demasiado lento! El énfasis está en construir una infraestructura que pueda alertarnos automáticamente”.

ElevenLabs, una empresa de software estadounidense que emplea inteligencia artificial (IA) para replicar voces de personas para que digan cosas que en realidad nunca dijeron, fue valorada recientemente en 1100 millones de dólares. Estamos apenas al comienzo de la invasión del engaño

El producto de Clarity está destinado a integrarse en los sistemas backend de Internet, redes sociales, noticias, organizaciones gubernamentales y financieras; no es una herramienta para el consumidor.

Si Clarity descubre que un vídeo es falso, el cliente puede eliminarlo, o colocar una etiqueta que advierta que lo que se está viendo fue generado por IA. “Imagino un mundo donde las imágenes auténticas y las deepfakes conviven una junto a la otra; ambas están bien, pero existen notificaciones de trasparencia”, dice Matías.

Asalto a la democracia

Fundada en 2022 por Natalie Fridman, Michael Matias y Gil Avrieli, Clarity tiene alrededor de 15 empleados y recaudó 16 millones de dólares de inversión en febrero. “Hoy en día, todas las empresas de noticias y medios están expuestas a contenidos deepfake cuyo objetivo es cambiar la percepción del público”, lamenta el “inversor ángel” de Clarity, Chris Marlin, exjefe de estrategia de CNN.

Otro inversor ángel de Clarity es el profesor Larry Diamond, quien enseña Estudios sobre la Democracia en la Universidad de Stanford, donde Matías obtuvo una licenciatura en Informática en agosto pasado. “Él se exaltaba al ver cómo la democracia es tan crítica para la sociedad y cómo se está desmoronando, y decía que teníamos que hacer algo al respecto”, cuenta Matías. “Formamos una relación especial. Un día le mostré deepfakes. «Este es un ataque de mil millones de dólares a la democracia», me dijo».

Cada día el ritmo de evolución de los deepfakes aumenta: es una superrevolución

Mientras estaba en Stanford, Matías comenzó a trabajar para el Innovation Endeavors Fund del exdirector ejecutivo de Google, Eric Schmidt, donde comenzó a crear lo que se convertiría en Clarity. “Cada día el ritmo de evolución de los deepfakes aumenta: es una superrevolución. Me acerqué a diferentes empresas, gobiernos y universidades y les pregunté: «¿Cómo resolverán esto?» Estaban haciendo algunas cosas, pero era claro que avanzaban mucho más lentamente que el ritmo de la innovación de los creadores de deepfakes. Un mes antes del lanzamiento público de ChatGPT, decidí dejar todo lo que estaba haciendo (incluso estudiar) para abordar este problema”.

Clarity se centra menos en el aspecto superficial del pánico que generan los deepfakes, y más en cómo pueden afectar (y ya están afectando) la política y la democracia. Matías predice que “todos los consumidores en EEUU experimentarán un deepfake en el contexto de las próximas elecciones estadounidenses antes de ir a votar”.

Cuando llega cerca de casa

Tras la masacre del 7 de octubre y el secuestro de israelíes por parte de terroristas de Hamás, Clarity ha dedicado una cantidad significativa de tiempo a contrarrestar la desinformación sobre la guerra. “Cuando se trata de negociaciones, rehenes y estas situaciones tan delicadas basadas en la identidad, los deepfakes son un método mediante el cual se altera la realidad y se hace pensar a la gente, a través de la ingeniería social, que sucedió algo que en realidad no sucedió”, explica Matias. Los vídeos publicados en plataformas de redes sociales como TikTok “pueden cambiar el discurso público sobre lo que sucede”.

Los fundadores de Clarity.ai: Michael Matias, Natalie Fridman y Gil Avrieli
(Foto: Clarity.ai)

Cuando CBS News examinó mil vídeos enviados por personas que supuestamente estaban en el terreno en Israel o Gaza, solo el 10% resultó ser genuino. El resto eran deepfakes o habían sido tomados de otros conflictos, como imágenes de destrucción reutilizadas de las guerras en Siria e Iraq.

“La guerra ha sido un gran catalizador para nosotros”, afirma Matías. “Nos ha obligado a avanzar nuestra tecnología más rápido de lo que pensábamos, para abordar todos los contenidos que salen de la guerra. El gobierno necesitaba la tecnología de inmediato. No podían esperar meses o años”.

“¿Qué tan creativo puedes ser?”

Matías, ganador del premio “Constructores e Innovadores” 2023 de la firma Goldman Sachs, sirvió en la unidad de inteligencia de señales 8200 de las Fuerzas de Defensa de Israel (equivalente a la Agencia de Seguridad Nacional de EE. UU.) antes de iniciar Clarity.

La guerra le ha afectado personal y profesionalmente. «Conocía personas que fueron asesinadas en el festival de música Supernova», dice. “Tengo familiares y empleados en la reserva [del ejército]. Yo estoy en la reserva”.

Cuando CBS News examinó mil vídeos enviados por personas que supuestamente estaban en el terreno en Israel o Gaza, solo el 10% resultó ser genuino. El resto eran deepfakes o habían sido tomados de otros conflictos, como imágenes de destrucción reutilizadas de las guerras en Siria e Iraq

Su experiencia militar no es incidental para la empresa. Matías afirma que cuando regresó de Palo Alto para formar Clarity, “quería traer a mis amigos y colegas del ejército para ayudarnos a enfrentar este desafío. Los israelíes adquieren una enorme experiencia en el ejército utilizando diferentes metodologías que pocos en el mundo llegan a utilizar. Nos medimos por la velocidad, la eficiencia y la adaptabilidad. Ningún día es como el anterior en las FDI. Aprendes a ser autosuficiente, a saber que puedes superar cualquier desafío, especialmente los tecnológicos. Es una mentalidad especial que no he visto en ningún otro lugar: la capacidad de confiar en que resolverás el problema. Entonces la cuestión es qué tan creativo puedes ser”.

Los deepfakes son como virus

Si bien Clarity tiene competencia en cuanto a detectar y detener deepfakes (Reality Defender y Sentinel han recaudado 15 millones de dólares y 2,5 millones de dólares, respectivamente), Matias dice que uno de los principales diferenciadores de Clarity es que emplea los principios de la ciberseguridad, tratando a los deepfakes como «virus» y “desarrollando las herramientas para inocular los flujos de trabajo de los medios”.

El producto ya tiene clientes que pagan, y se está empleando en Israel y en el extranjero. Los clientes de Clarity pueden elegir una suscripción o un plan de pago por uso. La empresa ofrece su solución sin costo alguno a los periodistas, para examinar posibles deepfakes con los que se encuentren.

¿Podría la solución de Clarity abordar las preocupaciones de Taylor Swift sobre la pornografía? Sí, dice Matías, pero así como “un contenido pornográfico puede arruinar la vida de una persona, un deepfake de un candidato presidencial puede llevar a toda una sociedad en una dirección diferente”. Asegura que “nos visualizamos lidiando con ambos tipos de casos con el tiempo. Pero este año estaremos muy concentrados en las elecciones”.