Google Cloud anunció este lunes (9) dos nuevos chips de inteligencia artificial, el TPU 8tx y el TPU 8i Max, según los medios brasileños Canaltech y Tecmundo. Los componentes amplían la línea de TPUs de 8ª generación, cuyos primeros modelos, el TPU 8i y el TPU 8t, se presentaron en abril de este año.

TPU es la sigla de Tensor Processing Unit (unidad de procesamiento de tensores), el chip que Google desarrolla desde hace años para entrenar y ejecutar modelos de inteligencia artificial en sus propios centros de datos y en los de clientes de Google Cloud, según ambas publicaciones.

Seguridad integrada en el hardware

El TPU 8tx fue diseñado para mantener protegidos y aislados los datos sensibles y los pesos de los modelos incluso durante el uso activo, integrando la seguridad directamente en la capa de hardware, según Tecmundo. El chip usa hosts de CPU personalizados de AMD para garantizar el almacenamiento seguro de la información, de acuerdo con Canaltech, y tiene una latencia dos veces menor que la del TPU 8t, según Tecmundo.

Más memoria para agentes a gran escala

El TPU 8i Max, por su parte, fue creado para eliminar los cuellos de botella de memoria en el procesamiento de agentes de IA, según ambas fuentes. El chip admite ventanas de contexto masivas —la cantidad de texto que un modelo puede considerar a la vez— y duplica la capacidad de cómputo, la memoria SRAM y el ancho de banda de memoria HBM respecto al TPU 8i, según Tecmundo.

Canaltech agrega que el nuevo componente también aumenta la densidad computacional, es decir, el poder de procesamiento disponible por metro cuadrado y por watt en un centro de datos, al incorporar el doble de silicio dentro de la misma estructura física.

Por qué ahora

Según Canaltech, el propio Google afirma que el salto de la escala humana a la escala agéntica exige más poder de cómputo, en particular porque un solo bot puede crear flujos de trabajo complejos y continuos, en lugar de responder a una orden aislada a la vez. "Con la computación migrando de la escala humana a la escala de agentes, las empresas piden aceleradores que puedan razonar sobre las ventanas de contexto masivas de los modelos de IA. Además, algunos clientes, altamente regulados, piden funciones de cifrado especializadas para cargas de trabajo únicas", dijo Amin Vahdat, director de tecnología y vicepresidente sénior de IA e infraestructura de Google, en un comunicado citado por Canaltech y Tecmundo.

Tecmundo informa que alrededor de 100 clientes ya usan la tecnología de TPUs de Google, entre laboratorios de punta, universidades, minoristas y empresas de trading, según datos divulgados por la propia compañía. La publicación agrega que Google usa los TPUs tanto para entrenar sus propios modelos de IA destinados a cargas de trabajo de agentes como para ofrecerlos a clientes de Google Cloud, que pueden acceder a los chips de forma remota a través de la nube o implementarlos en sus propios centros de datos conforme crece la demanda.

Ni Canaltech ni Tecmundo informaron el precio de los nuevos chips ni una fecha de disponibilidad general para los clientes de Google Cloud. Tampoco detallaron si el TPU 8tx y el TPU 8i Max llegarán a otras regiones además de las ya atendidas por la infraestructura actual de la empresa.

En la práctica

  • Quién puede usarlo: clientes de Google Cloud, incluidos laboratorios de IA, universidades, minoristas y empresas de trading — unos 100 clientes ya usan TPUs de Google, según Tecmundo.
  • Desde cuándo: anunciado este lunes (9); las fuentes no informan una fecha de disponibilidad general.
  • Qué cambia: el TPU 8tx tiene una latencia dos veces menor que el TPU 8t, de abril, y el TPU 8i Max duplica la capacidad de cómputo, la memoria SRAM y el ancho de banda HBM del TPU 8i, según Tecmundo.
  • Quién se ve afectado: empresas que ejecutan agentes de IA a gran escala y clientes regulados que exigen cifrado especializado, según Google.