Google представила TPU 8tx и TPU 8i Max — две новые конфигурации ускорителей восьмого поколения. В апреле компания анонсировала TPU 8t для крупномасштабного обучения и TPU 8i для задач, чувствительных к задержке. Новые системы построены на тех же чипах, но по-разному сочетают вычислительные ресурсы, память, сеть и средства защиты.
TPU 8tx использует чипы TPU 8t вместе с серверными процессорами AMD EPYC пятого поколения. Система рассчитана на инференс, то есть выполнение уже обученной модели, с чувствительными данными. По словам Google, аппаратная защита изолирует данные и веса модели даже во время вычислений. Система также подходит для дообучения моделей на закрытых данных в том же кластере. Сеть Boardfly, которую Google изначально разработала для задач с низкой задержкой, по оценке компании, может сократить задержку вдвое по сравнению с TPU 8t. Параметры теста в анонсе не приведены.
В TPU 8i Max два чипа TPU 8i объединены в одном корпусе. Google заявляет об удвоении вычислительной мощности, объёма встроенной памяти SRAM и пропускной способности памяти HBM относительно TPU 8i. Это аппаратные характеристики. Компания не приводит результаты измерений скорости генерации на конкретной модели. Система рассчитана на задачи с большим объёмом входных данных, например когда модели нужно удерживать в контексте большой репозиторий кода или несколько часов видео.
Главный технолог Google по ИИ и инфраструктуре Амин Вахдат сказал Bloomberg, что обе системы ожидаются в 2027 году. В официальном анонсе Google не указала даты начала доступа, цены или регионы.
