Theo Google, TPU 8t là "siêu chip huấn luyện mạnh mẽ", được thiết kế đặc biệt cho việc xử lý khối lượng công việc AI thông lượng cao. Hiệu năng tính toán cũng cao hơn gần ba lần so với các thế hệ trước.
Cụ thể, TPU 8t tích hợp 9.600 chip trong một siêu cụm duy nhất, cung cấp khả năng tính toán 121 exaflop (một tỷ tỷ phép tính dấu phẩy động mỗi giây, là ngưỡng sức mạnh điện toán cao nhất hiện nay) và hai petabyte bộ nhớ dùng chung liên kết với nhau thông qua kết nối liên chip tốc độ cao (ICI). Băng thông ICI được tăng gấp đôi giúp đảm bảo ngay cả những mô hình phức tạp nhất cũng đạt được khả năng mở rộng gần như tuyến tính và tối đa hóa hiệu suất hệ thống.
"Giờ đây, chúng tôi có thể rút ngắn thời gian huấn luyện từ nhiều tháng xuống còn vài tuần với sức mạnh của hơn một triệu chip TPU trong một cụm máy chủ duy nhất, được điều phối bởi Pathways và JAX", đại diện Google cho biết.
Hai mẫu chip TPU 8t (trái) và TPU 8i. Ảnh: Google
Trong khi đó, TPU 8i là hệ thống suy luận đột phá của Google dành cho suy luận và học tăng cường (RL). Chip mang lại độ trễ cực thấp cho quy trình làm việc dựa trên tác nhân AI và Mô hình hỗn hợp chuyên gia (MoE). Bằng cách tăng gấp ba bộ nhớ SRAM trên chip lên 384 MB và tăng bộ nhớ băng thông cao (HBM) lên 288 GB, chip được đánh giá phá vỡ rào cản bộ nhớ, lưu trữ bộ nhớ đệm hoàn toàn trên chip.
TPU 8i cũng được Google tăng gấp đôi băng thông ICI lên 19,2 Tb/giây, giảm đường kính mạng ICI hơn 50%. Công ty cũng giới thiệu công cụ tăng tốc mới có tên Collectives Acceleration Engine (CAE) giúp giảm độ trễ trên chip đến 5 lần, giảm thiểu độ trễ trong nhiều tác vụ được vận hành đồng thời. Với thiết kế này, TPU 8i mang lại hiệu suất trên mỗi USD tốt hơn 80% so với thế hệ trước cho suy luận, cho phép trải nghiệm người dùng nhanh chóng, tương tác và tiết kiệm chi phí.
Google cho biết hai chip TPU mới dự kiến sớm được tích hợp vào các hệ thống trung tâm dữ liệu Google Cloud. Tuy nhiên, công ty chưa đưa ra lộ trình chi tiết.
Theo TechCrunch, với loạt thông số ấn tượng, hai mẫu chip mới có thể là mối đe dọa đối với Nvidia ở lĩnh vực chip huấn luyện các mô hình AI. Tuy nhiên, trang này cũng cho rằng nhiều khả năng Google sẽ không tấn công trực diện vào công ty của Jensen Huang, hoặc ít nhất là chưa, nhất là khi cả hai đang có mối quan hệ đối tác.
Giống như Microsoft hay Amazon, Google hiện sử dụng chip tự phát triển để bổ sung sức mạnh tính toán cho các hệ thống dựa trên Nvidia đang có trong cơ sở hạ tầng của mình, thay vì cố gắng thay thế hoàn toàn. Cuối năm ngoái, CEO Google Sundar Pichai hứa hẹn dịch vụ đám mây của hãng sẽ có chip Vera Rubin mới nhất của Nvidia. Điều này đã trở thành hiện thực, khi trong công bố ngày 23/4, công ty cũng trình làng máy chủ vật lý A5X được trang bị chip Vera Rubin NVL72.
Ngoài hai TPU mới, Google cũng giới thiệu một loạt sản phẩm khác. Trong đó, công ty ra máy ảo Axion N4A được trang bị CPU Axion dựa trên kiến trúc Arm tự phát triển; máy ảo Google Compute Engine thế hệ thứ 4 được trang bị CPU Intel và AMD dựa trên kiến trúc x86; nền tảng trung tâm dữ liệu dành cho các tác vụ AI Virgo Network; máy ảo Z4M với bộ nhớ SSD cục bộ dung lượng cao và RDMA cho hệ thống tệp song song mở; hay Google Kubernetes Engine (GKE) - dành cho việc điều phối khối lượng công việc dựa trên tác nhân.
tổng hợp
