Ảnh minh họa. (Nguồn: Google Health AI)Google hôm 4/4 đã công bố thông tin chi tiết mới về các siêu máy tính họ sử dụng để đào tạo các mô hình trí tuệ nhân tạo (AI), đồng thời cho hay các hệ thống này vừa nhanh hơn vừa tiết kiệm điện hơn các hệ thống tương đương của Nvidia Corp.
Công ty đã thiết kế con chip tùy chỉnh riêng có tên gọi Bộ xử lý Tensor (TPU) hiện đang ở thế hệ thứ tư.
Công ty đang sử dụng những con chip TPU này cho hơn 90% công việc “đào tạo” AI - một quy trình cung cấp dữ liệu thông qua các mô hình để giúp AI thực hiện được nhiều tác vụ khác nhau, như trả lời truy vấn bằng văn bản với giọng điệu giống con người hoặc tạo ra các kết quả bằng hình ảnh.
[EC chấp thuận cho Google mua ứng dụng toán học PhotoMath]
Google hôm 4/4 đã xuất bản một bài báo khoa học mô tả chi tiết cách họ kết nối hơn 4.000 con chip TPU lại để hình thành một siêu máy tính, bằng cách sử dụng các công tắc quang học do chính họ phát triển để giúp kết nối từng máy riêng lẻ.
Cải thiện những kết nối này đã trở thành “mặt trận” cạnh tranh chính giữa các công ty chế tạo siêu máy tính AI. Vì cái gọi là mô hình ngôn ngữ lớn hỗ trợ các công nghệ như Bard của Google hay ChatGPT của OpenAI đã bùng nổ về kích thước, nghĩa là chúng quá lớn để có thể được lưu trữ trên một con chip.
Thay vào đó, các mô hình phải được chia thành hàng nghìn chip, sau đó các chip này phải hoạt động cùng nhau trong nhiều tuần hoặc hơn để huấn luyện mô hình. Mô hình PaLM của Google - mô hình ngôn ngữ mở lớn nhất cho đến nay - đã được chia đôi cho hai siêu máy tính gồm 4.000 chip để đào tạo trong 50 ngày.
Google cho biết các siêu máy tính của họ giúp dễ dàng cấu hình lại các kết nối giữa các chip một cách nhanh chóng, giúp tránh xảy ra sự cố và dễ điều chỉnh để tăng hiệu suất.
Trong bài báo, Google cho biết chip của họ nhanh hơn tới 1,7 lần và tiết kiệm năng lượng hơn 1,9 lần so với hệ thống có kích thước tương đương dựa trên chip A100 của Nvidia có mặt trên thị trường cùng lúc với TPU thế hệ thứ tư.
Người phát ngôn của Nvidia từ chối bình luận về thông tin này.
Google cho biết họ không so sánh thế hệ thứ tư của mình với chip H100 hàng đầu hiện tại của Nvidia, vì H100 được tung ra thị trường sau chip của Google và được sản xuất bằng công nghệ tân tiến hơn.
Mặc dù Google mới công bố thông tin chi tiết về siêu máy tính của mình, nhưng công ty đã đưa siêu máy tính này hoạt động nội bộ từ năm 2020 tại một trung tâm dữ liệu ở hạt Mayes, Oklahoma.
Google cho biết công ty khởi nghiệp Midjourney đã sử dụng hệ thống này để đào tạo mô hình tổng hợp sáng tạo ra những hình ảnh mới sau khi nhận yêu cầu dưới dạng văn bản.
Bên cạnh đó, Google cũng phát tín hiệu rằng họ đang phát triển một TPU mới cạnh tranh với H100 của Nvidia. Tuy nhiên, công ty chưa cung cấp thông tin chi tiết nào về chip này./.
