Chương 340: Tính toán từ Đông sang Tây!

Xây dựng hệ thống mạng lưới tính toán kiểu mới tích hợp trung tâm dữ liệu, điện toán đám mây và dữ liệu lớn, để dẫn dắt nhu cầu tính toán từ phía Đông sang phía Tây một cách có trật tự.
Phía Tây đất rộng người thưa, tài nguyên phong phú.
Phía Đông dân cư đông đúc, tiêu thụ điện quá lớn.
Nếu lại xây dựng tất cả các trung tâm dữ liệu ở phía Đông?
Thì mức tiêu thụ điện sẽ vô cùng khủng khiếp.
Hiện tại, nhiều trung tâm dữ liệu do Âm Phù Vân đầu tư xây dựng đã hoàn toàn được kích hoạt.
Mấy trung tâm dữ liệu còn lại cũng sẽ lần lượt được đưa vào sử dụng vào năm sau.
Sau khi tất cả các trung tâm dữ liệu đi vào hoạt động, sẽ có 2 triệu máy chủ.
Hiện tại, dữ liệu của Tập đoàn Tinh Hải và Tập đoàn Âm Phù đã hoàn toàn được đặt trong các trung tâm dữ liệu của riêng mình.
Trung tâm tính toán cung cấp sức mạnh tính toán vượt quá 3000 PetaFLOPS!
Sau đó, khi công trình nhà máy quang khắc hoàn thành.
Nâng cấp chip AI tốt hơn.
Sức mạnh tính toán này còn có thể tăng gấp đôi!
Hiện tại, sức mạnh tính toán của Âm Phù Vân… đã có thể hỗ trợ huấn luyện hoàn chỉnh các mô hình hàng trăm tỷ tham số.
Trong tương lai, khi tăng gấp đôi, đủ để dễ dàng hỗ trợ huấn luyện hoàn chỉnh các mô hình nghìn tỷ tham số.
Việc huấn luyện các mô hình tham số trí tuệ nhân tạo, ở bước thứ 100, bước 1000, hay những bước đầu… hiệu suất ở mọi mặt đều không quá tốt, khả năng hiểu và xử lý có thể còn không bằng trợ lý giọng nói của các hãng điện thoại hiện nay.
Hiệu suất có thể nói là: 0 điểm.
Nhưng: Khi huấn luyện đạt 100.000 tham số, AI đã có sự thay đổi về chất, nếu trước đây là 0 điểm… thì bây giờ có thể đạt 10-20 điểm rồi, được coi là một: AI "ngu ngốc"!
Khi tham số huấn luyện đạt từ 10^5 đến 10^6 (1 triệu), mô hình bùng nổ lên 100 điểm!
AI trong một lĩnh vực nào đó, từ chỗ không biết gì, đến chỗ thông hiểu mọi thứ, đều đã nắm vững!
Một triệu tham số đã là một sự thay đổi về chất.
Vào năm 2022, Google đã công bố một bài báo: Khi tham số đạt 100 tỷ, mô hình sẽ xuất hiện nhiều hiện tượng kỳ diệu hơn, đột nhiên có thể hiểu ngôn ngữ, và xử lý các tác vụ quy mô lớn.
Trong khi kỷ nguyên của GPT2, chỉ có mười mấy tỷ tham số mà thôi!
GPT2 còn cách hàng trăm tỷ tham số rất xa… nhưng Microsoft đã đầu tư hàng chục tỷ đô la để thúc đẩy GPT3 đạt đến hàng trăm tỷ tham số.
Khi đó, mọi người nghĩ rằng khả năng sáng tạo của con người không thể bị AI thay thế.
Trên thực tế… AI có thể thay thế khả năng sáng tạo của con người!
Hiện nay, sức mạnh tính toán của Âm Phù Vân đủ để hỗ trợ huấn luyện hàng trăm tỷ tham số, tiếp theo chỉ là không ngừng đưa dữ liệu vào để huấn luyện.
Điều này đòi hỏi rất nhiều nhân lực, vật lực, tài chính.
Đồng thời, sức mạnh tính toán này có thể dễ dàng hỗ trợ AI thương mại hóa!!
Ngay cả AI trưởng thành cấp độ GPT4, sức mạnh tính toán khổng lồ hiện tại của Âm Phù Vân cũng có thể hỗ trợ nó thương mại hóa!
Thương mại hóa toàn cầu!