Được viết bởi: J1N, Tin tức Techub

Giới thiệu: Kỷ nguyên Một đến Hai

Kuzco là mạng khai thác sức mạnh điện toán chuyên phục vụ các mô hình ngôn ngữ lớn LLM. Năm nay, nó đã được a16z chọn cho chương trình tăng tốc mùa thu Crypto Startup Accelerator (CSX) được ra mắt tại New York vào ngày 9 tháng 9. Các dự án được chương trình lựa chọn sẽ nhận được. ít nhất 500.000 từ khoản đầu tư của a16z USD và sẽ nhận được sự hướng dẫn và hỗ trợ từ nhóm vận hành a16z. Chương trình tăng tốc hiện đã kết thúc.

Vào ngày 16 tháng 11, Kuzco thông báo rằng kế hoạch khuyến khích giai đoạn một (Epoch One) sẽ kết thúc vào ngày 18 tháng 11 năm 2024. Mọi hoạt động sẽ bị tạm dừng, ảnh chụp nhanh dữ liệu sẽ được lưu trữ vĩnh viễn và xếp hạng điểm cuối cùng sẽ được công bố trên danh sách xếp hạng mới .

Theo tiết lộ chính thức, Epoch One được ra mắt vào ngày 6 tháng 3 năm 2024, với số lượng thiết bị cao nhất vượt quá 8.000. Mạng chạy mô hình ngôn ngữ lớn Llama-3 AI đặc điểm kỹ thuật 8B do Meta phát hành , với tổng số suy luận hơn 1 nghìn tỷ. mã thông báo.

Và thông báo rằng thông tin tài chính và lộ trình phát triển dự án sẽ được công bố trong vài tuần tới và chương trình ưu đãi giai đoạn hai (Kỷ nguyên Hai) sẽ được mở vào ngày 9 tháng 12. Epoch Two sẽ mang đến một số tính năng mới, chẳng hạn như thông lượng Phần cứng NVIDIA cao hơn và độ tin cậy khuyến khích người dùng tiếp cận các thiết bị điện toán hàng đầu như A100 và H100 hỗ trợ nhiều hơn cho việc tạo hình ảnh và mô hình ngôn ngữ đa phương thức VLM.

Vẫn còn nửa tháng để chuẩn bị trước khi ra mắt Kỷ nguyên thứ hai. Bài viết này sẽ thảo luận về:

Đánh giá Epoch One: Chiến đấu một người

Cấu hình

Danh sách cấu hình của tác giả bao gồm card đồ họa dòng RTX 2060, 2070S, 3080, 4060, 4060Ti, cũng như 4 thiết bị 4070S và 2 thiết bị Apple M2 và M3. Các thiết bị này được phân phối trên nhiều máy chủ, máy tính xách tay và giàn khai thác chuyên dụng.

trị giá

Điều đáng nói là những card đồ họa này ban đầu được tác giả mua hàng năm cho nhu cầu chơi game chứ không phải mua riêng cho mục đích khai thác. Do đó, chi phí mua phần cứng không được tính vào chi phí mà chỉ tính chi phí điện thực tế của máy khai thác. Đây là bài viết đầu tiên " A16z "Đệ tử" Kuzco Hướng dẫn thực hành: Làm thế nào để tiến hành khai thác năng lượng máy tính AI một cách hiệu quả? 》Ví dụ về máy khai thác được lắp ráp.

Cấu hình máy khai thác:

Máy khai thác cọ xát bằng tay

Hình ảnh bên dưới cho thấy lượng điện năng tiêu thụ của máy khai thác trong tháng 10 và tháng 11. Tổng cộng đã thu được 564 kilowatt giờ và Điểm KZO kiếm được là khoảng 600 triệu điểm. Tất cả các máy cộng lại sẽ có tổng cộng khoảng 1,1 tỷ điểm. Chi phí điện cụ thể cần được tính toán dựa trên hóa đơn tiền điện tại địa điểm của bạn. Chi phí này chỉ mang tính chất tham khảo.

Ở ngoài cùng bên phải của bức tranh, đã thu được tổng cộng 1 tỷ điểm

Chuẩn bị cho Kỷ nguyên thứ hai: Triển khai cụm

Dựa trên những chia sẻ của tác giả trong bài viết đầu tiên và kinh nghiệm vận hành và bảo trì phong phú khi trực tiếp tham gia lắp ráp thiết bị, gỡ lỗi và triển khai môi trường, tác giả đã thành công nhận được một khoản hỗ trợ tài chính nhất định và đầu tư toàn bộ vào việc lắp ráp các máy khai thác hiệu suất cao để hơn nữa Cải thiện quy mô sức mạnh tính toán và hiệu quả hoạt động.

Chuẩn bị cho Kỷ nguyên thứ hai: Triển khai cụm

Dựa trên những chia sẻ của tác giả trong bài viết đầu tiên và kinh nghiệm vận hành và bảo trì phong phú khi trực tiếp tham gia lắp ráp thiết bị, gỡ lỗi và triển khai môi trường, tác giả đã thành công nhận được một khoản hỗ trợ tài chính nhất định và đầu tư toàn bộ vào việc lắp ráp các máy khai thác hiệu suất cao để hơn nữa Cải thiện quy mô sức mạnh tính toán và hiệu quả hoạt động.

Từ từng binh sĩ đến triển khai cụm

Cấu hình và logic lựa chọn của máy có thông số kỹ thuật cao

Kết hợp với kinh nghiệm thực tế của tác giả trong Epoch One, bo mạch chủ, CPU, card đồ họa, nguồn điện, nền tảng và cấu hình mạng đã được tối ưu hóa hoàn toàn và lựa chọn sự kết hợp phần cứng phù hợp hơn, điều này không chỉ cải thiện độ ổn định, bảo mật và hiệu quả của hệ thống. hoạt động tổng thể, đồng thời chú ý hơn đến tính thanh khoản của thị trường đồ cũ trong việc lựa chọn phần cứng. Chiến lược này có thể giảm chi phí đầu tư thực tế một cách hiệu quả và cung cấp cho những người tham gia tiếp theo những lựa chọn hiệu quả về chi phí cao hơn.

bo mạch chủ

Tác giả đã chọn bo mạch chủ công nghiệp thay vì B85 phổ thông, chủ yếu dựa trên những cân nhắc toàn diện về hiệu suất, độ ổn định và hiệu quả chi phí.

Về hiệu năng, việc chạy mô hình Llama-3 của Kuzco yêu cầu khởi động nhiều tiến trình Docker và việc chạy song song các tiến trình này sẽ chiếm nhiều tài nguyên CPU và yêu cầu hiệu suất CPU cao và CPU tương thích B85 không thể đáp ứng được nhu cầu này.

Ngoài ra, bo mạch chủ công nghiệp có những ưu điểm rõ ràng về khả năng hoạt động ổn định lâu dài, khả năng chịu nhiệt độ cao và bảo hành của nhà sản xuất, đồng thời có tính thanh khoản cao hơn trên thị trường đồ cũ nên chắc chắn chúng là sự lựa chọn tốt nhất.

card đồ họa

Tác giả lựa chọn sử dụng 4070S làm card đồ họa chính chủ yếu dựa trên những điểm sau:

Ưu điểm của hiệu suất tính toán AI: So với card đồ họa dòng 30, mức cải thiện hiệu suất của card đồ họa dòng 40 trong tính toán AI lớn hơn nhiều so với sự cải thiện về hiệu suất trò chơi. Nguyên nhân cốt lõi là sức mạnh tính toán AI chủ yếu phụ thuộc vào số lượng lõi CUDA của card đồ họa và card đồ họa dòng 40 có số lõi CUDA nhiều hơn đáng kể so với card đồ họa dòng 30.

Ưu điểm về hiệu quả năng lượng: Tác giả đã tiến hành thử nghiệm chi tiết trên nhiều loại GPU và tính toán mức tiêu thụ điện năng trung bình của từng Token.

Đánh giá từ kết quả thử nghiệm, 4070S hoạt động tốt nhất về mặt cân bằng giữa hiệu suất và mức tiêu thụ điện năng. Tỷ lệ hiệu suất năng lượng cao hơn trực tiếp giúp giảm chi phí điện, khiến nó trở thành lựa chọn tiết kiệm chi phí nhất.

Giá cả và tính thanh khoản trên thị trường đồ cũ: Là một card đồ họa tầm trung đến cao cấp, 4070S có tính thanh khoản cao và khả năng giữ giá trị trên thị trường đồ cũ, giúp giảm hơn nữa chi phí giữ thiết bị và mang lại sự linh hoạt cho những lần sử dụng tiếp theo. nâng cấp phần cứng.

CPU

Như đã đề cập trước đó, Llama-3 của Kuzco cần khởi động nhiều Docker khi chạy, điều này tiêu tốn tài nguyên CPU cực kỳ đáng kể. Đặc biệt khi chạy trên nhiều thẻ, mức sử dụng CPU có thể lên tới 80%-90%. Vì vậy, khả năng xử lý đa lõi, đa luồng là đặc biệt quan trọng. CPU hiệu suất cao, đa luồng và ổn định không chỉ có thể hỗ trợ hiệu quả các hoạt động đa tác vụ mà còn đảm bảo tính ổn định và hiệu quả của toàn bộ quá trình khai thác.

I5 thế hệ thứ 13 có thể đạt mức sử dụng hơn 70% khi chạy card đồ họa ở mức đầy tải.

Đường mềm là ô vuông trong hình

Môi trường mạng cũng rất quan trọng trong việc khai thác. Ngay cả khi cấu hình card đồ họa hiệu suất cao, nếu mạng không được tối ưu hóa, khả năng tính toán sẽ bị ảnh hưởng nghiêm trọng. Theo đo lường thực tế của tác giả, tốc độ mạng không đủ có thể khiến công suất tính toán giảm xuống 30% và các nút mạng chất lượng thấp có thể trực tiếp dẫn đến việc không thể kết nối với mạng Kuzco. Cả hai điểm này đều không được chấp nhận để khai thác. Để giải quyết những vấn đề này, tác giả áp dụng giải pháp định tuyến mềm. Phương pháp này không chỉ dễ cấu hình mà còn có thể chạy hiệu quả mà không cần can thiệp thủ công sau khi hoàn tất thiết lập. Đối với các phương pháp vận hành cụ thể, độc giả nên tham khảo thông tin liên quan theo nhu cầu của mình.

cung cấp điện

Bộ nguồn bom hạt nhân Classic Great Wall 2000w

Bộ nguồn bom hạt nhân Classic Great Wall 2000w

Khi lựa chọn bộ nguồn, bạn cần đặc biệt chú ý đến vấn đề công suất tiêu thụ cao điểm. Đây là lý do vì sao dù công suất tiêu thụ định mức của 4070S 7 shot chỉ là 1540W nhưng tác giả vẫn chọn sử dụng bộ nguồn kép 2000W. với tổng công suất 4000W. Đây không phải là lãng phí tài nguyên mà còn chưa xét đến tính ổn định và an toàn của thiết bị.

Card đồ họa sẽ có mức tiêu thụ điện năng cao nhất trong quá trình hoạt động, tức là mức tiêu thụ điện năng thực tế của nó có thể đạt tới 1,5 lần hoặc hơn mức tiêu thụ điện năng định mức tại một số thời điểm nhất định, sau đó quay trở lại mức bình thường. Nếu bộ nguồn không đủ mạnh để xử lý mức đỉnh này, nó có thể kích hoạt cơ chế buộc phải tắt nguồn và thậm chí gây hư hỏng card đồ họa. Đây là mối đe dọa chết người đối với hoạt động bình thường của máy khai thác.

Hiệu suất tiêu thụ điện năng khi chạy 4070s

Lấy 4070S làm ví dụ, mặc dù mức tiêu thụ điện định mức của nó là 220W nhưng mức tiêu thụ điện cao nhất có thể vượt quá 400W. Tổng công suất tiêu thụ đỉnh của 7 card đồ họa có thể lên tới hơn 3000W, do đó, bộ nguồn kép 2000W được cấu hình để đảm bảo cho máy hoạt động ổn định. Người dùng định cấu hình nhiều 4090 cần đặc biệt chú ý. Mức tiêu thụ điện năng định mức của một 4090 là 450W và mức tiêu thụ điện năng cao nhất có thể lên tới 770W. Trong trường hợp có nhiều thẻ, chỉ có hai bộ nguồn có thể không đáp ứng được nhu cầu. Trong trường hợp này, thường cần ba bộ nguồn để đảm bảo sự ổn định của hệ thống.

Hiệu suất tiêu thụ điện năng khi chạy 4090

Bổ sung

Đối với các vấn đề như cài đặt BIOS, khả năng tương thích phần cứng và quản lý từ xa, tôi sẽ không đi sâu vào chi tiết ở đây. Có một số lượng lớn các hướng dẫn miễn phí trên Internet để tham khảo Hầu hết các vấn đề có thể được giải quyết bằng cách làm theo các hướng dẫn. Bạn nên tiến hành xem xét và xử lý có mục tiêu theo nhu cầu và cấu hình phần cứng của riêng mình, việc này rất đơn giản và hiệu quả.

Rủi ro và lợi ích

Đối với các vấn đề như cài đặt BIOS, khả năng tương thích phần cứng và quản lý từ xa, tôi sẽ không đi sâu vào chi tiết ở đây. Có một số lượng lớn các hướng dẫn miễn phí trên Internet để tham khảo Hầu hết các vấn đề có thể được giải quyết bằng cách làm theo các hướng dẫn. Bạn nên tiến hành xem xét và xử lý có mục tiêu theo nhu cầu và cấu hình phần cứng của riêng mình, việc này rất đơn giản và hiệu quả.

Rủi ro và lợi ích

Trả lời câu hỏi mà mọi người quan tâm nhất: Mỗi ngày đào được bao nhiêu tiền? Thành thật mà nói, không có câu trả lời rõ ràng cho câu hỏi này vì rủi ro và phần thưởng luôn tồn tại cùng nhau. Tôi có thể chia sẻ quan điểm rõ ràng: Dù là vòng tròn tiền tệ hay ngành công nghiệp truyền thống, nếu bất kỳ dự án nào có thể tính toán chính xác thu nhập hàng ngày thì bạn có thể sẽ không kiếm được nhiều tiền. Trừ khi bạn có một số nguồn lực độc quyền nhất định, chẳng hạn như chi phí điện cực thấp hoặc thiết bị khai thác rất rẻ, bạn mới có thể có lợi thế về doanh thu. Tuy nhiên, không phải ai cũng có nguồn lực như vậy.

Tác giả lựa chọn chính xác thiết bị có tính thanh khoản tốt để giảm rủi ro đầu tư và áp lực chi phí. Lấy việc khai thác Kuzco làm ví dụ, chi phí chủ yếu tập trung vào chi phí khấu hao phần cứng và điện, do đó tổn thất tối đa của bạn được giới hạn ở các chi phí cố định này. Nếu việc tham gia không được thực hiện với chi phí thấp thì mọi quyết định đầu tư đều mất đi ý nghĩa. Cần nhấn mạnh rằng đặc điểm của việc khai thác mỏ đầu tiên xác định không có kỳ vọng lợi nhuận rõ ràng nhưng đây cũng chính là tiềm năng của mỏ đầu tiên.

Theo đánh giá chủ quan, đường đua này có triển vọng thị trường rất lớn: một mặt Kuzco đã nhận được sự hỗ trợ đầu tư từ a16z; mặt khác, nhu cầu về các mô hình ngôn ngữ lớn LLM đang ngày càng mở rộng. Hãy nghĩ mà xem, hầu như không ai không sử dụng LLM phải không? Chẳng hạn như ChatGPT của OpenAI, Llama của Meta và XAI của Musk, những nền tảng này đã nhận được các vòng tài trợ trị giá cao, thể hiện rõ ràng tiềm năng tăng trưởng của ngành này.

Không dễ để người dân bình thường có thể trực tiếp tham gia vào ngành AI. Một mặt, ngưỡng kỹ thuật của AI cao; mặt khác, việc đào tạo các mô hình AI đòi hỏi một lượng lớn nguồn lực và kinh phí, và hầu hết mọi người không đủ khả năng chi trả những chi phí như vậy. Bằng cách tham gia mạng lưới sức mạnh tính toán AI thông qua Kuzco, những người bình thường có thể dễ dàng tham gia vào lĩnh vực có tốc độ tăng trưởng cao này với chi phí có thể kiểm soát được, đóng góp vào sức mạnh tính toán AI và đồng thời kiếm được lợi nhuận.

Ngoài ra, giá Bitcoin hiện sắp vượt quá 100.000 USD, tăng từ 16.000 USD vào năm 2022 lên mức cao nhất hiện nay và có nguy cơ thoái lui rất lớn đằng sau nó. Nếu bạn chọn mua trực tiếp token của các dự án AI, bạn cũng sẽ phải đối mặt với rủi ro biến động cao tương tự. Ngược lại, tham gia vào mạng lưới điện toán AI là một lựa chọn sáng suốt hơn: không chỉ chi phí được kiểm soát rõ ràng mà còn có thể bước vào đường đua tăng trưởng tốc độ cao của ngành AI với rủi ro tương đối thấp. Đây là một trong những cách thiết thực để người dân bình thường bước vào lĩnh vực AI trong môi trường hiện nay.