Blockchain cung cấp cầu nối để truy cập các GPU có chi phí tính toán thấp hơn bằng cách cho phép truy cập phân tán vào các mô hình và tạo ra thị trường cho các mô hình rẻ hơn với các ưu đãi về mật mã.

Tựa đề gốc: "Sự trỗi dậy của tình trạng thiếu hụt AI và GPU: Blockchain làm giảm bớt tắc nghẽn trong học máy như thế nào"

Viết bởi Tommy Eastman

Biên soạn bởi: Frank, Tin tức tầm nhìn xa

Khi trí tuệ nhân tạo phát triển và nhu cầu về GPU tăng lên, ngành công nghiệp máy học phải đối mặt với vấn đề về chi phí và khả năng tiếp cận GPU. Hãy xem công nghệ chuỗi khối có thể cung cấp giải pháp như thế nào.

ngành công nghiệp GPU

Đã có sự tăng trưởng vượt bậc trong các ứng dụng và tích hợp dựa trên AI trong năm qua. ChatGPT của OpenAI đã trở thành ứng dụng phát triển nhanh nhất từ ​​trước đến nay, đạt 100 triệu người dùng hoạt động hàng tháng chỉ sau hai tháng ra mắt. Để so sánh, TikTok phải mất 9 tháng và Instagram 18 tháng để đạt được cột mốc tương tự.

Nhu cầu về trí tuệ nhân tạo đã tác động lớn đến giá trị và tính sẵn có của các đơn vị xử lý đồ họa (GPU). GPU là các đơn vị xử lý được tối ưu hóa để thực hiện các phép tính song song và xử lý nhiều dữ liệu cùng một lúc, điều này giúp chúng hữu ích cho các ứng dụng học máy, chỉnh sửa video và chơi trò chơi. Do việc sử dụng GPU đa mục đích trong mạch trí tuệ nhân tạo nên nhu cầu thị trường về GPU ngày càng tăng.

GPU được phát triển và phân phối bởi một số công ty, điều này thể hiện rõ ở sự chậm trễ trong chuỗi cung ứng sản xuất. Họ đã liên kết chặt chẽ với ngành công nghiệp blockchain kể từ đợt tăng giá năm 2017, với việc các công ty khai thác bằng chứng công việc của Ethereum mua gần như mọi GPU có sẵn trong năm 2018. Chuỗi khối Ethereum đã chuyển sang bằng chứng cổ phần, nhưng với sự bùng nổ của trí tuệ nhân tạo, công nghệ chuỗi khối vẫn cung cấp các giải pháp hữu ích cho các vấn đề phổ biến như truy cập GPU, chi phí đào tạo, suy luận phân tán, v.v.

Quá trình học máy và những điểm nghẽn

Học máy là một ngành công nghiệp lớn và đang phát triển nhanh chóng. Đào tạo mô hình thường được chia thành nhiều bước và mỗi bước đều có những điểm nghẽn nhất định.

1. Đào tạo mô hình cơ bản

Đào tạo mô hình cơ sở bao gồm lấy một tập dữ liệu lớn (chẳng hạn như Wikipedia) và đào tạo mô hình cơ sở ban đầu để sử dụng làm mô hình thông minh chung hoặc cuối cùng được tinh chỉnh, sử dụng các mẫu và mối quan hệ đã học để dự đoán mục tiếp theo trong chuỗi.

Ví dụ: các mô hình tạo hình ảnh được đào tạo để liên kết các mẫu hình ảnh với văn bản tương ứng, do đó, khi được nhập văn bản, chúng sẽ tạo ra hình ảnh dựa trên các mẫu đã học này. Tương tự, đối với văn bản, mô hình dự đoán từ tiếp theo trong chuỗi văn bản dựa trên các từ và ngữ cảnh trước đó.

Việc đào tạo các mô hình cơ sở tốn kém về nhân công, cơ sở hạ tầng, thời gian và công sức, đồng thời chuỗi cung ứng hiện tại khiến việc có được GPU NVIDIA hiện đại trở nên khó khăn, ngay cả đối với các công ty có túi tiền dồi dào.

Ví dụ: quá trình đào tạo lặp lại GPT-3 của OpenAI kéo dài trong vài tháng và chỉ tiêu tốn hàng triệu đô la chi phí năng lượng. Do đó, việc đào tạo các mô hình cơ sở vẫn là một nỗ lực hết sức tốn kém và chỉ một số ít công ty tư nhân mới có thể tiếp cận được.

Ví dụ: quá trình đào tạo lặp lại GPT-3 của OpenAI kéo dài trong vài tháng và chỉ tiêu tốn hàng triệu đô la chi phí năng lượng. Do đó, việc đào tạo các mô hình cơ sở vẫn là một nỗ lực hết sức tốn kém và chỉ một số ít công ty tư nhân mới có thể tiếp cận được.

2. Tinh chỉnh

Đáng chú ý là, ít tốn tài nguyên hơn so với đào tạo mô hình cơ sở, việc tinh chỉnh sẽ tối ưu hóa các mô hình cho các nhiệm vụ cụ thể (chẳng hạn như mô hình ngôn ngữ để học các phương ngữ mới). Hiệu suất của mô hình cơ sở đối với một nhiệm vụ cụ thể có thể được cải thiện đáng kể thông qua việc tinh chỉnh.

Mặc dù sự khan hiếm GPU ảnh hưởng đến ba lĩnh vực này nhưng việc tinh chỉnh ít bị ảnh hưởng nhất. Tuy nhiên, việc tinh chỉnh hoàn toàn dựa vào mô hình cơ sở nguồn mở. Nếu các công ty tư nhân quyết định ngừng cung cấp nguồn mở cho các mô hình của họ, các mô hình cộng đồng sẽ tụt hậu so với các mô hình hiện đại (SOTA) ở mức đáng báo động.

3. Lý luận

Việc truy cập vào mô hình là bước cuối cùng trong bước này—chẳng hạn như nhận câu trả lời cho các câu hỏi từ ChatGPT, là những hình ảnh được tạo dựa trên sự phổ biến ổn định của lời nhắc của người dùng—yêu cầu tài nguyên GPU để truy vấn mô hình. Suy luận đang leo thang nhanh chóng về mặt yêu cầu tính toán, đặc biệt là về chi tiêu GPU.

Suy luận liên quan đến cả người dùng cuối và nhà phát triển kết hợp mô hình vào ứng dụng của họ, đây là cách đảm bảo khả năng tồn tại về mặt kinh tế của mô hình. Khái niệm này rất quan trọng để tích hợp các hệ thống trí tuệ nhân tạo vào xã hội và tầm quan trọng của nó được phản ánh qua tốc độ chấp nhận nhanh chóng của người dùng cuối tích cực sử dụng các công cụ như ChatGPT.

Sự khan hiếm GPU khiến chi phí suy luận tăng nhanh. Mặc dù các yêu cầu cơ bản về suy luận thấp hơn so với đào tạo mô hình cơ sở, nhưng quy mô ứng dụng được triển khai của công ty yêu cầu tải GPU đáng kinh ngạc khi truy vấn mô hình. Khi tính đa dạng của các mô hình GPU tăng lên (thông qua tinh chỉnh và phát triển mô hình cơ sở mới), tính đa dạng của các ứng dụng sẽ tăng lên và nhu cầu GPU từ suy luận sẽ tăng lên đáng kể.

Blockchain cung cấp giải pháp cho các tắc nghẽn trong học máy

Trước đây, GPU đã được sử dụng để khai thác Ethereum và các token PoW khác. Giờ đây, blockchain được coi là cơ hội duy nhất để cung cấp quyền truy cập và tăng cường sự phối hợp giữa các điểm nghẽn trong không gian GPU - đặc biệt là trong học máy.

Ưu đãi tiền điện tử

Việc triển khai GPU quy mô lớn đòi hỏi vốn trả trước đáng kể, điều này đã cản trở sự tiến bộ trong lĩnh vực này đối với tất cả các công ty ngoại trừ các công ty lớn nhất. Các ưu đãi của chuỗi khối tạo ra tiềm năng cho chủ sở hữu GPU thu lợi nhuận từ điện toán dự phòng, tạo ra thị trường rẻ hơn và dễ tiếp cận hơn cho người dùng.

truy cập phân tán

Bất kỳ ai cũng có thể cung cấp/sử dụng các phép tính, mô hình lưu trữ và mô hình truy vấn - điều này khác biệt đáng kể so với việc cần phải ở giai đoạn thử nghiệm hoặc có quyền truy cập hạn chế trong không gian truyền thống.

Một tính năng quan trọng mà blockchain có thể cung cấp cho không gian học máy là quyền truy cập phân tán. Học máy theo truyền thống yêu cầu các trung tâm dữ liệu lớn vì FMT vẫn chưa được hoàn thiện trên quy mô lớn trên GPU không phân cụm và các giao thức phân tán đang cố gắng giải quyết vấn đề này và nếu thành công sẽ mở ra cánh cửa cho FMT.

điều phối thị trường

Thị trường blockchain giúp điều phối việc mua GPU, cho phép các cá nhân và công ty sở hữu GPU tìm người muốn thuê chúng, thay vì để họ đứng yên và tạo doanh thu trong khi GPU không hoạt động có thể giúp bù đắp chi phí trả trước khi mua GPU, cho phép nhiều hơn Thực thể tham gia lưu trữ GPU.

Cam kết của Foundry đối với AI có trách nhiệm

Lĩnh vực học máy blockchain là một ngành còn non trẻ chỉ có một vài dự án trên mạng chính. Foundry hiện đang hỗ trợ dự án Bittensor AI cũng như Akash, dự án đã được chứng minh là một cách có ý nghĩa để thúc đẩy AI phân tán.

Bittensor

Bittensor là một mạng điện toán phi tập trung, không cần cấp phép, cho phép truy cập dễ dàng hơn vào các mô hình và tạo ra một thị trường mô hình rẻ hơn thông qua các ưu đãi bằng mật mã, nơi bất kỳ ai cũng có thể lưu trữ các mô hình và lời nhắc của người dùng xếp hạng theo một phương thức nhất định Phù hợp với các mô hình cao nhất.

Bittensor đã phát triển thành một trong những dự án trí tuệ nhân tạo lớn nhất trong lĩnh vực tiền điện tử, tận dụng blockchain để tạo ra mạng suy luận tính toán quy mô lớn, gần đây đã phát hành các mạng con khuyến khích các chế độ khác nhau, bao gồm tạo hình ảnh, thị trường dự đoán, v.v.

Foundry thực hiện xác thực và khai thác trên mạng và chạy các nút Proof-of-Authority để đảm bảo sự đồng thuận.

Akash

Akash là thị trường điện toán đa năng cho phép truy cập dễ dàng hơn vào GPU trên quy mô lớn, đào tạo nhiều mô hình cơ sở hơn và giảm chi phí GPU.

Akash gần đây đã ra mắt GPU Marketplace của họ, với các mục tiêu tương tự như giảm rào cản tài chính khi gia nhập, giảm chi phí tính toán GPU và tăng khả năng tiếp cận, đồng thời chương trình đào tạo mô hình cơ bản đang phát triển tại Akash. Foundry đang cung cấp tính toán GPU cho mạng và làm việc với các nhóm để phát triển các tính năng.

Cái gì tiếp theo?

Khi học máy tiếp tục được tích hợp vào doanh nghiệp, nhu cầu về GPU sẽ tiếp tục tăng cao, gây ra các vấn đề liên tục về chuỗi cung ứng trong không gian học máy. Công nghệ chuỗi khối đang hỗ trợ bằng cách cho phép truy cập phân tán vào các mô hình và tạo ra một thị trường mô hình rẻ hơn với các ưu đãi về tiền điện tử. , cung cấp cầu nối để truy cập các GPU có chi phí tính toán thấp hơn.