TL;DR: Tìm hiểu cách phân tích hiệu quả dữ liệu blockchain bằng cách sử dụng bộ dữ liệu do Pinax cung cấp. Tìm hiểu cách giải pháp của chúng tôi đơn giản hóa việc truy cập vào dữ liệu ETH thông qua các tệp Parquet và cơ sở dữ liệu được quản lý như Snowflake, cho phép bạn thực thi các truy vấn SQL để trích xuất những thông tin chi tiết có giá trị như người dùng hoạt động hàng ngày và hoạt động hợp đồng hàng đầu.
Chúng tôi rất vui mừng được giới thiệu một sản phẩm đang thay đổi phân tích dữ liệu blockchain: Bộ dữ liệu trên The Graph được tích hợp với Snowflake. Trong bài đăng này, chúng tôi sẽ khám phá những vấn đề chúng tôi đang giải quyết, các giải pháp đổi mới của chúng tôi, cách mọi người đang sử dụng bộ dữ liệu của chúng tôi và tầm nhìn của chúng tôi về tương lai.
Liên kết video: https://youtu.be/7CxFGgNmu-Y
Để biết thêm thông tin về tập dữ liệu của chúng tôi, vui lòng đọc bài viết:
Blockchain tạo ra lượng lớn dữ liệu lớn và khó quản lý. Việc trích xuất dữ liệu này, đặc biệt là khi nói đến các tương tác chi tiết từ các nút RPC, yêu cầu phải có công cụ tùy chỉnh.
Các nhà phân tích quen với các công cụ truyền thống như SQL gặp khó khăn trong việc đối phó với sự phức tạp của việc trích xuất dữ liệu blockchain. Kết hợp với thách thức xử lý nhiều mạng blockchain, nó trở thành gánh nặng hoạt động.
Truy cập hiệu quả dữ liệu này cũng có nghĩa là giảm thiểu nhu cầu tải xuống các tập dữ liệu lớn. Đó là lý do tại sao chúng ta cần một giải pháp hỗ trợ lưu trữ dữ liệu để bạn chỉ có thể truy vấn những dữ liệu mình cần.
Các nhà phân tích quen với các công cụ truyền thống như SQL gặp khó khăn trong việc đối phó với sự phức tạp của việc trích xuất dữ liệu blockchain. Cùng với thách thức xử lý nhiều mạng blockchain, nó trở thành gánh nặng hoạt động.
Truy cập hiệu quả dữ liệu này cũng có nghĩa là giảm thiểu nhu cầu tải xuống các tập dữ liệu lớn. Đó là lý do tại sao chúng ta cần một giải pháp hỗ trợ lưu trữ dữ liệu để bạn chỉ có thể truy vấn những dữ liệu mình cần.
Chúng tôi tận dụng hai công nghệ mạnh mẽ: Firehose và Substreams . Các dịch vụ này chạy trên The Graph và cho phép trích xuất và lưu trữ dữ liệu blockchain một cách hiệu quả. Trước tiên, chúng tôi xác định kiến trúc khối cho các chuỗi khác nhau (dựa trên EVM, Solana, BTC) và sau đó xuất chúng dưới dạng tệp Parquet - về cơ bản là các tệp phẳng có thuộc tính cơ sở dữ liệu. Các tệp này được lưu trữ trên AWS S3 hoặc các nhóm tương thích với S3 khác.
Để làm cho dữ liệu dễ truy cập hơn, chúng tôi không dừng lại ở việc lưu trữ thô. Chúng tôi cũng liệt kê dữ liệu trên Snowflake Marketplace. Bạn có thể truy vấn dữ liệu thô từ S3 hoặc kết nối trực tiếp với cơ sở dữ liệu được quản lý Snowflake để chạy truy vấn SQL đối với tập dữ liệu được quản lý. Tính linh hoạt này cho phép bạn truy cập dữ liệu blockchain theo cách bạn muốn.
Bạn có một số tùy chọn để truy cập dữ liệu của mình. Bạn có thể:
- Tải dữ liệu thô từ S3 vào cơ sở dữ liệu bằng bảng bên ngoài hoặc phương pháp sao chép trực tiếp.
- Sử dụng SQL để truy vấn trực tiếp dữ liệu trong cơ sở dữ liệu được quản lý như Snowflake.
- Lập trình đọc một tệp Parquet bằng thư viện Python như Polars hoặc pandas.
---Ảnh chụp màn hình từ slide video, Đường ống dữ liệu cho Kiến trúc MVP.
Đường dẫn dữ liệu bắt đầu với Firehose, hỗ trợ thiết bị đo đạc các bộ dữ liệu chuỗi khối để tạo ra các loại khối được tiêu chuẩn hóa chảy qua Dòng con. Ở đây, chúng tôi xác định lược đồ cho các loại dữ liệu khác nhau (khối, dấu vết giao dịch, nhật ký) và chuyển đổi chúng thành tệp Parquet.
Dữ liệu được trích xuất có thể được lưu trữ trên S3 và sau đó được sử dụng theo nhiều cách khác nhau, chẳng hạn như công cụ tính toán SQL hoặc thư viện Python. Chúng tôi cũng hỗ trợ hai phương thức cổng khác nhau:
- Người yêu cầu thanh toán: Việc thanh toán dựa trên mức sử dụng bộ nhớ S3, cho phép bạn thanh toán cho lượng dữ liệu cụ thể mà bạn truy cập.
- Snowflake Marketplace: Bạn có thể truy cập trực tiếp vào tập dữ liệu của mình mà không cần sao chép và tận hưởng sự tiện lợi bổ sung của cơ sở dữ liệu được quản lý sẵn sàng cho SQL.
---Ảnh chụp màn hình từ trình chiếu video, Cổng dành cho Kiến trúc MVP.
Snowflake cung cấp một thị trường nơi bạn có thể dễ dàng tìm thấy các bộ dữ liệu. Ví dụ: tìm kiếm "Ethereum" sẽ hiển thị danh sách từ các nhà cung cấp dữ liệu nổi tiếng. Bộ dữ liệu Ethereum của chúng tôi được dùng thử miễn phí và không có phí niêm yết.
Bạn có thể xem trước dữ liệu để làm quen với cấu trúc của nó bằng cách xem các bảng như khối, nhật ký và băm giao dịch. Hiện tại, Snowflake lưu trữ dữ liệu này ở một khu vực duy nhất (Bắc Virginia, Miền Đông Hoa Kỳ) và chúng tôi dự định bổ sung thêm nhiều khu vực khác trong tương lai nếu cần.
Bạn có thể xem trước dữ liệu để làm quen với cấu trúc của nó bằng cách xem các bảng như khối, nhật ký và băm giao dịch. Hiện tại, Snowflake lưu trữ dữ liệu này ở một khu vực duy nhất (Bắc Virginia, Miền Đông Hoa Kỳ) và chúng tôi dự định bổ sung thêm nhiều khu vực khác trong tương lai nếu cần.
Trong bản demo của chúng tôi, chúng tôi sẽ hướng dẫn cách sử dụng sổ ghi chép Python của Snowflake để phân tích người dùng hoạt động hàng ngày trên Ethereum và trực quan hóa dữ liệu bằng cách sử dụng gấu trúc. Chúng tôi cũng khám phá các hợp đồng hàng đầu theo hoạt động, nêu bật việc đi sâu vào chi tiết cấp hợp đồng dễ dàng như thế nào.
Hiện tại, chúng tôi lưu trữ Ethereum trên Snowflake và S3. Chúng tôi đang tích cực mở rộng để hỗ trợ các chuỗi EVM khác như Base, Arbitrum, BSC và Polygon, cũng như các chuỗi không phải EVM như Solana và BTC. Ngoài ra, chúng tôi mong muốn giảm tốc độ làm mới dữ liệu từ 24 giờ xuống mức thấp nhất có thể, biến việc phân tích gần như thời gian thực trở thành hiện thực.
Chúng tôi rất vui mừng được tiếp tục xây dựng và phát triển sản phẩm, mở rộng hỗ trợ cho nhiều chuỗi khối hơn và nâng cao khả năng thời gian thực để mọi người, từ nhà phân tích đến nhà phát triển, có thể truy cập dữ liệu chuỗi khối.
Dựa trên phản hồi của khách hàng và sự thành công của chương trình thí điểm tập dữ liệu của chúng tôi trên Snowflake, bạn có thể thấy các tập dữ liệu dưới dạng dịch vụ dữ liệu được hỗ trợ đầy đủ trên The Graph trong tương lai.
Nếu bạn muốn khám phá cách chúng tôi có thể đơn giản hóa việc truy cập dữ liệu blockchain dựa trên nhu cầu của bạn, vui lòng truy cập trang web của chúng tôi hoặc liên hệ trực tiếp với chúng tôi để tìm hiểu thêm. Yêu cầu bản demo để xem cách chúng tôi có thể chuyển đổi cách bạn hiểu rõ hơn về dữ liệu blockchain.
(Vui lòng theo dõi blog để biết các thuật ngữ chuyên môn liên quan, nhận xét, thư viện mã, siêu liên kết, v.v.)
Mẹo nhanh, tập dữ liệu ETH của chúng tôi có sẵn để dùng thử miễn phí trên Snowflake!
💡 Bài viết này trả lời các câu hỏi sau:
- Tập dữ liệu blockchain là gì?
- Các nhà phân tích làm việc như thế nào với các tập dữ liệu được lưu trữ trên Snowflake?
- Các cách khác nhau để truy cập dữ liệu tập trung là gì?
- Làm cách nào để dùng thử miễn phí bộ dữ liệu lịch sử giới hạn của ETH?
Tất cả bình luận