Blockify cải viết RAG cho doanh nghiệp: dùng IdeaBlock thay cho Chunking, nén 40 lần, giảm token 3 lần

Công cụ AI tối ưu dữ liệu doanh nghiệp Blockify do akshay_pachaar tổng hợp và quảng bá vào ngày 9/5, tuyên bố rằng trong quy trình RAG (Retrieval-Augmented Generation) có thể nén cơ sở dữ liệu doanh nghiệp gấp 40 lần, giảm 3 lần lượng token khi truy vấn, và tăng độ chính xác tìm kiếm vector lên 2,3 lần. Phần mô tả chính thức trên GitHub của Blockify cho biết: sản phẩm được Iternal Technologies phát triển, dùng cấu trúc các đơn vị kiến thức “IdeaBlock” để thay cho chunking truyền thống, đồng thời duy trì cơ sở kiến thức gọn gàng, liền mạch, dễ quản trị nhờ cơ chế loại trùng và hợp nhất chồng lấn.

Khái niệm cốt lõi: dùng IdeaBlock thay thế chunking truyền thống

Thiết kế kỹ thuật của Blockify:

Cách làm truyền thống: cắt tài liệu dài thành các chunk có kích thước cố định, nhúng vector, và khi truy xuất lấy top-k

Cách làm của Blockify: chuyển đổi nội dung gốc thành IdeaBlock — các đơn vị kiến thức được cấu trúc theo định dạng XML

Mỗi IdeaBlock chứa: câu hỏi kèm theo, câu trả lời đáng tin cậy, tag, thực thể, từ khóa

Các IdeaBlock tương tự sẽ tự động loại trùng và hợp nhất, khiến cơ sở kiến thức không phình to theo mức tăng nội dung

Vấn đề của chunking truyền thống là cùng một thông tin có thể xuất hiện lặp lại ở nhiều chunk, gây dư thừa khi truy xuất và lãng phí token; IdeaBlock nhờ loại trùng giúp tăng mật độ thông tin, đồng thời biểu đạt nội dung tương tự bằng dung lượng lưu trữ nhỏ hơn.

Lợi ích cụ thể: nén 40 lần, giảm token 3 lần, độ chính xác tăng 2,3 lần

Các chỉ số lợi ích cụ thể mà Blockify công bố:

Nén dữ liệu: cơ sở dữ liệu doanh nghiệp giảm xuống khoảng 2,5% kích thước ban đầu (nén 40 lần), giữ lại hơn 99% thông tin

Token mỗi lần truy vấn: từ khoảng 303 (chunk truyền thống) xuống khoảng 98 (IdeaBlock) — hiệu suất 3,09 lần

Độ chính xác truy xuất theo vector: tăng 2,29 lần

Cải thiện độ chính xác tổng thể: khoảng 78 lần (hiệu ứng tổng hợp của loại trùng và cải tiến truy xuất)

Dự tính tiết kiệm chi phí: 100 triệu lượt truy vấn/năm, tiết kiệm chi phí token khoảng 738 nghìn đô la Mỹ

Mức tăng độ chính xác tổng thể 78 lần là hiệu ứng tổng hợp — loại trùng giảm nhiễu, nội dung được cấu trúc theo IdeaBlock tương thích tốt hơn với truy xuất vector, đồng thời số token cho mỗi câu trả lời giảm cũng làm giảm khoảng trống để mô hình mắc lỗi.

Phạm vi tích hợp: LlamaIndex, LangChain, Milvus, Cloudflare và các khung phổ biến khác

Các công cụ cho nhà phát triển và hạ tầng mà Blockify đã tích hợp:

Khung RAG: LlamaIndex, LangChain

Quản lý tri thức: Obsidian

Cơ sở dữ liệu vector: Milvus, Elastic, Supabase

Tính toán biên: Cloudflare

Tích hợp low-code: n8n (thông qua các template workflow)

Chiến lược tích hợp của Blockify là “không thay thế các khung RAG sẵn có, mà đóng vai trò là lớp tối ưu dữ liệu phía trước”. Nhà phát triển có thể, trong luồng LlamaIndex hoặc LangChain hiện có, dùng Blockify thay cho bước chunking ban đầu, còn các bước khác giữ nguyên.

Các sự kiện cụ thể có thể theo dõi tiếp: số sao của Blockify trên GitHub tăng trưởng và mức độ chấp nhận từ cộng đồng, Iternal Technologies có đăng ký hoặc công bố chi tiết kỹ thuật liên quan đến IdeaBlock hay không (hiện mới nhấn mạnh “patented ingestion”), và liệu các khung RAG phổ biến có tích hợp sẵn logic loại trùng tương tự như một chức năng mặc định hay không.

Bài viết này Blockify viết lại RAG doanh nghiệp: dùng IdeaBlock thay chunking, nén 40 lần, giảm token 3 lần lần đầu xuất hiện trên 鏈新聞 ABMedia.