企業 IA資料優化新工具 Blockify 5 月 9 日由 akshay_pachaar 整理推廣,宣稱在 RAG(Retrieval-Augmented Generation)流程中可压縮 40 倍企業資料庫、查詢 token 用量減 3 倍、向量搜尋準確率提升 2,3 倍。Blockify 官方 GitHub 說明:產品由 Iternal Technologies 推出,用「IdeaBlock」結構化知識單元取代傳統 chunking,並透過去重合併讓知識庫保持精簡、連貫、可治理。
核心概念:用 IdeaBlock 取代傳統 chunking
Blockify 的技術設計:
傳統做法:把長文件切成固定大小的 chunk、嵌入向量、檢索時取 top-k
Blockify 做法:把原始內容轉換為 IdeaBlock—XML 結構化知識單元
每個 IdeaBlock 內含:自帶問題、可信答案、tag、實體、關鍵字
相似 IdeaBlock 自動去重合併、知識庫不會隨內容增長膨脹
傳統 chunking 的問題是同一資訊可能在多個 chunk 中重複出現,造成檢索冗餘與 token 浪費;IdeaBlock 透過去重把資訊密度提升,同樣內容用更小的儲存空間表達。
具體效益:壓縮 40 倍、token 減 3 倍、準確率升 2,3 倍
Blockify 公布的具體效益指標:
資料壓縮:企業資料庫縮減至原大小約 2,5%(40 倍壓縮)、保留 99% 以上資訊
每查詢 token:從約 303 個(傳統 chunk)降至約 98 個(IdeaBlock)—3,09 倍效率
向量檢索準確率:提升 2,29 倍
整體準確率改善:約 78 倍(含去重與檢索改進綜合效應)
成本節省試算:1 億查詢/年,節省 token 成本約 73,8 萬美元
78 倍的整體準確率提升是綜合效應—去重減少噪音、IdeaBlock 結構化內容對向量檢索友善、單次回答 token 數下降同時減少模型出錯空間。
整合範圍:LlamaIndex、LangChain、Milvus、Cloudflare 等主流框架
Blockify 已整合的開發者工具與基礎設施:
RAG 框架:LlamaIndex、LangChain
知識管理:Obsidian
向量資料庫:Milvus、Elastic、Supabase
邊緣運算:Cloudflare
低程式碼整合:n8n(透過工作流程模板)
Blockify 的整合策略是「不取代既有 RAG 框架,而是作為前置資料優化層」。開發者可在現有 LlamaIndex 或 LangChain 流程中,用 Blockify 替換原本的 chunking 步驟,其餘流程不變。
後續可追蹤的具體事件:Blockify GitHub 星數成長與社群採用率、Iternal Technologies 是否就 IdeaBlock 結構申請或揭露技術細節(目前標榜「patented ingestion」),以及主流 RAG 框架是否將類似去重邏輯內建為預設功能。
這篇文章 Blockify 改寫企業 RAG:用 IdeaBlock 取代 chunking、壓縮 40 倍、token 減 3 倍 最早出現於 鏈新聞 ABMedia。
Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'
avertissement.
Articles similaires
Xiaohu démontre un flux de travail intermodèles : génération d’images avec GPT + contenu interactif 3D converti depuis Gemini 3.1 Pro
L’observateur d’IA chinois xiaohu a partagé le 10 mai un exemple de workflow combinant GPT et Gemini 3.1 Pro : d’abord utiliser GPT pour générer des images, puis utiliser Gemini 3.1 Pro pour transformer ces images en contenus 3D interactifs, pouvant faire de n’importe quel sujet de connaissances des applications scientifiques rotatives et actionnables. Les exemples présentés dans le tweet de xiaohu incluent des démonstrations de planètes en 3D, des modèles scientifiques interactifs, etc. Il s’ag
ChainNewsAbmediaIl y a 2h
Alibaba va intégrer Qwen AI avec Taobao, lançant un service d’achats par IA avec 4 milliards de produits
D’après des sources citées par Jinshi, Alibaba prévoit d’intégrer sa plateforme d’IA Qwen au service e-commerce Taobao afin de permettre des achats via une intelligence artificielle conversationnelle plutôt que par des recherches par mots-clés. Cette intégration permettra aux consommateurs de parcourir, comparer et acheter des articles en dialoguant avec un assistant IA dans l’application Qwen, avec accès au catalogue de plus de 4 milliards de produits de Taobao et Tmall. Le service proposera de
GateNewsIl y a 8h
DMG Blockchain crée une filiale DMG Infrastructure pour ses opérations d’IA et de calcul haute performance (HPC)
D'après BlockBeats, le 9 mai, la société d'exploitation minière Bitcoin DMG Blockchain a créé sa filiale DMG Infrastructure pour gérer ses activités d'intelligence artificielle et d'informatique haute performance (HPC). L'entreprise prévoit de faire évoluer ses centres de données vers des services d'IA et de HPC. DMG Blockchain a produit 21 BTC en avril, contre 23 BTC en mars.
GateNews05-09 04:25
Spotify lance aujourd’hui la fonctionnalité de podcasts personnels générés par IA, permettant de les enregistrer dans la bibliothèque
Selon MacRumors, Spotify a lancé une nouvelle fonctionnalité aujourd’hui (8 mai) permettant aux utilisateurs de générer et d’enregistrer des podcasts personnels alimentés par l’IA directement dans leur bibliothèque Spotify. Les utilisateurs peuvent installer et se connecter à la fonctionnalité « Save to Spotify CLI » sur ordinateur, puis utiliser des agents de codage IA d’OpenAI, Anthropic et d’autres t
GateNews05-08 14:46
Benzinga lance un moteur de traduction coréen et un ensemble de données financières d'IA de 400 millions de mots
Benzinga a récemment lancé un moteur de traduction en coréen ainsi qu’un vaste ensemble de données financières coréennes conçu pour l’entraînement de l’IA, selon l’entreprise. Le système traduit en temps réel l’actualité des marchés américains en coréen tout en préservant la terminologie financière, les références aux tickers et le contexte du marché. Le
GateNews05-08 11:32
FLock.io participe à une table ronde d'Oxford pour faire avancer le MoU sur une IA souveraine du Sarawak
Selon Foresight News, FLock.io a participé à une discussion en table ronde à l’Université d’Oxford afin de faire avancer un protocole d’accord tripartite sur le développement souverain de l’IA au Sarawak. La discussion a porté sur la souveraineté des données, la collaboration en matière d’IA, la gouvernance de la sécurité des données et le matériel
GateNews05-08 11:01