Blockify reescribe el RAG empresarial: usa IdeaBlock en lugar de Chunking, comprime 40 veces y reduce los tokens 3 veces

La nueva herramienta de optimización de datos empresariales de IA, Blockify, fue promocionada y organizada por akshay_pachaar el 9 de mayo. Afirma que en el flujo de RAG (Retrieval-Augmented Generation) puede comprimir la base de datos de la empresa 40 veces, reducir el uso de tokens de consulta 3 veces y aumentar en 2,3 veces la precisión de la búsqueda vectorial. En la descripción oficial de GitHub de Blockify se indica que el producto fue desarrollado por Iternal Technologies, que utiliza unidades de conocimiento estructurado con una estructura “IdeaBlock” para sustituir el chunking tradicional, y que mantiene la base de conocimiento concisa, coherente y gobernable mediante la desduplicación y la fusión por solapamiento.

Concepto central: usar IdeaBlock para sustituir el chunking tradicional

Diseño técnico de Blockify:

Enfoque tradicional: dividir documentos largos en chunk de tamaño fijo, incrustar vectores y obtener top-k en la recuperación

Enfoque de Blockify: convertir el contenido original en IdeaBlock: unidades de conocimiento estructurado con XML

Cada IdeaBlock incluye: pregunta incluida, respuesta confiable, tags, entidades y palabras clave

Los IdeaBlock similares se desduplican y fusionan automáticamente; la base de conocimiento no se infla a medida que crece el contenido

El problema del chunking tradicional es que la misma información puede aparecer repetida en múltiples chunks, generando redundancia en la recuperación y desperdicio de tokens; IdeaBlock incrementa la densidad de información mediante la desduplicación, expresando el mismo contenido con un espacio de almacenamiento más pequeño.

Beneficios concretos: comprimir 40 veces, reducir tokens 3 veces y aumentar la precisión 2,3 veces

Métricas de beneficios concretas publicadas por Blockify:

Compresión de datos: la base de datos de la empresa se reduce a aproximadamente 2,5% del tamaño original (40 veces de compresión), conservando 99% o más de la información

Tokens por consulta: de unos 303 (chunk tradicional) a unos 98 (IdeaBlock)—eficiencia 3,09 veces

Precisión de la búsqueda vectorial: mejora 2,29 veces

Mejora global de la precisión: aproximadamente 78 veces (efecto combinado integral, incluida la desduplicación y las mejoras en la recuperación)

Estimación de ahorro de costos: 100 millones de consultas/año; el costo de tokens ahorrado es de aproximadamente 73,8 mil dólares

La mejora global de la precisión 78 veces es un efecto combinado: la desduplicación reduce el ruido, el contenido estructurado de IdeaBlock resulta más favorable para la búsqueda vectorial, y la disminución de tokens en cada respuesta reduce también el margen de error del modelo.

Alcance de la integración: LlamaIndex, LangChain, Milvus, Cloudflare y otros marcos populares

Herramientas de desarrolladores e infraestructura que Blockify ya integra:

Marco RAG: LlamaIndex, LangChain

Gestión del conocimiento: Obsidian

Base de datos vectorial: Milvus, Elastic, Supabase

Computación en el borde: Cloudflare

Integración low-code: n8n (mediante plantillas de flujos de trabajo)

La estrategia de integración de Blockify es “no reemplazar los marcos RAG existentes, sino actuar como una capa previa de optimización de datos”. Los desarrolladores pueden sustituir el paso de chunking original por Blockify dentro de flujos existentes de LlamaIndex o LangChain, manteniendo intacto el resto del proceso.

Eventos concretos que se pueden seguir en el futuro: el crecimiento del número de estrellas en el GitHub de Blockify y la adopción por parte de la comunidad, si Iternal Technologies solicitará o revelará detalles técnicos sobre la estructura de IdeaBlock (actualmente destaca “patented ingestion”), y si los marcos RAG populares incorporarán lógicas similares de desduplicación como función predeterminada.

Este artículo Blockify reescribe el RAG empresarial: usa IdeaBlock para reemplazar el chunking, comprime 40 veces y reduce tokens 3 veces, apareció por primera vez en Cadena de Noticias ABMedia.

Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el Aviso legal.

Artículos relacionados

Karpathy CLAUDE.md choca con 126K de estrellas: resumen de 12 reglas avanzadas para la comunidad

13 de abril, ABMedia informó que Forrest Chang convirtió las quejas de Karpathy sobre Claude al escribir código en un paquete de «4 reglas de CLAUDE.md», con 15.000 estrellas acumuladas en GitHub en ese momento; el 12 de mayo, el número de estrellas de ese repo ya superaba las 126.000, creciendo 8 veces en menos de 1 mes. A raíz de ello, la comunidad comenzó a aparecer con muchos intentos de «versiones ampliadas»; entre ellos, el post «Añadir 8 reglas sobre la base de las 4 para convertirlo en u

ChainNewsAbmediaHace43m

Douban Input Method se lanza en macOS con voz impulsada por IA y escritura bilingüe

Según Beating, el método de entrada de Douban de ByteDance se ha lanzado oficialmente en su versión para macOS. Anteriormente disponible solo en iOS y Android, la aplicación de escritorio integra el modelo de voz propietario de Douban, con reconocimiento de dialectos, entrada de tono y transcripción mixta chino-inglés con filtrado automático de redundancias verbales. La versión de macOS también incluye corrección de errores para textos largos y sugerencias inteligentes dependientes del contexto

GateNewshace2h

Infini se une al programa Circle Alliance

Según Foresight News, el sistema operativo financiero impulsado por IA Infini se ha unido al Circle Alliance Program. La iniciativa reúne a empresas fintech, instituciones financieras tradicionales, aplicaciones de consumo, proveedores de pagos, bancos y protocolos Web3 mediante stablecoins de Circle y servicios Web3. El programa busca impulsar los sistemas financieros de internet, ampliar la adopción de USDC y mejorar los pagos transfronterizos y los servicios financieros digitales.

GateNewshace5h

Okratech y Delphi AI integran IA predictiva en el ecosistema $ORT Ecosystem el 11 de mayo

De acuerdo con un anuncio oficial del 11 de mayo, Okratech y Delphi AI se han asociado para integrar la inteligencia predictiva de mercados impulsada por IA en el ecosistema de Okratech. Los sistemas de pronóstico de Delphi AI se integrarán en la plataforma $ORT , cubriendo criptomonedas, acciones y políticas económicas globales. La integración se aplicará a OrtJob, el mercado descentralizado de freelancers de Okratech, y a la Web3 App Store, brindando a los usuarios información basada en datos

GateNewshace8h

Fundador de Telegram: Acton reemplaza el conjunto de herramientas dispersas y acelera 10 veces el ritmo de desarrollo de contratos inteligentes en TON

De acuerdo con el anuncio en X del 12 de mayo de Pavel Durov, fundador de Telegram, TON Core ha lanzado una cadena unificada de herramientas de contratos inteligentes llamada Acton; la herramienta ya se puso en marcha el 8 de mayo. Durov afirma que Acton acelera 10 veces el desarrollo de contratos inteligentes en TON, al sustituir el anterior conjunto de herramientas fragmentado de TON por un flujo de desarrollo unificado, y además es compatible con IA. Funciones principales y arquitectura técni

MarketWhisperhace10h
Comentar
0/400
Sin comentarios