Blockify reescreve empresas com RAG: usa IdeaBlock em vez de chunking, comprime 40 vezes, reduz tokens em 3 vezes

A nova ferramenta de otimização de dados para IA corporativa Blockify, em 9 de maio, foi organizada e divulgada por akshay_pachaar, que alega que, no processo de RAG (Retrieval-Augmented Generation), é possível comprimir os bancos de dados corporativos em 40 vezes, reduzir em 3 vezes o consumo de tokens na busca e aumentar a precisão da pesquisa vetorial em 2,3 vezes. A documentação oficial do GitHub da Blockify diz que o produto foi desenvolvido pela Iternal Technologies, usando unidades estruturadas de conhecimento do tipo “IdeaBlock” para substituir o tradicional chunking, e mantendo o banco de conhecimento compacto, coerente e governável por meio de desduplicação com mesclagem de sobreposições.

Conceito central: usar IdeaBlock em vez de chunking tradicional

Projeto técnico do Blockify:

Abordagem tradicional: dividir documentos longos em chunks de tamanho fixo, incorporar vetores e, na recuperação, pegar top-k

Abordagem do Blockify: converter o conteúdo original em IdeaBlock — unidades estruturadas de conhecimento em formato XML

Cada IdeaBlock inclui: perguntas embutidas, respostas confiáveis, tags, entidades, palavras-chave

IdeaBlocks semelhantes fazem desduplicação e mesclagem automaticamente, e a base de conhecimento não aumenta de tamanho de forma explosiva conforme o conteúdo cresce

O problema do chunking tradicional é que a mesma informação pode aparecer repetida em vários chunks, gerando redundância na recuperação e desperdício de tokens; o IdeaBlock melhora a densidade da informação com a desduplicação, representando o mesmo conteúdo com menos espaço de armazenamento.

Benefícios específicos: compressão de 40 vezes, tokens -3 vezes, precisão +2,3 vezes

Indicadores de benefício específicos divulgados pela Blockify:

Compressão de dados: a base de dados corporativa foi reduzida para cerca de 2,5% do tamanho original (40 vezes de compressão), mantendo mais de 99% das informações

Tokens por consulta: de cerca de 303 (chunk tradicional) para cerca de 98 (IdeaBlock) — eficiência 3,09 vezes maior

Precisão da recuperação vetorial: aumento de 2,29 vezes

Melhoria geral de precisão: cerca de 78 vezes (efeito combinado entre desduplicação e melhorias na recuperação)

Simulação de economia de custos: 100 milhões de consultas/ano, economizando cerca de US$ 738 mil em custos de tokens

O aumento geral de precisão de 78 vezes é um efeito composto: a desduplicação reduz ruído, o conteúdo estruturado em IdeaBlock favorece a recuperação por busca vetorial e a quantidade de tokens por resposta diminui ao mesmo tempo que reduz a margem de erro do modelo.

Escopo de integração: LlamaIndex, LangChain, Milvus, Cloudflare e outras estruturas populares

Ferramentas de desenvolvimento e infraestrutura já integradas na Blockify:

Frameworks RAG: LlamaIndex, LangChain

Gestão de conhecimento: Obsidian

Banco de dados vetorial: Milvus, Elastic, Supabase

Computação de borda: Cloudflare

Integração low-code: n8n (via templates de fluxos de trabalho)

A estratégia de integração da Blockify é “não substituir os frameworks RAG existentes, e sim atuar como uma camada de otimização de dados na frente”. Os desenvolvedores podem substituir o passo de chunking pelo Blockify dentro dos fluxos existentes do LlamaIndex ou LangChain, mantendo o restante inalterado.

Próximos eventos específicos a acompanhar: crescimento de estrelas no GitHub da Blockify e adoção da comunidade, se a Iternal Technologies vai solicitar ou divulgar detalhes técnicos sobre a estrutura IdeaBlock (atualmente em destaque “patented ingestion”) e se os principais frameworks RAG vão incorporar lógicas semelhantes de desduplicação como função padrão.

Este artigo “Blockify reescreve o RAG corporativo: usa IdeaBlock no lugar de chunking, comprime 40 vezes, reduz tokens em 3 vezes” apareceu pela primeira vez em Cadeia de Notícias ABMedia.