网站建设价目表您的网站对百度设置了ip封禁

网站建设价目表,您的网站对百度设置了ip封禁,培训机构管理系统,网站秒收录秒排名【编者按】百万级别 Token 的输入#xff0c;正在成为大型语言模型#xff08;LLMs#xff09;长上下文任务中的计算与内存“噩梦”。DeepSeekOCR 凭借“上下文光学压缩”技术实现了 10 倍 Token 压缩率#xff0c;引发全网热议。但透过现象看本质#xff0c;高压缩率的秘…【编者按】百万级别 Token 的输入正在成为大型语言模型LLMs长上下文任务中的计算与内存“噩梦”。DeepSeekOCR 凭借“上下文光学压缩”技术实现了 10 倍 Token 压缩率引发全网热议。但透过现象看本质高压缩率的秘密真的在于“图像化”吗作者 | 刘帆帆出品丨作者投稿DeepSeekOCR 的成功让许多人误以为“视觉编码”是压缩的关键。然而研究团队经过深入分析发现高压缩率的核心其实源自 Latent Tokens潜在 Token本身——这是一种比离散文本 Token 更高效、密度更高的信息载体。基于这一洞察作者所在的研究团队提出了一种直击本质的全新路径Context Cascade Compression (C3上下文级联压缩)。将两种路径进行对比DeepSeek OCR 路径 文本 → 图像 → 视觉 Token → 语言模型引入了布局、噪点、视觉编码器等无关干扰C3 路径 文本 → 文本 Latent Tokens → 语言模型纯粹、无损、直接具体来说一个小型 LLM 作为第一级通过将长上下文压缩成一组潜在 token例如长度为 32 或 64实现高比例的文本 token 到潜在 token 的压缩。一个大型 LLM 作为第二级然后对这个压缩的上下文执行解码任务。这一设计也验证了近期热门论文《LANGUAGE MODELS ARE INJECTIVE AND HENCE INVERTIBLE》中关于「LLM 本质是无损压缩」的论断。实验表明在 20 倍压缩比文本 token 数量是潜在 token 数量的 20 倍下C3 实现了 98% 的解码准确率而 DeepSeek OCR 大约为60%。当我们进一步将压缩比增加到 40 倍时准确率仍保持在约 93%。这表明在上下文压缩领域C3 压缩比光学字符压缩展示了更优越的性能和可行性。目前模型与代码现已开源原文https://arxiv.org/pdf/2511.15244代码https://github.com/liufanfanlff/C3-Context-Cascade-Compression模型https://huggingface.co/liufanfanlff/C3-Context-Cascade-Compression架构在介绍 C3 之前先带大家来了解一下 DeepSeek-OCR 的工作原理。DeepSeek-OCR 采用了一种创新的视觉压缩思路这种方法的优势在于利用了视觉编码器强大的特征提取能力但也面临着图像布局复杂性、低分辨率下的模糊等固有限制。C3 提出了一个更直接的压缩思路跳过视觉中介没有中间商赚差价直接在文本域进行压缩。其核心架构包括1.双 LLM 级联设计小型 LLM算力消耗低作为压缩编码器压缩上下文信息。大型 LLM推理生成能力强作为解码器执行下游任务。2.压缩机制引入可学习的上下文查询Context Query嵌入将长文本压缩为固定长度的潜在token如32或64个。完全保留预训练 LLM 的语言压缩能力性能表现在 Fox 基准测试中C3 展现出显著优势在约 20 倍压缩时C3 保持 98.4% 精度而D eepSeek-OCR 降至59.1%即使在极限的 40 倍压缩率下32 个潜在 tokenC3 仍能维持 93% 以上的重建精度独特的遗忘模式更接近人类记忆研究还发现了 C3 的一个有趣特性当压缩率过高导致信息损失时错误往往集中在文本末尾呈现序列性信息衰减。这与光学压缩方法的全局模糊不同反而更类似人类记忆的渐进式遗忘过程。这种特性使得 C3 在实际应用中更具可预测性——重要信息可以优先放置在文本前部确保关键内容的完整保留。测试无论是在长英文文本还是中文古文上均做到了近乎完美的压缩还原甚至对于 LLM 一直难以处理的乱序文本也能精准还原应用前景1. 超长上下文处理C3 可作为现有 LLM 的前端压缩器将百万级 token 的输入如整本书籍、大型代码库压缩到可处理范围降低计算成本。2. 多模态级连轻量级 VLM 和 LLM轻量级 VLM 作为视觉 encoder 进行信息压缩处理视觉信息丰富的长文档等。3. 下一代模型的基础组件 C3 的编码-解码架构可直接应用于扩散语言模型和潜在自回归模型将可变长度文本转换为固定长度潜在表示。这是一个在有限的人力、算力与数据背景下诞生的“小而美”项目。目前 C3 的代码与权重开源希望开源社区的研究者们能接过这一棒激发出C3 的巨大潜能。推荐阅读独立开发者的AGI焦虑何处有解亏700亿美元、预算大砍30%、推迟两款头显改名才4年Meta元宇宙彻底“退烧”了一键清空Win11所有AI开发者“整活”一行命令秒清Copilot、Recall开源狂揽1.7k星