做网站小编怎么样网站设计与应用方向论文

做网站小编怎么样,网站设计与应用方向论文,pc网站直接转换成移动端的网站,企业电话查询黄页作者 | Feynman 编辑 | 自动驾驶之心原文链接#xff1a;https://zhuanlan.zhihu.com/p/1979144898872627828 点击下方卡片#xff0c;关注“自动驾驶之心”公众号戳我- 领取自动驾驶近30个方向学习路线自动驾驶前沿信息获取→自动驾驶之心知识星球本文只做学术分…作者 | Feynman 编辑 | 自动驾驶之心原文链接https://zhuanlan.zhihu.com/p/1979144898872627828点击下方卡片关注“自动驾驶之心”公众号戳我-领取自动驾驶近30个方向学习路线自动驾驶前沿信息获取→自动驾驶之心知识星球本文只做学术分享如有侵权联系删文简单版GAIA-3是一个强有力的测试工具。GAIA-3可以修改自车轨迹修改天气/白夜针对一段已有车载多视图视频适配不同传感器配置比如摄像头安装位置不一样根据少量案例比如突然刹车生成相同问题的新场景GAIA-3 是一个15B的基于Latent Diffusion的模型其video tokenizer是比GAIA-2的两倍思考GAIA-3的实现方法到底是什么从功能上分析现在学术界应该也包括工业界大部分采用基于3DGS重建的方法比如ReconDreamer系列但文章还是明说使用Latent Diffusion的方法这个需要继续思考一下。完整版https://wayve.ai/thinking/gaia-3/GAIA-3规模化世界模型驱动自动驾驶的安全与评测将世界建模从一个视觉合成工具转变为自动驾驶评估的基石。大规模评估自动驾驶系统仍然是推进现实世界自动驾驶技术面临的核心挑战之一。现实世界测试对于验证安全性至关重要但其成本高昂、受物流限制并且数据效率日益低下。随着驾驶模型的改进和可观测错误的减少得出具有统计学意义的结论所需的测试里程数急剧增加。而这些里程中的大部分都是平淡无奇的几乎无法提供关于罕见但至关重要的安全行为的有效信息。仿真模拟提供了一条前进的道路。虚拟环境能够实现安全、可靠、可重复且可扩展的驾驶模型测试。然而尽管前景广阔现有的仿真方法仍不足以对现代端到端驾驶系统进行有意义的评估。长期以来作为自动驾驶测试标准的程序化仿真器允许精确控制但缺乏真实性。基于3D重建的仿真器实现了更高的真实感但在处理遮挡和动态交通参与者方面存在困难。我们在世界模型方面的最新进展结合了两者的优点既捕捉了真实环境的静态和动态特性又能生成逼真的反事实场景从而扩展了现实世界测试的覆盖范围。GAIA-3 is conditioned to weave around a highway scene in a sine wave, while other agents’ trajectories are un-modified.GAIA-3将世界建模用于安全与评估Wayve 一直率先使用世界模型以开启自动驾驶汽车训练和评估的新范式。基于我们在未来预测、驾驶“梦境”生成、鸟瞰图预测以及学习世界模型方面的研究我们推出了 GAIA-1用于自动驾驶的生成式人工智能这是我们迈向这一愿景的第一步。GAIA-1 证明了生成模型可以从视频、文本和动作中学习以产生逼真的驾驶体验。GAIA-2 则通过引入更丰富的可控性、更广泛的地理覆盖范围以及通过多摄像头、时空连贯的场景生成实现多样化的车辆“化身”进一步扩展了视野。凭借 GAIA-3我们迈出了大胆的一步将世界建模从一个视觉合成工具转变为自动驾驶评估的基石。GAIA-3 生成的驾驶场景不仅逼真而且结构化和有目的性——旨在测量、比较并加速实现安全、可扩展的自动驾驶。GAIA-3 结合了真实世界数据的真实感与仿真的可控性。它允许我们获取真实的驾驶序列并通过精确、参数化的变体重现这些序列——例如在场景中所有其他元素保持完全一致的同时改变自车的轨迹。其他交通参与者保持其运动状态光照和天气不变整个世界保持连贯。这种以“世界在轨”方式运行的能力是生成式世界建模向前迈出的重要一步它将评估从反应式测量转变为主动探索决定安全性的边缘案例。安全性关键场景现实世界中的安全性关键事件——碰撞、险情或失控情况——是罕见的、不可预测的并且过于危险而无法有意重现。目前行业仍然依赖受控的测试场实验例如使用预设角色和假人车辆的 NCAP新车评估规程测试。这些设置提供了精度但牺牲了真实感和可扩展性。它们无法捕捉现实世界驾驶的视觉丰富性、行为多样性和环境复杂性。因此测试场实验只能构成解决方案的一部分并且可能导致对现实世界安全性能的认知不完整。GAIA-3 通过对真实世界驾驶序列进行受控且逼真的变体生成克服了这些限制。给定一个现有场景GAIA-3 可以在保持环境其他部分一致的同时改变自车的轨迹其他交通参与者继续其原有运动静态元素保持不变。这使得生成碰撞和接近碰撞场景的系统化生成成为可能这些场景可以使用与现实世界数据相同的占用率和轨迹指标进行评估为可扩展、可复现的安全验证铺平道路。这种方法也可以用于虚拟地、大规模地生成 NCAP 风格的测试既可以在模拟的测试场环境中也可以在不同的现实世界条件下进行。虽然车辆轨迹和时间保持一致但背景、光照和场景动态会发生变化。安全关键场景生成的一个关键基准是一致性——确保当仅自车行为改变时场景的其余部分在物理上和视觉上保持连贯。为了验证这一点我们使用激光雷达捕捉的真实世界序列并修改自车轨迹以产生与场景物体的碰撞。然后我们将原始记录的激光雷达点云与生成的帧进行对齐并检查错位和不一致之处。离线评估套件现实世界驾驶很少遵循脚本。诸如突然停车、延迟并线或行人走上道路等意外事件揭示了模型对其环境的真正理解程度。离线重现和测试这些“假设”时刻的能力对于建立对自动驾驶系统的信心至关重要。通过 GAIA-3这可以系统地完成。通过动作条件控制自车行为并可选地结合“世界在轨”扰动GAIA-3 可以生成真实世界场景的受控变体。从单个记录序列开始通过调整不同参数可以创建一整套“假设”情景。这些扰动允许对模型从边缘案例中恢复的能力或在变化条件下保持稳定性的能力进行定量测试。其结果就是结构化、可扩展、可重复且可测量的离线评估测试套件。它们比静态回放提供更丰富的诊断信号揭示了当条件改变时驾驶策略行为如何变化。GAIA-3 的合成干预与道路实验之间的相关性研究表明该模型能够可靠地预测相关策略性能从而提升了离线评估在模型比较和决策中的实用价值。化身迁移不同的摄像头配置和视场使得跨车辆重用数据具有挑战性。通过化身迁移GAIA-3 可以从新的传感器配置重新渲染同一场景只需使用目标摄像头配置的一个小型、非配对样本即可。这意味着评估套件可以轻松地在不同的“化身”或不同汽车制造商OEM的车辆项目之间迁移而无需进行配对采集。以下示例展示了 GAIA-3 如何将场景从一个摄像头配置迁移到另一个。原始化身原始视频由一辆配备 5 个 RGB 摄像头的车辆采集其中一个直视前方两个看向侧面另外两个看向后方。化身 A这辆车是与原始化身不同品牌和型号的车辆但具有类似的 5 摄像头配置。主要区别包括遮挡前向摄像头视野的仪表板、在左右前向摄像头中显得更扁平更短的引擎盖以及更明显的挡风玻璃。GAIA-3 令人信服地再现了来自场景的反射包括来自对向车辆的反射。鲁棒性与可解释控制驾驶模型在面对外观、光照或语义变化时必须保持可靠。然而这些变化必须是可测量的以确保有意义的评估。我们引入了受控的视觉多样性允许场景的外观发生变化而其底层结构保持不变。这意味着光照、纹理和天气等元素可以变化但场景的几何结构和运动保持一致。因此我们可以直接比较模型在不同视觉条件下的性能大规模评估鲁棒性并更好地理解特定的视觉变化如何影响模型行为。数据丰富化与调试罕见的故障模式在现实世界驾驶中难以捕获这限制了数据覆盖范围并减缓了模型迭代速度。GAIA-3 可以从少量示例中学习并围绕它们生成结构化变体从而将诸如刹车或并线等场景家族扩展为丰富且物理一致的测试集。这些罕见事件可以被放大成更大的、带有标签的测试套件用于针对性测试或再训练从而缩短发现问题与验证修复方案之间的时间。以下示例展示了一种特定行为——急刹车作为受控的分布外变体生成有助于评估模型在难以通过现实世界测试重现的情况下的行为。相同的行为可以跨不同的环境和国家进行转换。例如在美国的高速公路上刹车、在日本的市区环境中刹车甚至是在给定交通灯处意外停车。GAIA-3 可以帮助利用罕见的分布外示例来扩展数据集。在这里GAIA-3 可以将一个特定的故障模式——在街道中央急刹车——转换到新的场景和地理环境中。GAIA-3 的技术能力世界模型的进步是由规模驱动的不仅体现在参数数量上还体现在数据多样性、表征能力和生成体验的质量上。GAIA-3 是一个拥有 150 亿参数的基于潜在扩散的世界模型专为自动驾驶的可扩展、逼真和可控的离线评估而设计。为了支持这种能力GAIA-3 的训练计算量是 GAIA-2 的五倍数据量大约是 GAIA-2 的两倍覆盖了 3 大洲的 8 个国家。数据集强调行人、骑行者、标志和交通控制基础设施等安全关键场景元素确保模型不仅学习模仿驾驶场景而且理解和再现与自动驾驶系统最相关的元素。GAIA-3 带来了明显的改进静态和动态场景元素的视觉效果更清晰。重要的是它还展示了增强的世界建模能力能够在长轨迹和临时遮挡时刻保持场景连贯性。GAIA-2 与 GAIA-3 的对比GAIA-3 在规模和能力上实现了显著飞跃其模型大小相比前代 GAIA-2 增加了一倍大大扩展了表征能力和生成精度。这个更广泛的基础使 GAIA-3 能够跨地域、“化身”和驾驶情境进行泛化使其成为真正用于自动驾驶评估的全球性模型。此次规模升级的核心是一个新的视频分词器其大小是 GAIA-2 的两倍。它捕捉安全关键的空间和时间结构从细微的行人运动到快速移动的车辆、道路标志和交通信号灯。通过编码细粒度的时空上下文GAIA-3 比以往更忠实地表征了现实世界驾驶的物理和因果关系结构。该模型生成具有更高保真度的视频视觉效果更清晰光照更一致纹理细节更丰富。前方的道路GAIA-3 通过在一个系统中实现可控性、增强的真实感和实用性将世界建模精炼为一个用于评估和验证的实用框架。其结果是一个支持结构化、可重复测试的模型这是朝着可扩展地评估端到端驾驶系统迈出的重要一步。这些功能提供了一种可靠的方法使用反映现实世界性能的指标来离线评估进展和比较模型。我们继续专注于效率和实时生成以及通过我们获得英国政府资助的 DriveSafeSim 项目对该工具进行验证。我们的目标是确立生成式仿真作为衡量进展和证明整个具身人工智能领域安全性的主要工具。自动驾驶之心世界模型与自动驾驶小班课