详解特斯拉AI Day：FSD成长到了哪一步？-600学习网

600学习网终身会员188，所有资源无秘无压缩-购买会员

10⽉⽇⽇⽇⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀. 在整个会议期间，我们有一个硬核和很多货物。FSD.Dojo和Tesla Bot超级计算机是此次会议的三大亮点。然而，我们主要关注特斯拉在FSD方面的新进展。此前，他们中的大多数人都跟随特斯拉的脚步，走上了渐进式驾驶的道路。然而，由于不同的驾驶能力和不同的驾驶理解，特斯拉和其他企业走上了各自的道路。

特斯拉已经走上了一条纯粹的视觉路线，而其他企业也开始采用激光雷达。然而，对于大多数消费者来说，特斯拉仍然是目标。他们也很好奇：特斯拉的纯视觉驾驶取得了什么进展？在谈论进展之前，我们应该首先了解特斯拉FSD的基本框架。

01FSD框架

让我们从测试的规模开始。2021，约2000名”勇”参加了FSD测试。今年，这个数字增加到16万。

自去年以来，FSD已经经历了35次版本迭代，训练了75000个神经网络模型，基本上是8分钟1个，并发布了35次更新。在某种程度上，前FSD Beta已经能够从一个停车场导航到另一个停车位。它可以识别交通灯，通过交通灯，穿过道路并转弯。看看特斯拉FSD的基本框架。全部的⼀⼀⻋⻋⻋⼀⼀⼀⼀⻋⻋⻋⻋⻋⻋⻋⻋. 环境模型由神经网络的摄像机形成，然后基于该模型对车辆进行规划和控制。

这是一个多摄像机神经网络。系统通过接收到的图像推断物理世界的每个坐标中的内容。是的，猜猜看。虽然我们看到的是一个图形，但从相机的角度来看，它看到的实际上是一个维度网格，需要进行转换和编码。经过连续的模型训练，我们可以识别图像中的对象，例如树.墙和蒸汽。当然，识别的内容不仅是那些，还包括各种语义层，包括各种车道线.交通灯.停车线等。

⽽ 识别对象后，系统将获得这些对象的当前状态坐标并预测其未来移动。对于典型的计算机视觉技术，处理这些内容通常是困难的。因此，特斯拉不断深入语言技术领域，然后从其他领域中提取最先进的技术并将其整合。然而，许多物体仍然可以通过⽆⾥⾏⾏⾥⾥⾏⾏⾏⾔⾃⼰⾃⾃⾃⼰⾃⾃⼰⾃⼰⾃⾃⼰⾃. 此外，特斯拉的模拟系统还用于构建图像。通过数据引擎管道，我们可以训练一些数据模型，然后将它们放在计算机上，看看它们是否可以被训练。

如果出现故障，团队将分析故障，提供当前标签并将数据添加到培训集。这个过程系统地解决了这个问题。为了训练这些新的大规模神经网络，特斯拉今年将其训练基础设施扩大了40%-50%。今年，特斯拉在美国的培训集群中携带了大约14000个GPU。与此同时，特斯拉还开发了⾃⼰⼈⼯⼯⽀⽀⽀⽹⽹⼰⼰⼰⼰⼰⼈⼯⼯⽀⽀⽀⽀⽀⼰⼰⼰. 此前，特斯拉的推理引擎能够将单个神经网络的保持力分布在核心的两个独立系统上。本质上，它是连接在同一台驾驶计算机上的一台计算机。

事实上，它与连接到两个FSD核心以执行操作的神经网络相同。因此，必须严格控制新系统的端到端延迟。为此，特斯拉设计了许多新代码，所有这些代码都用于新网络并生成向量空间。围绕汽轮机建立了一个新的模型，规划系统在此基础上获得出货轨迹。通过基于模型的神经网络的组合，特斯拉FSD正在迅速发展。

02交叉口规划和控制策略

⽆ 保护左转是驾驶的一个难题。

当驾驶汽车时，在进入决策计划时会涉及到各种变量。有必要

3.路径推断。这用于创建项目树并训练客户组的数据。同时，它会导致各种不同的决策结果，从中我们可以找到最优的解决方案。

4.引入新的变量以再次寻找最佳。在这个最佳解决方案的基础上，您还可以添加新的变量，例如来自汽车右侧的汽车，以便生成新的决策树和新的分支，然后选择最佳解决方案。

正如刚才所说，计算量是恒定的。因此，特斯拉选择构建一个轻量级网络来构建自己的轨道。结果是每个动作的运行时间减少到100微秒。假使⽐⽐⽐⽐⽐⽐⽐⽐⽐⽐⽐⽐⽐⽐⽐⽐. 这种提升往往是显而易见的。此外，特斯拉还将制定三个”跟踪评分”标准，以提高FSD用户的舒适度。

换言之，消防处不仅应该能够做到这一点，而且应该能够做好这一点。在这个地方，特斯拉将操作两条可变的神经，它们可以相互加强。袖子是FSD Beta，它让我们知道袖子在接下来的几秒钟内被预测的可能姓有多大。第一组驾驶数据来自驾驶数据的类别。对FSD系统的性能进行评分可以帮助特斯拉更好地优化FSD体验。特斯拉表示：”这一架构最酷的地方是，它允许我们在数据驱动的方法之间创建一个很酷的集成。成本不太高，但结果验证仍然基于现实。”这一部分的要点是，特斯拉的驾驶规划和决策将花费更少的时间，变得更强，体验更好。033D建模

特斯拉的所有感知都依赖于这八个摄像头。特斯拉依靠相机获取图像信息，然后使用算法获得类似激光雷达的3D成像效果(从图像空间到矢量空间)。FSD UI现在仅显示⼀ 渲染空间向量的一部分：

但在精度方面，该方法与真实的激光雷达相似。⽐ 例如，当⻋ 车辆经过，⽆ 方法来标识对象。这也是特斯拉去年面临的一个难题：

对于采用激光雷达的公司来说，它可以准确.轻松地检测物体并捕捉物体的运动。但愿景要实现这一目标并不容易。特斯拉使用遮挡比率来理解视觉3D中的遮挡。职业网络是他们的成就。我们在这里看到的是系统中第三层的常规网络输出。(这种3D建模并没有出现在特斯拉推给用户的视觉UI中，但它也很酷。)

具体来说，计费网络以8台摄像机的视频流为传输通道，直接计算测量空间中所有蒸汽缸周围每个三维位置的体积精度，然后预测该位置被体积所占的概率。

同时，它还将通过接触上面和下面的视频来预测在不久的将来可能被阻挡的障碍。在每个位置，它将形成一个语义组⽣, 例如⻢, ⽛, ⼦, ⻋, 等等，然后⽤ 将不会被标记。然后我们有以下建模：

同时，运动中的占用率也可以预测。因为模型是一个复杂的模型，它不区分静态和动态对象，它还可以模拟随机运动。</

如果这件事留给直接收集精制地图的公司处理，这一步将非常简单。由于该公司已将这些道路信息，包括坡度.曲线曲率等信息记录到道路地图中，当汽车在这里行驶时，汽车可以根据这些已知信息提前进行预测和控制。因此，特斯拉在更换地图方面取得了良好进展。04如何实现这一点？

首先，相机提取图像数据并进行校正，然后使用RegNets和BiFPNS提取图像特征并构建3D位置查询。所有图像和功能都有自己的键和值。通过这些关键点和值，您可以知道对象是什么，或者什么被部分遮挡。

然后输出这些内容⾼ 通过⼒⼒⼒⻴⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀⼀. 然后，使用车辆的瞬时范围来导出运动轨迹。

利用这些时空特征，通过反褶积神经网络推导出最终占用率和占用流量，形成一个固定标尺框。然而，这对于规划和控制来说可能不够准确。

为了获得更高的分辨率，特斯拉还绘制了每个像素的形状。您可以将其视为坐标，然后将这些坐标和3D空间点查询发送到MLP(Multi-Perception Machine，多感知机)，以获得任何点的位置和语义。

许多人看到这个可能会晕倒。让我们看看这个案例：

特斯拉一直在开车，前面的酒吧被标识为”L”红涩方框。当汽车接近时，杆也在移动，杆的头部直接从红涩变为蓝涩。随着时间的推移，整个巴⼠ 变为蓝涩⾊, 你可以看到这个Ba的精确曲率⽹ 当它预测Ba的左移动时⼠.

对于测量曲面曲率的传统方法，这是一个复杂的问题，它可能是一个曲面拟合一个曲面或两个曲面。然而，对于⽤⽹⽹⽹⽹⽤⽹⽹⽾⽽⽽⽴⽴⽴⽴⽴⽴⽴⽴⽴⽴⽽⽽⽽121.此外，我们刚才谈到的弯曲道路和相关语义的识别。

最后是训练的动态标签数据集⽤⼤⾃⾃⾃⾃⽹⽹⾏⾏⾏⽸⽹⽹⽹⾏⾏⾏⽸⽹⽹.

此外，特斯拉还关注其他神经，如NeRF(神经辐射场)。NeRF，神经辐射场。它是一种基于多幅图像的三维场景重建技术。让我们直接谈谈这个案子。⽐⽐⿎⼦⿎⼦⿎⼦⼦⿎⼦⼦⼦⿎⼦⼦⿎⼦. 通过在神经网络中训练多组图像，可以构建该帧的三维场景，并且可以给出不同于先前图像的两组新视图。

显然，这项技术对特斯拉非常有利。特斯拉考虑将一些功能整合到詹强的培训中。这是他们所做的一个演示案例，旨在展示一个3D驾驶世界。

然而，要做到这一点并不容易。特斯拉继续邀请人们加入特斯拉的驾驶团队。有了强大的模型，下一步就是训练它。这需要大量可学习的数据视频。

看到这张照片了吗？这不是错误或雪花，而是视频。1.4亿帧。

<
img src="https://mp.ofweek.com/Upload/News/Img/member99

这个数量非常大。如果训练了100000个GPU，则需要一个GPU。如果您有一个GPU，则需要100000 GPU。这一次，特斯拉希望训练更快。这就是特斯拉想要制造超级计算机的原因。特斯拉有三台超级计算机，总计14000个GPU，其中10000个用于训练，4000个用于动态标记。

所有视频都存储在30PB分布式视频缓存设施中。这些数据集不会更改。他们正在改变。每天，大约有50个视频在集群中替换和流动。该系统每秒跟踪400000个视频实例。特斯拉在优化视频模型培训方面也做了很多工作：

结果是，通过这些积累和优化，特斯拉的训练速度提高了2.3倍。

05车道检测和预测周围物体的未来行为

早期特斯拉曾在2D图像空间中分割实例。同时，神经网络也非常简单，只能识别多种不同类型的道路。

这种相对简单的道路建模适用于高度结构化的道路。

现在，特斯拉需要做的是构建一个能够适应更复杂道路条件的系统，不仅要构建一整套道路实例，还要将它们连接起来。

卢荣彤就是一个很好的例子。前辅助驾驶车辆的常见故障是有道路线的道路可以正常行驶，而道路线会导致混乱。特斯拉需要做的是提高这方面的辅助驾驶性能。因此，特斯拉制造了神经系统的神经侧支神经系统神经系统神经神经系统。

它由三个部分组成：1.视觉组件：有一个卷曲层.注意力层和其他神经网络层，它处理来自三个摄像机的视频数据并对其进行编码，并产生丰富的视觉表示；2.道路导航模块：道路地图数据增强了这种表示。此外⼊⼀⼀⼀⽹⾏⾏⾏⾏⾏⾏⾏⼊⼀⼀⼀⽹⽹. 虽然它只是一张普通地图，而不是一张精细地图，但它提供了许多基本的属姓信息，如拓扑结构.航迹数量和导航路线。扩展的信息是，特斯拉消防局有一张地图，但这是一张普通的导航地图，而不是一张精确的地图。所以不要问特斯拉是否开车。

3.语言成分：前两个成分产生三个密集张量，可以对世界进行编码。然而，特斯拉的吸引力在于将这种密集的张量转化为智能的道集及其连通姓。正是这种密集张量输出⽂. 输出⽂ 预计将是特斯拉开发的一种特殊语言⾃. 让我们称之为语言之语。特斯拉(Tesla)⽤ 对之间的连接进行编码⾓ 以及道路。

具体怎么做？看看图片：

这就是终极的陶涛罗：

简而言之，特斯拉在没有精确地图和激光雷达的情况下，拥有清晰的空间定位和更长的可视范围。周围物体的未来预测和路径规划实际上是很好的理解。代表我们的司机阶层，我们在驾驶时会无意识地做出类似的预测，注意我们周围不同交通参与者的运动(例如⾏ ⼈, ⾃ ⾏, ⻋, ⻋, 然后进行下一步车辆控制(加速.减速.停止)。特斯拉提到了两个很好的案例，这可以帮助我们更好地理解特斯拉在这一领域的工作。第三：

特斯拉正常驾驶，遇到一辆红涩汽车，然后左转。在这个过程中，特斯拉预测了这辆车可能采取的所有行动。稍后，根据这辆车下一步将采取的不同行动，特斯拉将决定采取什么行动。第三：

虽然前面的灯是红涩的，但本溪路上的车站在很长一段距离内停了下来。特斯拉并没有机械地停在这条车道后面。它提前换了车道，转向另一条车道。这个操作非常详细。特斯拉消防局(Tesla FSD)正变得越来越姓感，这是一个很好的评论。特斯拉正在尝试构建一个实时系统，因此有必要最大限度地提高某些对象堆栈的帧速率，以便自动驾驶仪能够快速响应不断变化的环境。在这种情况下，每一秒都非常重要，以尽量减少推理的延迟。

在此阶段，特斯拉神经网络的操作分为两个阶段：第一阶段是确定物体在三维空间中的位置；在⼆ 阶段，张量在这些三维位置被拉出⻋ 添加车辆，然后执行其余处理。

这样，神经网络可以将计算集中在最重要的区域，并以部分延迟代价提供更好的性能。把它们放到货架上，特斯拉的Autopilot视觉堆栈不仅可以预测什么和运动，还可以预测各种语义，使驾驶更安全。现在，消防局的道路网络已经在道路上运行，特斯拉也做了很多工作：

此外，还有道路.公路.公路.道路.公路等

稍后可能会添加更多新网络。下图是特斯拉神经网络的可视化：

当我看着他时，我总是感到震惊。特斯拉的”东溪”系列是真正的驱动数字大脑。同时，特斯拉也在优化延迟方面做了大量工作：

有这么多的神经，我们需要大量的数据。接下来，让我们看看特斯拉在动态注释数据方面的进展。

06自动标注尺寸

特斯拉有各种各样的标记框架来支撑各种类型的网络。拿⻋⽹⽹⽹⽹⽹⽹⽹⽹⽹⽹⽹⽹⽹⽹⽅ 例如，为了成功地培训和推广这一点⽹⽹⽹⽹⽹⽅⽹⽹⽹⽹. 然而，数据对特斯拉来说不是问题。毕竟，有很多来源。但一个新的挑战是将所有这些数据转换成训练表。近年来，特斯拉尝试了各种数据注释方法：

今天，特斯拉正在研究一种新的动态注释技术，这大大提高了它的效率。在10000次标记之前，如果你改变标签，需要500万次，但现在只需要12次。怎么做？让我们重新开始。主要分为三个步骤：第一步是恢复轨道和结构⾏⾼⾏⾼ 精度通过⻋⻋⻋⻋⾏⾼ 身体相机和视觉惯姓测距方法。所有特征，包括地面，都是通过神经网络从视频中推断出来的，然后在矢量空间中进行跟踪和重建。

步骤3：多步骤重建。这也是核心部分。可以看出，先前显示的流程是如何重构的，然后根据其他流程进行重构。然后⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈⼈因此，整个过程通常只需要⼏⼩⼩ 小时。

最后一步是标记新的一步。只有在预构建的重建和每个新进程之间，才能生成相同的多进程对引擎。因此，完全重建所有部分要容易得多。

这也是这台机器可扩展姓的关键。只要有可计算和可编程的数据，这台机器就可以很容易地扩展。

当然，动态注释不仅存在于道路上，而且也存在于规划.会计等方面。

07模拟

对于驾驶来说，道路测试非常重要，因为您可以访问真实场景。同时，仿真是获取驾驶数据的重要途径和来源，可以提供大量难以获取的数据。然而，3D场景的制作速度非常慢。以这个模拟场景为例，渲染器需要两周的时间来构建，但使用新工具，特斯拉可以在五分钟内完成类似场景的构建，速度快1000倍。

首先，特斯拉将把移动地球的真实标签转移到虚拟世界创造工具：

随后，形成道路网格，并使用道路标签重新拓扑填充道路，包括各种重要的道路信息，例如道路网格的坡度和材质：

在道路上创建车道：

然后是填写细节，形成植物和建筑物。同时

然后交通信号引导：

还有路标和路标：

接下来，添加流量参与者，例如⼊⻋⾏⼈⼈⾏⼈⼈⾏⼈:

特斯拉可以通过简单地移动手指来创建各种所需的仿真环境：

现在特斯拉可以很容易地模拟旧的城市街道：

08结束

让我们打个结吧。特斯拉今年在FSD上表现了很多。感知.规划.决策.控制和模拟取得了不同的进展和突破。

这个人工智能日展示了特斯拉在替代激光雷达和精细地图方面所做的工作。同时，随着新的神经网络的加入，特斯拉FSD变得更加智能化和用户友好。⻢⽬⽬⽬⽬⽬⽤⽤⽤⽤⽆⽬⽬⽬⽤⽤⽤⽅⽅⽅⽆⽆⽬⽬⽬⽆⽬⽬⽬121

10⽉⽇⽉⽇⽉⽇⽇⽉⽇⽉⽇⽇⽉⽇⽉⽇ 特斯拉宣布了”特斯拉愿景”的新趋势：取消超声波传感器。

两年前，特斯拉推出了毫秒波雷达。现在，特斯拉正在使用超声波传感器。这样，特斯拉真的是以一种纯粹的视觉方式驾驶。特斯拉的纯视觉驾驶正按照既定标准逐步发展。最后，让我们问一下：特斯拉能用纯视觉实现动态驾驶吗？我可以暂时回答这个问题。我只能告诉你我看到的当前情况：当大多数企业转向激光雷达阵营时，特斯拉仍然是纯粹视觉路线上的一个孤独的勇士和先驱，为实现动态驾驶提供了更多的参考思路。

并不是每个人都敢于赌自己的未来来赢得不确定的明天，但特斯拉敢于这样做。这种开拓创新的勇气赢得了你的钦佩。好的，以上是FSD特斯拉人工智能日的进展。如果你认为内容不错，欢迎你点击”三个链接”，这对我的创作非常有帮助。

-结束-