详解百度Apollo感知技术、⾼精地图和⼩度车载系统
详解百度Apollo感知技术、⾼精地图和⼩度车载系统
放风筝的作文300字三年级下册
⽤户1914672199 2018-01-05 18:51
近期，百度在深圳举办了第⼆期“Hello Apollo ⾃动驾驶公开课”。Apollo 运营与开发者⽣态负责⼈张辉，⽆⼈车感知核⼼算法技术负责⼈陈世佳，⾼精地图编译团队技术负责⼈王健，车联⽹语⾳语义整体技术负责⼈陈聪四位重量级嘉宾出席活动，在现场分享了 Apollo 最新的产品与技术⼲货，与开发者进⾏了深度交流互动。
本期公开课分享包括百度 Apollo 开放框架、⾃动驾驶感知现状、⾼精地图的技术与应⽤、⼩度车载系统语⾳语义设计思路和核⼼架构，这四个模块的精彩内容。
第⼀部分:Apollo 开放框架介绍
作为本次活动的开篇，百度 Apollo 运营与开发者⽣态负责⼈张辉，先给⼤家整体介绍了 Apollo ⽣态的战略⽬标和开放框架。
在 7 ⽉ 5 ⽇的百度 AI 开发者⼤会上，百度董事会副主席、百度集团总裁兼 COO 陆奇⽤“开放能⼒、共
享资源、加速创新、持续共赢”16 字宣⾔概述了 Apollo ⽣态的战略⽬标，将以开放对抗封闭，打造汽车界的安卓系统。
回删除的历史记录Apollo 开放路线图主要包括能⼒和资源开放两部分，按照时间顺序⼤致可以分为如下⼏个阶段:
2017.7：封闭场地循迹⾃动驾驶、数据平台 1.0、障碍物、Road hackers 数据等;
2017.9：固定车道⾃动驾驶、⼈⼯编程仿真场景数据等;
2017.12：简单城市路况⾃动驾驶、数据平台 2.0、2D 障碍物标注数据、⽇志提取仿真场景数据等;
2018.12：特定区域⾼速和城市道路⾃动驾驶;
2019.12:⾼速和城市道路⾃动驾驶 Alpha 版;
2020.12:⾼速和城市道路全路⽹⾃动驾驶;
郑爽张翰背后的故事
Apollo 是⼀个开放的、完整的、安全的平台，将帮助汽车⾏业及⾃动驾驶领域的合作伙伴结合车辆和硬件系统，快速搭建⼀套属于⾃⼰的⾃动驾驶系统，从整体架构上 Apollo 平台可以分为以下四层来理解:
车辆平台:⽀持线控的车辆 ;
硬件平台：计算单元、摄像头、LiDAR、GPS/IMU、毫⽶波雷达、HMI、Black Box 等 ;
软件平台：实时系统框架、定位、控制、路线规划模块等 ;
云服务平台：仿真模拟环境、DuerOS、安全模块、OTA、⾼精地图等 ;
张辉表⽰:“我们需要⼏个共同语⾔，⼀是 Apollo 宣⾔，这 16 字宣⾔是我们内⼼相信和每天遵从的东西;⼆是路线图，我们会在承诺的时间内开放；三是架构图，将来跟我们交流 Apollo 时，只要说出这三个共同点，⼤家就是朋友，我们有共同的认知。”
第⼆部分:Apollo ⾃动驾驶感知技术
感知技术是什么?
感知属于⾃动驾驶核⼼技术，本期沙龙，百度⽆⼈车感知核⼼算法技术负责⼈陈世佳⾸次对外公开宣讲了这部分内容。
为了让⼤家更好地理解，陈世佳⽼师将汽车上的感知与⼈类感官进⾏了类⽐:⼈有感知，通过感官器官
获取外界信息，传达感知功能区，把形象化的东西抽象成概念性或者更⾼层的语义，供我们思维记忆、学习、思考或者决策，让我们运动控制功能区，让我们⾝体对外界进⾏反馈。⽆⼈车类似这样的结构，这是强相关的东西，我们⽆⼈车也是⼀样。下图所⽰这辆车是 2016 年 12 ⽉乌镇演⽰车队的其中⼀台，它有传感器、雷达、摄像头，这是覆盖⽐较全⾯的设置，包括视觉、触觉、嗅觉等信息。它需要⼤脑处理，⼤脑是⽆⼈车⾥的感知功能模块。
范冰冰妈妈由于感知范围是⼴泛的，它依赖于⼈⼯驾驶或者⾃动驾驶需要的环境匹配，⼯况复杂度越⾼，感知复杂度越⾼。⾃动驾驶不同级别⾥，感知的复杂度也不同。Apollo ⽬前开放的定位是 Level3 或者 Level4，感知、决策、控制是三位⼀体的过程。
感知与传感器系统紧密结合，获取外部环境信息，⽐如有没有障碍物，障碍物的距离、速度等，把数据交给感知处理模块，我们会收集信息，构成⼈开车时理解的环境。这些信息会被我们决策模块进⾏分析和提取，在周围环境车辆⾏驶状况下，下⼀步怎么⾛才是安全的。控制模块会让车向前⾏，感知模块获得新的信息，不停循环，应对更新的环境状态，实现整体良性的循环。
核⼼：感知⽤来做什么?
感知的输⼊跟环境相关。只要符合条件，都可以被列为感知。在 Level3 和 Level4 ⾥定义的细分任务，把输⼊输出具体化。
障碍物检测，包括⼈、车、⽯头、树⽊等。上图是点云输出，下图是图像感知⽰例。Level3 检测结果障碍物，对于 Level4 来说，不仅知道这是车，⽽且可以将其按⼤车、⼩车分类，因为⼤车和⼩车的开车⽅式不⼀样。不同的车，做出的决策规划不⼀样。你可以超⼩车，但⽆法超⼤车。
我们需要⼀个很细的障碍物分类，这根据输⼊的不同划分，有点云分类和障碍物中的分类。著名例⼦是红绿灯的识别，你需要判断交通灯的颜⾊。障碍物检测分类，我们得出障碍物信息，这样有利于我们做后续决策。我们要知道每个障碍物可能运⾏的轨迹，它会不会超车、插⼊车道或者⽆故变线，这需要障碍物跟踪。障碍物跟踪是很重要的模块。我们要运⽤障碍物，也有对场景的分析，我们点云也⽤到这个。
我们在图像级别会做类似的分割，⽬的是我们做场景建模和语义化的描述。我们有很多任务，每个任务输⼊是多源的，包括激光雷达、图像等。如果要⽤ Apollo 搭建感知系统，如何选择传感器、传感器配置?希望它做什么任务。
这是三种基本传感器的效果对⽐，LiDAR 是激光雷达，Radar 是汽车通⽤毫⽶波雷达，Camera 是摄像头。绿⾊代表做得好，黄⾊代表做得普通，红⾊代表做得差。最后，说明了三种传感器融合效果是最好的。
那么，感知系统开放模块怎么做?
点云感知。开放了 LiDAR 点云检测，可以判断点云⾥的每个点是否为障碍物，障碍物的类型是什么。
感知框架。⽤的是深度学习，它可以做到精准检测和识别。⽽深度学习⾮常耗费计算量。需要依靠搭建的车载智能系统，来⽀撑深度学习模型，以达到毫秒级感知。
⾼精地图。先以当前的激光雷达作为坐标系核⼼，把地图中的点投到坐标系⾥。然后建⽴快速的表格，根据感知的距离扩⼤坐标区域。之后对俯视图进⾏⽹格化，⽹格化参数可以在 Apollo 进⾏配置。最后输送给障碍物检测。
障碍物检测。分为特征抽取、点云检测、点云聚类、后处理、闭包提取。特征抽取，就是建⽴⼀个⽹格，每⼀个⽹格提取的信息对应⼀个值，每⼀个⽹格都有⼀个特征，拼接形成⼀张图；点云聚类，是⽤可信的⽹格做结果预测；后处理，是由于预测不准，对障碍物的判断会存在误差，所以要通过后处理来精确障碍物。闭包提取，是据朝向补全障碍物的形状。
障碍物跟踪。与障碍物检测相结合，检测结果和历史障碍物进⾏信息匹配，得出新障碍物列表。并且输出下⼀帧以什么速度怎样⾏驶，得出列表。
念奴娇 赤壁怀古 苏轼视觉感知。Apollo 之前版本的视觉感知数据，主要是红绿灯的数据。已发布的 Apollo2.0 同时开放红绿灯检测和识别算法，可以作为视觉感知的典型代表。
红绿灯识别。是根据当前车的位置查⾼精地图，判断前⽅是否有红绿灯。如果有，⾼精地图会返回红绿灯的物理位置，同时采集视频图像。如果并排很多灯，需要准确判断影响决策的灯。
Apollo 2.0
Apollo2.0 在感知⽅⾯有三项新增功能，⼀是点云分类，⼆是多传感器融合，三是红绿灯识别。
第三部分:Apollo ⾼精地图的技术与应⽤
百度是国内唯⼀⼀家既拥有⾼精地图领先技术，⼜能提供⾃动驾驶完整解决⽅案的全⾯布局的公司。百度 Apollo 拥有国内最领先的⾃动驾驶技术，以及国内最⼤的⾃动驾驶车队，因此 Apollo ⾼精地图堪称“最懂⾃动驾驶”。
公开课⾥，百度⾼精地图编译团队技术负责⼈王健⽼师为⼤家分享了“⾼精地图技术与应⽤”。
主要包含三个⽅⾯的内容:
⾼精地图在⾃动驾驶系统中如何发挥最⼤的作⽤;
百度⾼精地图如何制作、制作流程以及制作数据量的⼤⼩;
百度制作出的⾼精地图，百度开放了 Apollo 平台，愿意把地图⼀起开放，供做⾃动驾驶的公司和学术单位不需要重复造轮。
⾼精地图在⾃动驾驶中如何发挥作⽤?
Apollo 开放框架中，⾼精地图排在云服务的第⼀位，⾼精引擎排在开放软件平台的第⼀位。这是⼀个巧合，但也是重要性的显⽰。
从云端平台来看，仿真系统⽆法离开⾼精地图，仿真系统构建真实道路、真实路况，没有⾼精地图⽆法模拟真实路况，车⽆法从中训练和模拟。⾼精引擎，通过和云端⾼精地图联⽹，它可以为其他模块提供丰富的数据，主要从四⽅⾯对⾃动驾驶提供⽀持:⼀是定位，⼆是感知，三是决策，四是规划。
关于感知--很多地⽅离开⾼精地图就没有信号灯，没有参考的“⽼司机”。⾼精地图给感知带来的，除了“⽼司机”，还有探测范围。传感器可以探测 500 ⽶还是 1 公⾥，只要⾼精地图有的都可以给你。⽐如汇⼊汇出时，你错过⼀个⾼速路出⼝需要多绕⼏⼗公⾥。有了⾼精地图，你可以提前 5-10 公⾥感知距离。⾼精地图不仅包含数据，如果把地图理解为数据，有⼀定的局限性。⾼精地图是语义性的数据，这是图标，但这个图标代表什么意思，⾼精地图在制作过程中赋予语义信息。路灯、交通信号灯，交通信号灯到底有⼏个灯，带箭头还是不带箭头的灯，提前预知感知模块，减少运算量，提⾼感知算法的准确率，降低算法设计难度。如果传感器突然坏了，⽆法感知，如果有⾼精地图，它可以
根据⾼精地图这个“⽼司机”继续⾏驶⼀段，直到安全的地⽅。这是⾼精地图的作⽤。
关于定位--⾼精地图如何定位?如果⼀辆车没有地图，只有相机、雷达，很难知道⾃⼰在哪个精确的位置。⾼精地图提供标准的位置，现在有⼀种低成本的设计⽅案，采⽤单⽬相机拍摄虚线和实线，把采集的图像和⾼精地图做⽐对，通过算法可以知道我当前在道路⾯的第⼏个车道。算出车道后解决定位问题，这是横向定位。纵向定位可以借助交通信号灯、路灯、灯杆等实现定位。
关于规划--如果车在路上发现前⾯有事故或者施⼯路⾯，这时候需要变道，⾼精地图提供了有利的⽀持。
关于决策--车到了⼗字路⼝，⾼精地图会采集安全岛的信息，复杂⼗字路⼝有安全岛，车在决策过程中需要参考安全岛等重要要素，否则这辆车冲上安全岛，导致⾏⼈发⽣交通事故。
becauseofyou中文歌词在⾃动驾驶的⼏个重要模块，包括定位、决策、规划和感知。这⼏个模块离不开⾼精地图的⽀持，有了⾼精地图可以节省很多传感器的成本，这是加速量产的⽅法。在⾃动驾驶⾏业，暂时离不开⾼精地图的⽀持，如果在座各位提出低成本量产⽅案，可以离开⾼精地图，基本可以引领⾃动驾驶⾏业。
百度⾼精地图制作流程:
这些年百度和宝马、奔驰、⼤众和福特等 OEM 进⾏联合研发，侧⾯证明车⼚对百度⾼精地图的认可。
经过多年的研究和车⼚联合开发，百度简化为以下流程:
⼀是外业采集，传送到内业借助 AI 算法，后来会谈到 AI 算法如何处理要素;
⼆是根据采集车采集回来的数据进⾏分类，校验准确性等;
三是⼈⼯验证阶段，算法只能保证 90%，为了保证百分百，必须加⼊⼈⼯校验步骤，⼈⼯校验结束后可以发布。现在有三级别产品，包括⾼精地图，三维地图可以满⾜⾃动驾驶需要;
四是 ADAS 地图应⽤⼴泛在卡车⾏业和乘⽤车⾏业。卡车拉着四五⼗吨货物，如果它能提前预知前⽅ 1 公⾥外有⼀个⼤坡或者⼩坡，它可以灵活的控制发动机，进⾏节能技术的开发，我们跟 OEM 合作中有⼀定的项⽬经验。结合 ADAS 地图的卡车能耗节省 30%。地图需要持续的更新。
百度开放⾼精地图服务:
百度从 2013 年开始⾼精地图的研究，是国内唯⼀具备完整的⾃主知识产权，拥有从采集设备到数据加⼯全流程⾃主技术研发能⼒的⾼精地图数据提供商。百度 Apollo 平台的⾼精地图具备“精细化程度最⾼、⽣产效率最⾼以及覆盖最⼴”三⼤优势。
2017 年 9 ⽉，百度对外发布了 Apollo1.5，对外开放了包括⾼精地图服务在内的五⼤能⼒。通过开放
⾼精地图服务，Apollo 将帮助合作伙伴实现精准的⾃主定位，并为决策规划提供精确、充分的数据⽀持，让⾃动驾驶车辆掌握“全局视⾓”。
第四部分:Apollo ⼩度车载系统语⾳语义设计思路和核⼼架构
在 2017 年的百度世界⼤会上，发布了全球⾸款⼈车 AI 交互系统--Apollo ⼩度车载系统。百度车联⽹语⾳语义整体技术负责⼈陈聪，带⼤家从车外⾛到车内，揭秘 Apollo ⼩度车载系统语⾳语义设计思路和核⼼架构。
每次谈到 AI，我们都感觉它是⼀堆冷冰冰的算法和模型，如何把 AI 的能⼒转换成带有⼈性化的产品?这是 Apollo 在思考的。
我们希望基于 Apollo ⼩度车载系统做到“四个你”：听懂你，看懂你，关爱你，守护你。
想打造好的语⾳语义系统，关键路径要解决三个问题，⼀是听清，⼆是听懂，三是满⾜。百度是做搜索起家，语⾳语义理解是百度⽐较擅长的事情。关于语⾳，⼩度的⽬标⾮常明确，就是唤醒识别够精准。百度拥有情感语⾳识别系统，同时还有靠机器学习⽣成的语⾳系统。关于语义，⼩度能够很好的理解⽤户的意图，在理解意图的基础上，通过对话、场景做更⼈性化、拟⼈化的对答。
在听清⽅⾯，百度⽬前做到的核⼼指标，⼀是识别上，字准率 97%;⼆是拥有全球⾸个超⼤规模情感
合成系统；三是唤醒上，⽬前在⾼速 100迈开窗的唤醒率达到 95%。
在听懂⽅⾯，要谈⼀下百度语义系统背后的⼀套对话系统。通常说语义包含三⽅⾯：技术、数据和内容。包括⼩度车载系统中的前端对话服务、技能框架和技能数据。数据⾜够多，技术⾜够深，是打造对话系统的必要条件。
在满⾜⽅⾯，百度体系内⽀持 1 万种信息垂类，在百度搜索框⾥搜索到的东西，都可以在⼩度的搜索语义中⽤到。百度挑选了 100 种原⽣对话技能，是在车载场景下典型使⽤的原⽣的对话技能，包括优质资源、知识体系、百亿级知识实体关系。
从分层的⾓度看看我们这套架构做了什么:
第⼀层是设备层，⾯对所有车载设备提供标准解决⽅案;
第⼆层是核⼼层，是⼩度车载系统的核⼼能⼒，⽤于保证 TTS、ASR、IOV ⼤脑;
第三层是技能层，是需要可以满⾜需求的技能。百度⽬前在全球有 1.4 亿 POI，已经部分开放给⾏业和开发者。
陈聪⽼师总结:Apollo ⼩度车载系统希望做最能听懂⽤户的对话系统，谈到数据、技术、内容层⾯。我
⼀直说 AI 能⼒的赋能，百度第⼀期开放七⼤ AI 能⼒，接下来百度越来越多的 AI 能⼒会被融⼊，我们希望做百度 AI 能⼒的集⼤成者。
写在最后
Apollo 2.0 已经于 12 ⽉ 30 号开放，该版本将⽀持简单城市道路⾃动驾驶，可以在 GitHub 获取到代码。美国时间 2018 年 1 ⽉ 8 号(中国时间 1 ⽉ 9 ⽇凌晨 6:00)，将在美国 CES 举⾏ Apollo2.0 发布会，敬请关注!