柯震东为什么⼯程伦理案例分析
“外卖骑⼿，困在系统⾥“背后的伦理思考
背景
去年，⼀篇叫《外卖骑⼿，困在系统⾥》的深度调查报道，引发全民对外卖⾏业商业伦理、职业风险、⽤户体验的讨论。2万字长⽂，23张配图，细数了美团、饿了么崛起背后平台、600万外卖骑⼿以及5亿⽤户之间的需求与⽭盾。由于平台不断压缩送餐时间，外卖骑⼿“舍命狂奔”，事故不断，已成为“⾼危职业”。此外，报道还分析了苛责的⽤户评价、时效体系，制造并不断加剧了⽭盾。事件发酵后，饿了么率先表⽰，将给⽤户“多等5分钟”的选择；美团则在⼀天后发⽂，表⽰认错、反思，将给⽤户“多等8分钟”的选项，并将加⼤资⾦和技术投⼊，保障骑⼿安全和权益。    外卖⾏业已⾼速冲⼊“下半场”，外卖平台、商家、骑⼿的⽭盾⽇益凸显。我们不禁会思考到底是谁“偷⾛”了外卖骑⼿的时间和安全？谁应该承担这种责任？“他”为什么要这样做？是什么加剧了外卖平台、商家、骑⼿的⽭盾？
黄绮珊资料
案例介绍
在过去⼀年多时间⾥，美团配送团队在机器学习、运筹优化、仿真技术等⽅⾯，持续发⼒，深⼊研究，并针对即时配送场景特点将上述技术综合运⽤，推出了⽤于即时配送的「超级⼤脑」——O2O 即时配送智能调度系统。
系统⾸先通过优化设定配送费以及预计送达时间来调整订单结构；在接收订单之后，考虑骑⼿位置、在途订单情况、骑⼿能⼒、商家出餐、交付难度、天⽓、地理路况、未来单量等因素，在正确的时间将订单分配给最合适的骑⼿，并在骑⼿执⾏过程中随时预判订单超时情况并动态触发改派操作，实现订单和骑⼿的动态最优匹配。同时，系统派单后，为骑⼿提⽰该商家的预计出餐时间和合理的配送线路，并通过语⾳⽅式和骑⼿实现⾼效交互；在骑⼿送完订单后，系统根据订单需求预测和运⼒分布情况，告知骑⼿不同商圈的运⼒需求情况，实现闲时的运⼒调度。通过上述技术和模式的引⼊，订单的平均配送时长从 2015 年的 41 分钟，下降到 32 分钟，进⼀步缩短⾄ 28 分钟，另⼀⽅⾯，在骑⼿薪资稳步提升的前提下，单均配送成本也有了 20% 以上的缩减。
但骑⼿们永远也⽆法靠个⼈⼒量去对抗系统分配的时间，他们只能⽤超速去挽回超时这件事。⼀位美团骑⼿告诉《⼈物》，他经历过的最疯狂⼀单是1公⾥，20分钟，虽然距离不远，但他需要在20分钟内完成取餐、等餐、送餐，那天，他的车速快到屁股⼏次从座位上弹起」。
超速、闯红灯、逆⾏……在我看来，这些外卖骑⼿挑战交通规则的举动是⼀种逆算法，是骑⼿们长期在系统算法的控制与规训之下做出的不得已的劳动实践，⽽这种逆算法的直接后果则是——外卖员遭遇交通事故的数量急剧上升。2017年上半年，上海市公安局交警总队数据显⽰，在上海，平均每2.5天就有1名外卖骑⼿伤亡。同年，深圳3个⽉内外卖骑⼿伤亡12⼈。2018年，成都交警7个⽉间查处骑⼿违法近万次，事故196件，伤亡155⼈次，平均每天就有1个骑⼿因违法伤亡。2018年9⽉，秦皇岛
好听的游戏名
交警查处外卖骑⼿交通违法近2000宗，美团占⼀半，饿了么排第⼆。
案例分析
我们看到了“困在算法⾥”的外卖平台骑⼿们，⾯对不断压缩的订单送达时间，他们没有选择，只能遵循算法的设计逻辑，看着⼿机上⼀条直线的数字地图，在现实的道路上“与死神赛跑，和交警较劲，和红灯做朋友”。我们做了以下思考：
1.谁“偷⾛”了外卖骑⼿的时间和安全？是⼈⼯智能算法。算法不仅仅学习了外卖骑⼿正常⾏驶下最好的路线，还学习了某些“聪明的”外卖骑⼿⾮正常形式的路线，这就导致了算法系统就认为外卖骑⼿们都有能⼒达成如此的效率，使得外卖订单越来越难按约定时间送到，从⽽外卖骑⼿在如此重压下，往往会铤⽽⾛险，最终酿成惨剧。
但是算法永远都是⼯具，算法没有错，错的只是操作算法的⼈，即算法⼯程师，算法⼯程师应该承担这个责任。算法如何压榨外卖骑⼿的原因很多程度上在于算法⼯程师松弛了骑⼿们应该遵守规则的限制，将某些“⾮常规”⾏驶的外卖骑⼿的⾏为视为不见。
2.算法⼯程师这样做，导致各种惨案，难道不觉得违⼼吗？可能他们未必会觉得违⼼，⾸先因为从个⼈⾓度考虑，他们只创造算法，但是算法别⼈怎么⽤，⽤在哪⾥，跟⾃⼰⽆关了；其次，从公司⾓度
考虑，他们为公司创造利润，公司给予他们回报，合规合法；再次，从职业⾓度考虑，他们的⼯作就是为了解决最优化问题，为雇主获得最⼤利润；最后，从社会⾓度考虑，⼈⼯智能算法的数据来源于外卖骑⼿本⾝，是外卖骑⼿本⾝的不规范，才导致的算法学习到这种⽅式。
采菊东篱下悠然见南山的意思3.算法⼯程师的解释看似都合规合法，但这个问题的根源到底在哪？根源就是他们的⾏为虽然合规合法，但是他们违背了⼯程师的伦理责任。James Armstrong 等⼈在《决策者：⼯程师的伦理学》⼀书中指出，⼯程师具有多种⾓⾊：统治者——因其拥有技术政治和物质财富⽽被看作乌托邦社会中的决定性⾓⾊；守望者——以⼯程知识为基础，追求社会利益的最⼤化；有产者的仆⼈——管理者的仆⼈，将管理者的思想变成现实；社会的仆⼈——忠诚于社会事业；遵守社会规范的游戏者——按照政治和经济的规则，希望在竞争中获胜。因此，算法⼯程师不仅要对雇主（组织）忠诚、要对职业忠诚，还要对社会忠诚。明知不可为⽽为之，利⽤某些外卖骑⼿的不规范，强⾏加到每个骑⼿，这样的压迫，压榨⾏为并不是对职业忠诚，也不是对社会忠诚。
4.算法⼯程师应该怎么做？他们应该去寻到创造性的中间解决⽅式，但如果暂时没有到这种⽅式，当雇主、职业、社会三者之间存在冲突时，⼯程师要优先忠诚于社会，次之是职业，再次是雇主（组织）。
5.是什么加剧了外卖平台、商家、骑⼿的⽭盾？深层原因是什么？⼀些⽭盾的背后，最根本的原因往
往都不是⽭盾对象以外的问题，⽽是⽭盾对象本⾝的问题。外卖平台太重视效率，消费者太在乎外卖的派送时间，外卖骑⼿为了挣钱，敢于冒险。平台速度是⼀种时间节奏，集中体现着平台规则和算法⽀配下的统⼀性、规划性和标准性，⽽且蕴含着⼀种肤浅的消费哲学，代价就是将劳动者的主体性、情感性和⽴体感隐藏起来，这也助推了平台算法所带来的社会不平等，从⽽加剧了三⽅的⽭盾。
关于⼈⼯智能算法的结论与建议
1. 建构算法风险伦理评估模型与审查体系
⼈⼯智能应该是道德的、向善的，但对算法的道德要求、技术标准、评估体系等⽅⾯，仍然存在很⼤的提升空间。算法的关键属性特征能够影响风险的形成效果，⽽算法风险的准确评估则需要经历⼀个较为复杂的认知与实现过程。算法由编程代码组成，⽽编程代码本⾝是⽆法监管的。相反，只有相应的规范管理实体或规范的实际结果才能被规范。
1. 提升算法的伦理信任阈值与制定评估指标
为防⽌算法欺骗或者操纵⼈类，在⼈与算法互动的过程中维护⼈的能动性，提升算法伦理信任阈值是防范算法风险的重要路径。伦理信任阈值包括算法风险与伦理相关的主题要素，如透明度、可解释性、价值观、公众道德期望等。这些伦理维度的量化特征属性，将与算法风险有关的各种度量指标纳
⼊伦理设计过程之中，涵盖了⼤部分已经达成的伦理共识原则。不正当偏见的损害性主张容易造成算法的可信度下降，因此算法在设计之初便要符合道德规范的设计，嵌⼊相对公平的伦理价值，以避免造成算法的越界应⽤和不当后果。
1. 设⽴算法风险伦理问责机制
算法以及源代码获取的渠道⽇益开源，其安全可靠性成为衡量算法风险的重要因素，这就要求我们不仅要对技术的精准使⽤负责，还要对其可能造成的社会伦理影响负责。从认知科学视⾓探讨算法风险的社会影响，从伦理嵌⼊、风险评估、公众参与等⽅⾯，探讨基于社会影响和公众接受度的算法风险认知，是消除算法偏见、实现公平正义的重要途径。
其他与⼈⼯智能相关的伦理问题
AI的伦理问题1：
AI存在风险问题—“变脸”：
2018 年初，有位名叫“Deepfake”的匿名 Reddit ⽤户⽤⾃家的电脑和开源的⼈⼯智能⼯具，⿎捣出了⼈⼯智能“变脸术”，可以在任何视频中将⼀个⼈的脸换成另⼀张脸。这样会导致许多的欺诈、以及侵害他⼈肖像权等问题。
短短⼏周，⽹上就到处充斥着换上名⼈脸的粗劣⾊情⽚。尽管 Reddit 很快封杀了 Deepfake，但为时已晚，这种技术已经在⽹络上扎根。
由于不少⾼频使⽤的 App 都⽤⼿机号+⾯部图像注册登录，中国⽤户担⼼ AI 换脸软件被不法分⼦利⽤，通过技术合成完成刷脸⽀付等；或在视频，假扮家⼈朋友却不被识破，导致甚⾄更严重的犯罪⾏为。
案例分析：
利⽤AI进⾏换脸，从⽽侵犯他⼈的利益，是严重的伦理⾏为，甚⾄是犯罪⾏为。存在着恶意欺诈的⾏为。
AI的伦理问题2：
假新闻问题：
2019 年 2 ⽉ 15 ⽇，AI 研究机构 OpenAI 展⽰了⼀款软件 GPT-2，只需要给软件提供⼀些信息，它就能编写逼真的假新闻。
OpenAI 公布了软件编写新闻的过程。研究⼈员给软件提供如下信息：“⼀节装载受控核材料的⽕车车
厢今天在 Cincinnati 被盗，下落不明。”以此为基础，软件编写出由 7 个段落组成的新闻，软件还引述了政府官员的话语，只不过，这些信息全是假的。
剑魔刷图如果 GPT-2 可被⽤来写假新闻，理论上，也有可能被⽤来⽣产仇恨语⾔和暴⼒⾔论，包括垃圾邮件、虚假社交⾔论等。由于 GPT-2 ⽣成的⽂本都不是单纯复制粘贴来的，⽽是 AI 的即时⽣成，这导致负⾯⽂字⽆法被有效地追踪和清理。况且，如果机器写出⽂字进⾏传播，责任⼈很难被定性，且追查。很容易引发其他现象。
案例分析：
利⽤技术⽣成新闻，涉及到虚假信息，从⽽产⽣⾮常严重的影响，这些影响是⾮常恶劣的；⼀旦信息⼤范围传播，对社会造成的影响也是⽆⾮控制的，⼀定程度上，发明⼈本⾝存在伦理问题。
AI的伦理问题3（争议问题）：
监控学⽣上课
将先进技术⽤于教学场景，算是最具争议的⼀类应⽤。2019 年 11 ⽉，浙江⼀⼩学戴监控头环的视频引起⼴泛的关注与争议。
好看的英文昵称
视频中，孩⼦们头上戴着号称“脑机接⼝”的头环，这些头环宣称可以记录孩⼦们上课时的专注程度，⽣成数据与分数发送给⽼师和家长。这个⼜在现实⽣活中充满了⼴⼤的争议。有些⼈认为是时代的进步，更加有助于教学质量的把控，更多⼈认为这样的⽅式不妥。
案例分析：这个事件说明了AI⼀⽅⾯在让⼈类进步的同时，⼀⽅⾯也对⼈的隐私产⽣了重⼤影响，这个⼀直是长期争议的话题。