算法已先行芯片却跟不上？AI生态系统平衡发展的关键是什么

2022-08-03 17:13:19  信息编号：K223094  浏览次数：956

经过十年，人们对 AI 的认识逐渐清晰。正如前不久谷歌的工作人员声称 AI 聊天程序 LaMDA 拥有了意识，很快就被认为并不成立。AI 的存在，并非为了是挑战人类，而是为了提供工具、优化流程、提供效率。

就在上周，DeepMind 发布了最新的蛋白质结构数据库：超过 2 亿个蛋白质结构，这几乎涵盖了科学界所有已知的有编目的蛋白质。AlphaFold 是 AI 为生物学研究提供的强大工具。有了 AI 的助力，生物学家能够花更多精力研究蛋白质的功能，而非测量结构。

技术发展是一个叠加的进程。AI 也需要这样，进入具体领域，发生对话，实现其技术价值。以怎样的形式让交流发生，也是经历了上一阶段的 AI 创业公司需要思考的议题。而对于想应用新技术的公司，又面对需要跨越的学习门槛。

对于单个企业而言，搭建硬件、调试算法从头做起不切实际。如何将需求落实为技术方案，再运用技术方案实现管理？将这个问题给到 AI 技术提供方，思考又会拆分为许多层，场景匹配算法、算法接入框架、芯片支持算力。

AI行业面临的两大难题

AI芯片跟不上算法的速度

早在2019年斯坦福大学就有报告指出，AI对算力需求的速度要快于芯片的发展速度。“在 2012年之前，AI的发展与摩尔定律的遵循度极高，计算能力每两年翻一番，但2012年之后，AI的计算能力每3.4个月就翻一番。”

当通用处理器算力跟不上 AI 应用的需求，针对 AI 计算的专用处理器便诞生了，也就是常说的“AI 芯片”。自2015年AI算法在视觉识别方面超越人类分数，业界对AI芯片关注度大增，也因此带动了相关IP技术的发展，加快了下一代处理器和存储器的速度，实现了更高的带宽接口，从而紧紧跟上AI算法的步伐。图1显示了自2012年引入反向传播和现代神经网络，并与NVIDIA的重型计算 GPU 引擎相结合后，AI典型错误率呈现肉眼可见的降低。

随着AI 算法日益复杂，无法在专为消费类产品设计的 SoC 上执行，需要使用修剪、量化等技术对齐进行压缩，从而减少系统需要的内存和计算量，但这样就会影响准确性。所以工程上面临一个挑战：如何实施压缩技术而不影响AI应用所需的精度？

除了AI算法复杂性的提升之外，由于输入数据的增加，推理所需的数据量也急剧增长。图 2 显示了优化后的视觉算法所需的内存和计算量。该算法设计为相对较小的 6MB 内存占用空间（SSD-MobileNet-V1 的内存要求）。在这个特定示例中，我们可以看到，随着像素大小和颜色深度的增加，最新的图像捕获中的内存要求已从 5MB 增加到 400MB 以上。

目前最新的三星CMOS图像传感器摄像头支持高达108MP。理论上，这些摄像头在30fps和超过1.3GB 内存下可能需要40 TOPS的性能。但ISP中的技术以及 AI 算法中特定的区域，无法满足这些要求，40 TOPS性能尚无法在上实现。但通过此示例能看出边缘设备的复杂性和挑战，并且也正在推动传感器接口IP的发展。MIPI CSI-2 具有专门的区域来解决这个问题，MIPI C/D-PHY 继续增加带宽，以处理驱动数亿像素的最新 CMOS 图像传感器数据。

如今的解决方案就是压缩AI算法，压缩图像，这就使得芯片优化变得极其复杂，尤其是对于内存有限、处理量有限且功耗预算较小的 SoC。

AI芯片评估面临挑战

AI芯片厂商通常对会其芯片进行一些基准测试。现在的SoC有多种不同的衡量指标。首先，每秒万亿次运算 (TOPS) 是性能的一个主要指标，通过这项数据可以更清楚地了解芯片能力，例如芯片可以处理的运算类型和质量。再者，每秒推理数也是一个主要指标，但需要了解频率和其他参数。因此，行业内开发了额外的基准测试来帮忙AI 芯片进行评估。

MLPerf/ML Commons和AI.benchmark.com都是AI芯片标准化基准测试的工具。其中，ML Commons 主要提供芯片精度、速度和效率相关的测量规则，这对了解芯片处理不同 AI 算法的能力非常重要，如前所述，在不了解精度目标的情况下，我们是无法在芯片进度与压缩程度之间做取舍的。此外，ML Commons还提供通用数据集和最佳实践。

位于瑞士苏黎世的 Computer Vision Lab 还提供移动处理器的基准测试，并发布其结果和芯片要求以及支持重复使用的其它信息。包括 78 项测试和超过180 个性能方面的基准。

斯坦福大学的DAWNBench为ML Commons的工作提供了支持。这些测试不仅能解决 AI 性能评分问题，还解决了处理器执行 AI 算法训练和推理的总时间问题。这解决了芯片设计工程目标的一个关键问题，即降低整体拥有成本或总拥有成本。AI 处理时间，决定了云端 AI 租赁或边缘计算的芯片所有权，对于组织的整体 AI 芯片策略更有用。

另一种流行的基准测试方法，是利用常见的开源图形和模型，但这些模型也有一些弊端。例如，ResNET-50 的数据集为 256x256，但这不一定是最终应用中可能使用的分辨率。其次，该模型较旧，层数少于许多较新模型。第三，模型可以由处理器 IP 供应商手动优化，但这并不代表系统将如何与其他模型一起执行。除了ResNET-50之外，还有大量可用的开源模型，通过它们可以看到该领域的最新进展，并为性能提供良好的指标。

最后，针对特定应用的定制图形和模型变得越来越普遍。理想情况下，这是对 AI 芯片进行基准测试，以及合理优化以降低功耗和提高性能的最佳方案。

由于SoC开发者各有不同的目标，有些是应用于高性能领域，有的是用于较低性能的领域，还有的是通用AI领域，以及ASIC领域。对于不知道需要按照哪种 AI 模型进行优化的 SoC，自定义模型和开放可用模型的良好组合，可以很好地指示性能和功耗。这种组合在当今市场中最常用。然而，在 SoC 进入市场后，上述较新的基准测试标准的出现，似乎在比较中具有一定的相关性。

突破技术上的挑战和边界

任何新技术应用到企业和行业的时候，其爆发点需要有三条：为企业降低成本、为企业增加效益、为企业寻找创新的机会。以目前的AI技术水平，很多时候还只能在产业的某一个环节、某一个步骤实现“降本、增效、创新”，只有在极少数情况下，AI技术才可能完全替代人类。在经过数百个场景和项目的验证中，我们逐渐看到AI技术落地的一些挑战和边界。

“目前来看，AI在产业中应用的主要场景分为三大类：智能感知、智能交互和智能决策。AI真正在这三类场景应用面临巨大的挑战。这就需要降低算力成本，提高算法和框架的性能，那么AI落地时会才不会因为成本过高而失去商业价值，进而实现商业化、规模化。”谭茗洲说。

谭茗洲指出，“可以说，应用场景、资源与基础设施、算法和模型、智能设备、数据构成了AI技术落地的五要素。如何将这五大要素在落地场景中实现协调，是AI技术在产业界落地中另一个关键点。在实现智能感知、智能决策、智能交互的时候，往往任何一个要素的变化都会导致其他要素的变化。比如算法模型发生变化，设备资源调度都要跟着改变。结果就是，真正落地实施的时候就会需要算法专家、设备专家、资源专家，以及应用开发的合作伙伴都在场。最终结果就是AI落地的成本太高，无法真正在产业应用中大规模铺开。”

如何才可能让整个AI落地的成本快速降到有商业价值的水平？“需要让这些要素并行发展，不用在任何时候都要顾及所有要素。也就是说，算法专家不用关心应用是什么情况，设备供应商也不用关心算法问题，把这五个要素进行解耦，让一个要素相对其他几个要素变得更加透明。从思路看上去有点像PC操作系统，将把鼠标、键盘等所有这些设备之间的复杂度都通过一个标准化的协议屏蔽掉，让它们之间能够互相解耦，各自专注自己擅长的方向，以降低各个方面的成本，AI才能真正规模化，实现商业上的成功。”谭茗洲表示。

储备懂AI思维及语言的人才

什么样的应用才是真正的AI应用？“未来还是要结合场景和用户体验去重新设计，用AI本身的方式思考，才会产生真正的AI应用。未来五年会有真正的AI应用出现，AI的能力也会发挥到极致，到时候，AI会作为一项背后的技术参与其中，但这个技术已经普及而且消费者无需感知了——因为技术应用的最高境界是技术变得无感，场景当中最合适的技术实现了，这是AI应用到来的时候。”云知声董事长兼CTO梁家恩认为。

人工智能专家丁磊在其新作《AI思维》中强调，“AI，不只是一个技术、工具，是一种思维方式，它能够帮助我们有效分析大量的数据，并从中得出预测，甚至帮助我们做出决策”。那么，在AI落地过程中，储备真正懂得AI思维、AI语言的人才，显得尤为重要。

实际上，在大部分的企业场景下，都是工程师、科学家讲一套语言，而业务负责人讲另外一套语言，相互之间没有一个很好地交流通道。这种状态下，AI是没办法落地的。

谭茗洲说，“有经验的人工智能专业人员很难聘请，这对于所有行业的企业来说都是个难题。实施AI项目通常需要建立一个由数据科学家、ML工程师、软件架构师、BI分析师和中小企业组成的跨学科团队。并且，AI落地中关键需要加大对企业老板或者业务负责人，甚至包括部分一线业务负责人在AI思维上的提升和教育。当这些人真正地理解这样一个框架和AI数据思维的闭环逻辑的话，再进行AI落地就会顺利很多。”

建设高端人才队伍，开设人工智能专业的高校无疑是“冲锋军”。如今，一些高校开始注重培养学生跨学科意识，结合自身特色专业，制定有关“人工智能+”的培养计划，培养相关专业混合体系的学生。

谭茗洲表示，“AI教育从本质上来说，不是知识层面的教育，而是思维能力、思维方式的教育。AI人才培养应该从小抓起，帮助广大青少年树立AI意识，不断提升他们的科学素养，并激发其对人工智能的兴趣与热爱。目前中小学开展的人工智能相关课程，偏向于基础性编程教育，通过模块化操作，实现一些智能功能，例如让机器人踢足球、行走等。这样更可以帮助青少年培养机器学习的思维，让中小学生对人工智能建立初级认知。”

生态的两端：从设施到人才

七月底，「2022 中国算力大会」在山东省济南市召开，在算力大会上，由淄博市政府牵头的中国北方 AI 算力创新中心正式启动。这是一个城市级的人工智能底座，对于淄博这座城市而言，是第一个数字经济的基础设施。淄博也是全国首批产业转型升级示范区之一。

如果简单比喻：算力是生产力，算法是生产关系，数据是生产资料。若从产业视角来看，算力则属于高耗能产业。因此选择集约化的方式建造算力中心，能够有效利用资源。

林达华表示：建设面向人工智能场景的高性能的调度系统，带来了更低的性能损耗，更高的资源利用。集中调度系统，就需要算力平台作为支撑。AI 算力创新中心，也将扮演支撑者的角色。在城市数字化的过程中，淄博意识到急需一个统一的 AI 能力中心平台。数字化转型中，往往第一步是传感器等基础设施搭建。这提供了基础的数据。下一步，需要有效的数据分析和处理，才是智能化的开始。

AI 算力创新中心将解决数据的打通和处理问题。林达华举例说：商汤的技术团队建设起来了专用面向人工智能的存储系统，可以对数以亿计甚至百亿级的小文件进行一个随机的访问，例如 5 秒钟就可以读取完成 3000 多万辆机动车辆的信息。

在一个城市建立AI基础设施，短期来看，能够解决种种应用需求；长期而言，则是 AI 持续与当地产业交流，这也为产业人才培养提供了重要环境。目前，商汤与青岛职业技术学院共建了青岛市人工智能产教科创实训基地。

作为和 AI 技术一路成长的企业，商汤也愿意与同行者一起做长期的事情。杨松在圆桌讨论的尾声说，只有 AI 人才数量提升，每个企业才会对自身的数字化转型和人工智能建设，有更好的认知；这样才会有一个总体的解决方案，去看一个具体的行业怎样去接入到人工智能企业去。