ITU于2020年8月正式发布AI芯片基准测试标准：ITU-T F.748.11 “Metrics and evaluation methods for a deep neural network processor benchmark（深度学习处理器基准测试评测指标与方法）。
评测标准是AI芯片产业的基础和标尺
近年来，AI芯片发展呈现出百花齐放的态势，然而在产业成熟度、落地应用等方面仍存在诸多问题。其中，AI芯片的选型就是当前人工智能企业面临的一大难题，建立AI芯片测评标准已成为助力人工智能产业健康发展的一大诉求。基准测试是一种常用的性能指标测试方式，在计算架构演进中扮演着非常重要的角色，清晰的基准测试指标，不仅可以帮助技术供给企业快速进步，还可为需求方的选型提供参考。
目前，AI芯片的评测，国际上主流的有MLPerf，苏黎世理工的AI benchmark，国内有中国人工智能产业发展联盟（以下简称“AIIA”或“联盟”）的 AIIA DNN benchmark，小米的Mobile AI bench, 中科院计算所智能计算机研究中心的NPUBench等。这些评测多数属于基准测试的范畴，由于这些基准测试的出发点不同，设计的思路，基准测试的内容和评估指标也都不尽相同，业界尚未有公认的基准测试标准。权威基准测试标准的缺失，一定程度上导致了人工智能应用企业、集成商、开发者无法准确评价芯片在同行业的技术水平，也无法体现国际市场中的地位。
首个AI芯片基准测试国际标准
ITU发布的首个AI基准测试评测标准，ITU-T F.748.11 “Metrics and evaluation methods for a deep neural network processor benchmark（深度学习处理器基准测试评测指标与方法），提出了AI处理器/加速器在完成以深度学习为代表的人工智能任务时的基准测试框架，涵盖训练任务、推理任务的基准测试评估指标（Metrics），具体的评测方法和推荐评测场景下的工作负载（Workload）。基准测试指标包括时间、吞吐、能效比和准确率等，评测场景以视觉、语音、推荐三大类场景为主，具体包括图像分类、目标检测、语音识别、机器翻译等8大类AI应用。
该项国际标准由中国信息通信研究院牵头，于2019年7月在国际电信联盟第十六研究组（简称ITU-T SG16）Q5 报告人会议上提出立项，并担任编辑人（Editor），历时近1年，经过多轮讨论修订，于2020年6月22日-7月3日，举行的ITU-T SG16全体会议提交报批并通过全会审议进入公示阶段，于2020年8月正式发布。
其评测方法、评测指标及场景参考并采纳了联盟评估规范、AIIA DNN benchmark项目相关研究和中国通信化标准协会行业标准的相关内容，参与单位包括华为、腾讯、Arm中国、寒武纪、阿里巴巴、百度、Intel、赛灵思、Imagination、紫光展锐、鲲云科技、地平线、南京新一代、西安交通大学、清华大学等20余家企业、高校及科研机构。
AI 芯片基准测试国际标准的正式发布，标志着我国在AI芯片领域评测能力得到了国际认可，也是我国AI芯片科研人员对国际标准化研究的重要贡献，将为我国AI芯片技术、产品和评测走出国门开辟了道路。
关于ITU-T SG16
ITU（国际电信联盟）为三大国际标准化组织之一，ITU-T即国际电信联盟电信标准分局 （ITU-T for ITU Telecommunication Standardization Sector）， 它是ITU管理下的专门制定电信标准的分支机构。ITU-T SG16是国际电信联盟标准化局非常活跃的研究组，主要研究领域为多媒体与e-Services。目前，SG16的研究范围覆盖了视频与音频处理与压缩编码、视频监控、内容分发、大数据、区块链、人工智能等众多热点标准化研究方向。
关于AIIA DNN benchmark
2017年起，中国信息通信研究院联合20余家国内外企业、高校及科研机构，在联盟下发起AI芯片基准测试评估项目AIIA DNN benchmark，目标是围绕人工智能芯片研究制定客观、可信及可复现的评估指标，为产业界提供专业评估评测服务。目前AIIA DNN benchmark已初步形成端+云全方位基准测试方案，来自华为、Arm中国、高通、赛灵思、Imagination、启英泰伦、鲲云科技、上海海思等企业的AI芯片参与了评估评测，项目受到了国内外产业界的广泛认可。
中国人工智能产业发展联盟：http://www.aiiaorg.cn/benchmark
|
