{{ title }}
{{ errorMessage }}


{{ errorMessage }}





{{ registerSuccessMessage }}
当前位置: 首页> 技术应用> 正文 
收藏
点赞
投稿
兼容多架构的AI质检解决方案
来源: 作者:
  2022-03-15   

作者:程强   宝德计算机系统股份有限公司方案与服务BU总经理

人工智能与制造业融合所面临的挑战

虽然AI 赋能的工业质检应用正在逐步渗透到多行业领域,其在落地过程中也存在一定的挑战,例如,AI质检效果不如预期、数据积累速度远低于产品交付,AI训练数据的小样本问题突出、算法工程师缺少工业机理的理解等。工业质检领域技术供应商可以结合自身业务特点,优先在有数据积累的场景进行差异化竞争。在工业领域加强小样本等算法的研发,持续进行算法优化迭代。另外,技术供应商也要加强对工业业务场景的理解与沉淀,包括产品生产流程、加工工艺等,才能找准企业的痛点并提升应用效果。在合作生态上,硬件厂商、解决方案商、集成商、服务提供商都是生态合作中不可或缺的环节,工业质检领域的技术供应商还会进一步和合作伙伴加强合作,丰富产业生态。未来,AI工业质检市场会进一步成熟,进一步带领泛工业领域的自动化、智能化转型。

问题一:缺陷样本数据缺乏

人工智能模型的训练需要依赖大数量、高质量的数据,由于实际生产中主要采用人工检测,涉及各类缺陷的高质量样本数据基本没有,需要从零开始采集。但数据的自动化采集需要考虑镜头、光源、工业相机等多方面因素,其中,光源就有几千种,还要考虑如何组合。

问题二:模糊标准下的精准判定与分类

现实场景中质检员对于缺陷的判定主观性比较大,标准不太统一,存在模糊性,比如对于同一种细小的缺陷判定,不同的质检员容易受到个人经验影响,会存在判断上的分歧。即使选择使用传统的AOI设备来弥补人工检测的不足,但在面对更加复杂的在线场景,检测精度不高,可能会采用过高的误判率来最大可能地减少不良品进入下一个环节,但这样会增加人工复检的成本。

问题三:检测需求多变且复杂

客户的检测需求一直在变化,尤其是在AI、5G、超高清等技术加持下日新月异的触显领域。新技术的应用、制造工艺的变革,会使检测的要求提升以及复杂性增加,比如:以前的检测精度要求可能是15微米,但随着下游终端市场需求变化,现在的检测精度可能要求达到10微米;对比2D、2.5D盖板玻璃,3D盖板玻璃在检测上对视觉算法、光学系统、机械控制等要求更高,在实际中需要解决的问题也更加复杂。

问题四:模型上线后迭代优化成本高

传统AI质检均在AI模型失效后,才能被厂方知晓。需要将AI系统下线重复系统初次上线的模型优化工作。对于已经按AI质检调整后的产线,需要重新排产重现安排质检员。这样的反复更替,会带来AI运维成本的极大提高和效率极大降低。

市场需求情况

AI赋能的工业质检市场主要是软件和解决方案市场,在这一领域,各类新技术供应商凭借自身基础优势进入该市场,如云厂商、AI创企、传统机器视觉企业、工业互联网平台企业等都在AI视觉质检领域积极布局。资本市场也高度看好该领域,近2年已经有超过30家相关创新企业获得融资。经过几年的发展,AI赋能的工业质检软件和解决方案市场也已经走向成长期,尽管在过去18个月内因为疫情等原因,工业质检市场交付呈现滞后现象,但2020 ~2021年中国工业质检软件和服务市场仍平稳增长。

AI赋能的工业质检应用最为拥挤的领域行业当属3C、半导体等行业。尽管在3C、半导体、钢铁、汽车、食品、化纤、服装、电力等众多行业都有场景实现商业落地,3C和半导体行业的屏幕、机壳表面检测、PCB的AOI检测以及新能源硅片表面检测等行业场景依然吸引了最多的技术供应商参与。前市场在AI赋能的工业质检软件和解决方案产品形态主要提供的是软件/ 平台、检测装备、面向具体业务场景的定制检测系统等。技术供应商提供的软件/ 平台以AI训练平台、AI检测软件为代表,检测装备主要是指封装AI检测算法、软硬一体的检测装备,定制检测系统主要是指如轧钢表面检测、车漆检测等面向具体业务场景的定制化检测系统。

质量是中国制造的短板,而机器视觉可以提高质量,通过智能化的方法把内部外部的缺陷识别出来,包括缺陷的检测、缺陷类型识别、特征的描述等。当前,AI应用于工业领域亟需场景开拓和案例探索,参与者则需要选准场景、重点突破,为工业AI应用打开局面。

在AI质检一体化解决方案中,所涉及到的软硬件种类众多,硬件层面包括为AI模型训练和推理提供算力的设备、为产线业务系统提供运行环境的工控机、前端的光源及成像设备以及负责产线流转的自动化设备等,不同设备之间属性、架构各不相同,管理起来错综复杂。软件层面包括能提供数据管理、数据标注、模型训练、模型部署、模型监控、设备管理与监控的一站式质检平台,以及为推理服务提供流程编排与推理结果呈现的前端视觉软件,还要考虑和产线原有业务系统如MES、CRM、ERP之间的流转和对接。

除开软硬件之外,AI质检另外一个非常重要的领域便是AI模型,为了保证AI质检解决方案具有良好的开放性,平台需兼容主流的深度学习平台,如MindSpore,TensorFlow和PyTorch等,能支持各类模型开发者将其制作好的模型部署到平台上来进行训练及推理。

因此,本项目所涉及的技术领域包括了实现对不同架构硬件设备的统一纳管以及实现对不同框架深度学习技术所训练出来的AI任务实现全生命周期支持,通过AI赋能企业客户,能够为广大企业客户提供一站式、端到端的AI质检解决方案。

图片 31.png

典型的基于工控机的工业视觉系统分为图像采集部分、图像处理部分和运动控制部分,具体由如上图所示的几部分组成: 

  • 工业相机与镜头:成像器件,通常的视觉系统都是由一套或者多套这样的成像系统组成,如果有多路相机,可能由系统控制切换来获取图像数据,也可能由同步控制同时获取多相机通道的数据。工业相机按照芯片类型、扫描方式、分辨率大小、输出信号方式、输出色彩、输出信号速度、响应频率范围等有着不同的分类方法,种类繁多,需要根 据应用需求进行选择; 

  • 光源:光源是影响机器视觉系统输入的重要因素,它直接影响输入数据的质量和应用效果; 

  • 控制单元:控制单元一般包含光电传感器、I/O、运动控制、电平转化单元等,用以判断被测对象的位置和状态,告知图像传感器进行正确的采集或根据图像处理结果完成对生产过程的控制; 

  • 图像处理算力设备:工控机或 GPU服务器,是视觉系统的核心算力,部署于靠近相机的端侧,完成图像数据的处理和绝大部分的控制逻辑,对于检测识别类型或采用深度学习算法的应用,通常都需要高性能的 CPU/GPU,减少处理的时间。工控机内的机器视觉软件用来完成输入的图像数据的处理,通过图像识别得出结果,这个输出的结果可能是 PASS/FAIL信号、坐标位置、字符串等。

主要技术创新点

  • 人工智能平台兼容异构问题突破解决

本项目所提供的AI质检平台是支持华为NPU以及英伟达GPU的人工智能平台。平台支持底层硬件资源异构化,可以较好兼容底层X86/ARM不同架构的服务器,除了支持NVIDIA系列GPU外,可以同时兼容HUAWEI昇腾系列训练芯片Ascend910接入管理,方便用户构建异构集群,也丰富AI开发人员对于人工智能底层训练芯片的选择多样性。

  • 主流深度学习框架全面兼容

本项目所提供的AI质检平台兼容包括华为MindSpore,行业主流的TensorFlow和PyTorch等全部主流深度学习框架,解决了人工智能平台行业内不通算法框架兼容性不高,切换算法框架难度大的问题,同时平台针对国产框架mindspore高度优化,深度兼容华为昇腾系列芯片和MindSpore框架。用户无需考虑平台与框架之间的兼容性问题,可根据自身的开发习惯自主选择开发框架。

  • 中台层AI工具高度集成化

本项目所提供的AI质检平台在中台层,集成了大量的工具。这包括网络安全/运维,大规模安装/运维,统一身份认证,弹性伸缩serverless服务,镜像中心,k8s,任务调度,算力配置,动态分配,文件存储(NFS/CephFS/Lustre),对象存储(S3), 数据湖(DeltaLake/Parquet),数据库(PostGreSQL), 存储HA和容灾,In-Memory Data Grid, Spark 数据湖探索,消息队列,数据集管理,数据集标注工具,实验、模型管理,训练服务【多机多GPU/NPU训练,神经网络结构搜索(NAS), 超参调优】,训练后模型评估,模型优化,量化,裁剪,模型转换,部署硬件适配优化,推理服务上线,灰度推理模型,AutoDL/AutoML,模型性能评估以及异常检测,等。系统中也预置了大量的模型。

  • AutoDL/AutoML技术

主研发的AutoDL/AutoML,是全自动人工智能自动建模模块。AutoDL主要针对非结构化数据,例如图像,视频,语音。而AutoML主要针对结构化数据。但是,它们的很多技术是共通的。它在无人工干预模式下支持完成一站式数据清洗,特征提取,模型训练,模型优化和推理上线。它是支持依瞳平台中若干重要功能的利器,例如产品线上快速无人工干预模型迭代,高效标注流程。

本项目所提供的AI质检平台使用自动神经网络搜索和超参调优的同时,致力于深度了解数据(数据清洗,特征提取),并通过大模型,宏学习(meta-learning),多专家模型,引入数据集之外的信息,才能做好自动建模。或者说,人类人工智能工程师,在完成人工智能模型开发时,会根据问题表述和数据特征,调整建模和工作的策略。而平台的autoDL模块,会构建知识库,其中会存储人类人工智能工程师,在实际解决人工智能任务时,所采取的策略(包括数据清洗和特征提取步骤)。在无人工干预模式下,平台的AutoDL模块会对比所要完成的任务的数据特征和依瞳知识库中的任务,自动借用知识库中已完成任务的经验和知识,完成高质量的建模。

  • 模型仓库模型适配能力

平台构建了业内首个同时支持GPU和NPU的模型仓库。针对广大企业人工智能需求日益整张,但是存在自身AI技术受限与模型算法从零开发工作量过大,难度较高的矛盾,平台针对目标检测、图像分类、物体识别、异物检测等经典AI场景,实现了已提前预置了大量模型的模型仓库功能,平台使用者可以在平台提供好的预置模型基础上进行开发、训练,快速便捷获得企业需求的算法模型。一同人工智能平台致力于持续扩展兼容更多框架、不同场景下的算法模型,平台模型仓库支持的模型数量达200+。

  • 模型精度

本项目所提供的AI质检平台提供AI能力同时,不断致力于平台场景化模型的精度提升,模型精度、评测结果达到行业领先水平。依瞳科技联手华为打造的工业质检模型,整体检测准确率>99%,在1000毫米视野下,5mm螺丝钉检测准率达到99.9%,还能够实现反向检测物体位置自动校验;平台异常检测模型,在公开数据集MVTec AD中取得了领先的测评数据。

项目目标及效益分析

随着我国人工智能商用大幕正式拉开,5G和人工智能做为“新基建”之首,成为新一代智能制造系统的关键使能技术。在工业领域,AI技术应用于现场设备实时控制、远程维护及操控、工业高清图像处理等工业应用新领域成为可能,同时也为未来柔性产线、柔性车间奠定了基础;同时,5G与AI的结合,更是会带来整个社会生产方式的改变和生产力的提升。

图片 32.png

分享到:
  点赞
  收藏
  打印
评论(0
已输入0
最新文章
 2022-06-08