第三届职工大赛获奖选手作品展播——制造业“智转数改”项目一等奖罗凯巍
来源:
|
作者:scbigdata
|
发布时间: 2024-12-09
|
280 次浏览
|
分享到:
12月1日,川渝大数据产业第三届职工创新大赛决赛在中国·雅安大数据产业园举办。32位选手同台竞技,最终遴选出一等奖两位,二等奖四位,三等奖六位。四川省大数据产业联合会微信公众号将连续展播获奖选手的作品,让更多的人了解到他们在大数据领域的创新成果和独特见解。这些作品涵盖了工业生产数字化优化、智能医疗数据技术突破、智慧城市治理等多个领域,充分体现了大数据技术在赋能制造业“智改数转”中的核心价值和广阔前景。
12月1日,川渝大数据产业第三届职工创新大赛决赛在中国·雅安大数据产业园举办。32位选手同台竞技,最终遴选出一等奖两位,二等奖四位,三等奖六位。四川省大数据产业联合会微信公众号将连续展播获奖选手的作品,让更多的人了解到他们在大数据领域的创新成果和独特见解。这些作品涵盖了工业生产数字化优化、智能医疗数据技术突破、智慧城市治理等多个领域,充分体现了大数据技术在赋能制造业“智改数转”中的核心价值和广阔前景。
选手简介:罗凯巍,伍伦贡大学,Master of Computer Science,中国电信融AI-L4级工程师。目前在中国电信四川分公司大数据和AI中心从事算法研发工作,负责四川电信人工智能联合实验室相关工作。获得中国电信集团“燎原计划”人工智能领军人才,集团级内训师等荣誉。
《多模态大模型技术面向工业AI检测的应用》
一、创新背景
面向工业制造业,人工智能检测算法涉及海量细分场景,单一模态的小模型依赖于大量样本和人工标注,算法训练成本高、周期长、需求响应效率低,无法快速赋能行业。今年国务院提出开展“人工智能+”行动,促进人工智能与实体经济深度融合,推动人工智能赋能新型工业化。强化需求牵引,加快重点行业赋能,构建一批产业多模态优质数据集,打造从基础设施、算法工具、智能平台到解决方案的大模型赋能产业生态尤为重要。
本项目,基于数据驱动的模型训练,多模态大模型驱动的智能化数据标注的双轮模式,快速迭代工业AI检测算法,通过大模型冷启动迭代学习模式,助力工业长尾算法开发。利用多模态大语言模型的技术优势,加入分层掩码融合,多模型协同监督、多模态知识共享与蒸馏,摆脱传统小模型只能解决海量需求中极少数典型场景的问题,使处理任意定制需求,规模化发展成为可能。
二、项目内容
1、一体化平台提供智能化数据标注。支持图像、文本、语音、表格等多模态数据标注任务,采用大模型辅助的智能化辅助标注,降低标注人员工作量,提升标注质量。
2、一体化平台提供模型训练推理能力。支持包括x86 CPU、arm CPU、英伟达GPU、昇腾NPU等异构算力纳管;支持多机多卡训练任务一键启动,分布式训练;支持gang、binpack、队列、优先级抢占、拓扑等多种任务调度策略
3、分层掩码融合和多模型协同监督机制。提升任务泛化性,实现高效率小样本迁移,通过低-高级语义联合自监督训练,提升训练效率。
4、多模态知识共享与蒸馏。利用不同模态之间的相互作用和依赖性改进模型性能。通过分析图像和相关文本描述之间的关系,共享模态之间的知识,以提升学生模型在工业检测任务上的表现。
5、应用案例包括纺织布匹AI质检、门板漆面检测、物流包裹体积测量、人员穿戴检测、产品外观检测、食品加工厂老鼠检测等生产制造、安全监管、能效分析等工业AI检测场景中。
三、创新点和知识产权
1、提出将基于数据驱动的模型训练,多模态大模型驱动的智能化数据标注的双轮模式应用到工业AI检测算法开发中。
2、采用4个工业相机和光源的封装模块实时对胚布进行线扫拍照,部署中国电信自研AI视觉大模型缺陷检测系统,对胚布图片AI识别瑕疵类型、位置和数量。
3、利用可编程控制条纹光及高速相机飞拍技术,相机程夹角拍照,收集多个轮廓拟合3D点云模态,结合视觉模态开发AI算法保证检出率效果。