央广网北京6月18日消息（记者卜叶）近日，中国科学院自动化研究所等基于“紫东太初”三模态大模型、昇腾AI基础软硬件平台打造出手语多模态模型及手语教考一体机，方便听障人士理解和学习手语。

我国有2700多万听障人士，手语是听障人群对外交流的重要渠道，但手语学习面临词汇匮乏、师资短缺、手语标准难统一等挑战。

科研人员让“紫东太初”三模态大模型学习了1.2万个手语词汇、50多万语法、70多万语料，基于昇思MindSporeAI框架，开发出手语多模态模型，开创性地实现手语动作与示意图片和文字的联动，让初学者对手语语义理解更加深刻。而后，基于手语多模态模型，利用昇腾AI基础软硬件平台，开发出手语教考一体机。目前，该一体机已在湖南数十个学校陆续上线，一定程度上缓解了手语师资短缺问题。

目前，该手语多模态模型可以实现文本到图像的自动生成，具备实时手语词汇识别、表情及唇语识别等能力，并且还可实现新事物词汇的及时学习与更新，适用于特殊教育学校、开设手语教学师资培养的大专院校、通用手语推广教学点和全国残联基层培训点等。此外，AI手语助手功能可用于同传翻译、新闻主持、服务引导等场景。

据悉，“紫东太初”是全球首个图、文、音三模态预训练模型，基于华为昇腾AI基础软硬件平台，把图、文、音三个模态统一起来，在一个共同的语义空间去做相互的转换和统一表述。相关研究人员表示，对大模型进行“大规模学习+微调”，有望实现多款应用，满足人类的多元化需求。接下来，还将探索大模型在智慧文旅、智慧交通、智能制造和智慧医疗等更多领域的应用。