
文章主要内容总结本文提出了一种名为Text2VR的方法,旨在利用大型语言模型(LLMs)自动从文本输入生成虚拟现实(VR)中的装配任务训练指令,以解决VR训练内容开发耗时、需专业知识等问题。该方法的核心系统包含两个模块:LLM模块:通过微调(以Llama 3模型为例)从文本中提取任务相关信息(如组件名称、数量、装配顺序等),具体包括数据集生成(利用ChatGPT生成合成数据,采用监督微调格式)、模型训练(参数高效微调)和实时推理(将文本输入转化为结构化信息)。智能模块:接收LLM模块的信息,通过数据接收、解析、数据库检索和指令生成,将信息转化为VR环境中的动画演示(如组件运动)和视觉提示(如组件变色),并支持用户通过交互按钮获取分步指导。文章通过气动气缸装配任务验证了该方法的有效性,使用Unity开发VR应用并部署于Meta Quest 3设备,结果表明系统能准确生成虚拟指令,提升训练效率并降低开发成本。文章创新点提出了从文本输入到虚拟指令生成的完整流程与方法,实现了文本到VR训练内容的自动化转化。开发了用于在VR环境中生成虚拟指令的智能模块,可通过组件变色、动画演示等方式直观呈现装配步骤。通过实际装配任务(气动气缸装配)验证了LLM生成虚拟指令的有效性,证明该方法能提升VR训练的可扩展性和适应性。翻译部分