--mode【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况全量芯片支持功能说明运行模式。关联参数若--mode取值为1或5则需要与--om、--json参数配合使用。如果将原始模型文件转换成带shape信息的JSON文件则还需要与--dump_mode参数配合使用。若--mode取值为6则只需要与--om参数配合使用。若--mode取值为3需要自行指定预检结果保存路径时需要与--check_report参数配合使用。若--soc_version取值为Ascend035则该参数仅支持配置为30。参数取值参数值0默认值生成适配AI处理器的离线模型模型文件格式为*.om。1离线模型或原始模型文件转JSON文件方便查看模型中的参数信息。3仅做预检检查模型文件的内容是否合法。5dump图结构文件转JSON文件用于解析图编译过程中产生的dump图结构ge_proto*.txt格式文件ge_onnx*.pbtxt暂不支持然后将dump图结构转换成JSON文件方便用户定位。6针对已有的离线模型显示模型信息包括模型占用的关键资源信息、编译与运行环境等信息。30生成适配AI处理器的离线模型模型文件格式为*.exeom同时生成图调试信息文件*.dbg用于dump、profiling的图调试。*.om模型和*.exeom模型的对比如下*.exeom文件感知具体的硬件调度能力、包含目标执行平台的运行时数据结构这些数据以二进制的形式保存在*.exeom文件中在模型加载阶段加载恢复二进制内容根据用户应用程序传递的数据区地址或实际申请到的数据地址刷新二进制中的地址指针值后将二进制内容直接拷贝至Device达到提升模型加载性能、降低模型加载内存峰值占用的效果。在一些资源受限的场景建议使用*.exeom模型文件增强产品的商用竞争力。*.om文件不感知具体的硬件调度能力、包含中间态的抽象数据结构在模型加载阶段再根据具体执行平台的调度特性生成运行时数据结构。参数值约束若--mode取值为5需要设置相关环境变量先获取dump图结构文件方法请参见2.c。设置完环境变量模型转换完毕在执行atc命令的当前路径会生成相应的图结构文件。推荐配置及收益无。示例参数值取值为0atc --mode0 --framework3 --model$HOME/module/resnet50_tensorflow.pb --output$HOME/module/out/tf_resnet50 --soc_versionsoc_version参数值取值为1离线模型转换为JSON文件atc --mode1 --om$HOME/module/out/tf_resnet50.om --json$HOME/module/out/tf_resnet50.json原始模型文件转换为JSON文件atc --mode1 --om$HOME/module/resnet50_tensorflow.pb --json$HOME/module/out/tf_resnet50.json --framework3参数值取值为3atc --mode3 --framework3 --model$HOME/module/resnet50_tensorflow.pb --soc_versionsoc_version执行完毕在当前路径生成预检结果文件check_result.json。参数值取值为5atc --mode5 --om$HOME/module/ge_proto_00000000_PreRunBegin.txt --json$HOME/module/out/ge_proto.json参数值取值为6atc --mode6 --om$HOME/module/out/tf_resnet50.om命令执行完毕屏幕会打印类似如下信息 Display Model Info start # 模型转换使用的atc命令 Original Atc command line: ${INSTALL_DIR}/bin/atc.bin --model$HOME/module/resnet50_tensorflow.pb --framework3 --output$HOME/module/out/tf_resnet50 --soc_versionsoc_version --display_model_info1 # ATC软件版本信息、soc_version版本信息、原始框架信息 system info: atc_version[xxx], soc_version[xxx], framework_type[xxx]. # 运行时的占用内存、权重大小、逻辑stream数目、event数目 resource info: memory_size[xxx B], weight_size[xxx B], stream_num[xxx], event_num[xxx]. # 离线模型文件中各分区大小、包括ModelDef、权重、tbe_kernels、task_info、so占用的大小等 om info: modeldef_size[xxx B], weight_data_size[xxx B], tbe_kernels_size[xxx B], cust_aicpu_kernel_store_size[xxx B], task_info_size[xxx B], so_store_size[xxx B]. Display Model Info end 参数值取值为30atc --mode30 --framework3 --model$HOME/module/resnet50_tensorflow.pb --output$HOME/module/out/tf_resnet50 --soc_versionsoc_version依赖约束无。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考