尧图网页设计 
简介这份资源是一套面向数据仓库与ETL开发人员的Oracle数据卸载Shell脚本模板适合需要将库内数据按批次导出为文本文件并完成后续传输的工程师使用。包内共4个文件包含1个sh主脚本、1个config环境配置、2个txt模板文件压缩包仅4KB体积轻巧但功能完整。脚本只需在SQL模板中填写卸载语句、在文件名配置中指定对应输出名称即可将数据导出到指定文本文档配置方式灵活自由。功能上覆盖数据卸载、GBK转UTF8编码转换、批次号获取、尾行追加行数统计、FTP上传并附有文件切割语句注释供大文件拆分参考。使用时需注意配置环境信息。目前已有868人学习下载适合想快速搭建卸数流程、减少重复编码的开发者参考复用。1. 卸数模板不是删表Oracle 数据模板卸载脚本到底在卸什么很多团队第一次听到“shell脚本卸载数据模板Oracle”脑子里浮现的是DROP TABLE或者TRUNCATE。真到生产环境里翻一次车就明白了卸数模板卸的不是表结构而是把一套已经跑通的数据抽取逻辑从 Oracle 里按可复现的方式“拆下来、搬出去、再装到另一套环境”。它解决的是同一份数据模板在开发、测试、准生产之间反复重建的问题适合每天要跟 Oracle 打交道、又不想手工敲 sqlplus 的 DBA 和运维开发。核心动作只有三件事用 shell 驱动 sqlplus 登录 Oracle按模板定义把数据或元数据导出成文件再在目标端按顺序回放。听起来简单坑全在登录、字符集、权限和清理顺序上。下面按我实际做过的路径把选型、脚本骨架、参数和排查一次讲透。2. 先想清楚卸载边界模板、数据、元数据三者怎么切2.1 卸载对象的三层划分做卸载脚本之前必须先回答一个问题这次要卸的到底是哪一层。Oracle 里一套“数据模板”通常包含三层内容混在一起写脚本后面必然返工。第一层是元数据也就是表结构、索引、约束、注释、序列、同义词。这一层决定目标端能不能把表建起来。第二层是数据本身按模板定义的范围抽取可能是全表也可能是按时间分区、按业务主键过滤的子集。第三层是模板配置比如抽取字段清单、过滤条件、目标文件命名规则、批次号。这三层的生命周期完全不同元数据变更频率低数据每次跑都变配置由业务方维护。我一般会把它们拆成三个目录meta/、data/、conf/。shell 脚本只负责调度不把 SQL 硬编码在脚本里。这样做的直接好处是换一套模板只改conf/脚本主体不动。很多团队图省事把 SQL 全塞进 heredoc结果模板一多脚本变成几千行的黑匣子谁都不敢改。2.2 为什么用 shell 驱动 sqlplus 而不是纯 PL/SQL有人会问既然都在 Oracle 里为什么不写个存储过程一把梭。原因是卸载的终点往往不在数据库里而在文件系统或另一套环境。shell 擅长的是文件、目录、进程、退出码、日志切割这些恰好是 PL/SQL 的短板。用 shell 做调度层用 sqlplus 做执行层职责清晰。常见做法是 shell 里用sqlplus -S静默模式登录把 SQL 通过 heredoc 或脚本文件传进去再用SET命令控制输出格式。这里有个关键点-S只是去掉 banner不代表出错会静默退出码仍然要靠WHENEVER SQLERROR EXIT来兜底。不写这句SQL 报错了脚本还继续往下跑卸出来的文件是空的等到目标端导入才发现这就是典型的血泪经验。2.3 卸载范围的参数化设计模板要能复用范围就必须参数化。我通常抽四个参数TEMPLATE_NAME模板名、BATCH_DATE业务日期、SCOPE全量/增量、TARGET_DIR输出目录。这四个参数通过 shell 位置变量或环境变量传入再拼进 SQL 的 WHERE 条件。参数化最容易翻车的地方是日期格式。Oracle 里TO_DATE依赖会话的NLS_DATE_FORMAT而 shell 传进去的是字符串。稳妥做法是在 SQL 里显式写TO_DATE(${BATCH_DATE},YYYYMMDD)绝不依赖隐式转换。另外SCOPE这种枚举值要在 shell 层做白名单校验别直接拼进 SQL否则就是注入风险。下面这段是参数校验的骨架#!/bin/bash # 卸载脚本入口参数校验与目录准备 set -euo pipefail TEMPLATE_NAME${1:?模板名不能为空} BATCH_DATE${2:?业务日期不能为空格式 YYYYMMDD} SCOPE${3:-full} TARGET_DIR${4:-/data/unload/${TEMPLATE_NAME}} # 日期格式白名单校验防止拼进 SQL 出问题 if ! [[ ${BATCH_DATE} ~ ^[0-9]{8}$ ]]; then echo 业务日期格式错误应为 YYYYMMDD 2 exit 2 fi # 范围枚举校验 case ${SCOPE} in full|incr) ;; *) echo SCOPE 只支持 full 或 incr 2; exit 2 ;; esac mkdir -p ${TARGET_DIR}/meta ${TARGET_DIR}/data ${TARGET_DIR}/log echo 模板${TEMPLATE_NAME} 日期${BATCH_DATE} 范围${SCOPE} 输出${TARGET_DIR}这段脚本做了三件事用${1:?}语法在参数缺失时直接报错退出用正则校验日期用 case 校验枚举。set -euo pipefail是 shell 脚本的后悔药未定义变量、管道中间失败、命令返回非零都会让脚本停下避免错误被吞掉。参数说明上TARGET_DIR给了默认值方便本地调试生产环境建议显式传入避免写到系统盘。3. 用 sqlplus 把模板卸成文件连接、导出、命名三步走3.1 连接 Oracle 的三种方式与选择shell 连 Oracle绕不开 sqlplus。连接串常见三种写法user/passhost:port/service、user/passtnsname、/ as sysdba。卸载脚本一般用第一种因为要跨环境跑TNS 配置不一定同步。但直接把密码写在命令行里ps -ef就能看到这是等保检查的扣分项。我一般用两种规避方式一是把连接信息放进单独的凭据文件权限设 600脚本 source 进来二是用sqlplus /nolog加CONNECT在 heredoc 里登录。后者在日志里仍可能留痕所以更稳的是凭据文件加环境变量。下面是一个凭据加载的写法# 凭据文件 /etc/unload/cred.env权限 600 # export DB_USERunload_user # export DB_PASSxxxx # export DB_CONN10.0.0.10:1521/ORCLPDB1 source /etc/unload/cred.env sqlplus -S ${DB_USER}/${DB_PASS}${DB_CONN} EOF WHENEVER SQLERROR EXIT 1 WHENEVER OSERROR EXIT 2 SET PAGESIZE 0 SET FEEDBACK OFF SET HEADING OFF SET TRIMSPOOL ON SET LINESIZE 32767 SELECT 连接正常 FROM dual; EXIT 0 EOFWHENEVER SQLERROR EXIT 1是核心SQL 出错立刻以退出码 1 结束shell 层用set -e就能捕获。SET PAGESIZE 0和SET HEADING OFF去掉分页和表头方便后续解析。SET TRIMSPOOL ON去掉行尾空格避免导出文件里全是空白。LINESIZE设大是为了防止长字段被折行32767 是 sqlplus 的上限附近再大没意义。3.2 元数据导出用 DBMS_METADATA 还是手工拼 DDL元数据导出有两条路。一条是DBMS_METADATA.GET_DDL能拿到官方 DDL包含存储参数、表空间、约束缺点是输出带一堆默认参数跨环境导入时可能因为表空间不存在而失败。另一条是手工拼CREATE TABLE可控但容易漏字段类型和约束。我一般用DBMS_METADATA打底再用SET TRANSFORM去掉存储和表空间。具体做法是在会话里设置BEGIN DBMS_METADATA.SET_TRANSFORM_PARAM( DBMS_METADATA.SESSION_TRANSFORM, STORAGE, FALSE); DBMS_METADATA.SET_TRANSFORM_PARAM( DBMS_METADATA.SESSION_TRANSFORM, TABLESPACE, FALSE); DBMS_METADATA.SET_TRANSFORM_PARAM( DBMS_METADATA.SESSION_TRANSFORM, SEGMENT_ATTRIBUTES, FALSE); END; /这三个参数分别去掉存储子句、表空间子句和段属性。去掉之后导出的 DDL 更干净目标端建表时用默认表空间不会因为源端表空间名不存在而报错。注意SEGMENT_ATTRIBUTES设为 FALSE 会连带去掉 PCTFREE 等物理属性如果目标端有性能要求需要单独评估。导出时用SPOOL把结果写到文件文件名带上模板名和时间戳。这里有个细节SPOOL出来的文件默认带 sqlplus 的换行和空格导入前最好用sed清理一下行尾空白。另外 DDL 里如果包含/结尾的 PL/SQL 块回放时要注意分隔符别被 shell 的 heredoc 提前截断。3.3 数据导出SPOOL、SQLULDR2 与外部表的取舍数据导出量小的时候SPOOL加SET COLSEP就够用。量大到百万行以上SPOOL会明显变慢因为 sqlplus 是逐行格式化输出。这时候常见做法是用 SQLULDR2 这类专用工具或者用 Oracle 外部表反向操作。SQLULDR2 的优势是速度快、支持并行、能直接输出 CSV缺点是需要额外部署二进制且版本要和 Oracle 客户端匹配。如果不想引入外部工具可以用DBMS_CLR或者直接SELECT ... INTO OUTFILE的思路但 Oracle 没有原生的INTO OUTFILE所以还是绕不开工具。我的建议是日增量在十万行以内SPOOL足够超过这个量级评估 SQLULDR2 或者用 Data Pump 的sqlfile模式。Data Pump 适合整库或整 schema不适合按模板细粒度抽取所以模板化卸载还是前两者更合适。下面是一个 SPOOL 导出的片段带列分隔符和空值处理SET COLSEP | SET NULL NULL SET TRIMSPOOL ON SET TERMOUT OFF SPOOL /data/unload/TPL_ORDER/data/order_20240101.csv SELECT ORDER_ID, CUST_ID, TO_CHAR(CREATE_TIME,YYYY-MM-DD HH24:MI:SS), AMOUNT FROM TPL_ORDER WHERE CREATE_TIME TO_DATE(20240101,YYYYMMDD) AND CREATE_TIME TO_DATE(20240101,YYYYMMDD) 1; SPOOL OFF SET TERMOUT ONCOLSEP |用竖线分隔比逗号安全因为金额和备注里可能带逗号。NULL NULL把空值显式写成 NULL 字符串避免导入时把空串和 NULL 混淆。TERMOUT OFF让结果只进文件不进终端减少 IO。日期用TO_CHAR格式化保证导出文件里的时间格式统一不依赖会话参数。3.4 文件命名与批次追溯卸载出来的文件如果命名随意过一周就没人知道哪个文件对应哪次跑批。我一般用模板名_对象名_批次日期_时间戳.扩展名的格式比如TPL_ORDER_order_20240101_20240101120000.csv。时间戳精确到秒避免同一天重跑覆盖。同时在log/目录写一份 manifest 文件记录本次卸载了哪些对象、行数、文件大小、校验和。manifest 用 shell 生成每导出一个文件就追加一行。校验和用md5sum或sha256sum目标端导入前先校验能挡住传输损坏。这一步看起来多余真遇到网络抖动导致文件截断时没有校验和就只能靠肉眼比对行数非常被动。4. 卸载脚本的避坑清单登录、字符集、权限、清理顺序4.1 登录慢或报 ORA-12154先查监听再查 TNS现象是 sqlplus 登录卡住十几秒或者直接报ORA-12154: TNS:could not resolve the connect identifier。原因通常有两个一是监听服务没起或者注册异常二是连接串里的 service name 和实际不符。排查顺序是先tnsping目标连接串看解析和网络是否通再看lsnrctl status确认服务已注册。解决上如果是监听没起重启监听并确认local_listener参数如果是 service name 写错用lsnrctl services看实际注册的服务名。注意 RAC 环境下 service name 和 instance name 不是一回事连接串要用 service name。另外 12c 以后多租户架构要连 PDB 的 service 而不是 CDB 的连错了会提示用户不存在。4.2 导出文件中文乱码NLS_LANG 必须和数据库一致现象是导出的 CSV 用 Excel 打开中文全是问号或方块。原因是 sqlplus 客户端和服务端的字符集不一致NLS_LANG没设对。Oracle 的字符集转换发生在客户端如果客户端设成AMERICAN_AMERICA.US7ASCII中文直接丢。解决是在 shell 里显式 exportNLS_LANG值要和数据库的NLS_CHARACTERSET匹配。查数据库字符集用SELECT value FROM nls_database_parameters WHERE parameterNLS_CHARACTERSET。常见的是AL32UTF8或ZHS16GBK。如果数据库是 UTF8客户端也设AMERICAN_AMERICA.AL32UTF8。注意这个变量要在 sqlplus 启动前 export启动后再改无效。4.3 权限不足导致导出空文件别只看退出码现象是脚本退出码为 0但导出文件是空的或者只有表头。原因是当前用户对目标表没有 SELECT 权限或者对目录没有写权限。sqlplus 在权限不足时可能不报错只是返回空结果集WHENEVER SQLERROR也捕获不到。解决分两步一是在脚本里对导出文件做非空校验行数为 0 就告警二是提前用SELECT COUNT(*)确认权限。目录写权限用test -w检查。另外SPOOL的路径如果是相对路径会写到 sqlplus 的当前目录不是 shell 的当前目录建议一律用绝对路径。4.4 清理顺序错导致外键报错先子表后父表卸载如果包含清理动作比如先删旧数据再导新数据顺序错了会撞外键。现象是ORA-02292: integrity constraint violated - child record found。原因是先删了父表子表还有引用。解决是按依赖关系倒序清理先删子表数据再删父表数据如果有级联删除确认ON DELETE CASCADE是否符合预期。更稳的做法是卸载阶段只做导出不做删除删除动作单独放到一个脚本里用DISABLE CONSTRAINT临时关约束删完再ENABLE。但关约束会影响其他会话生产环境要选低峰期。4.5 脚本在后台执行时交互式输入卡死现象是脚本放到后台跑结果一直挂起日志里停在输入密码那一步。原因是 sqlplus 在等交互式输入而后台没有终端。解决是绝不在脚本里依赖交互输入密码通过凭据文件或sqlplus /nolog加 heredoc 传入。如果必须交互用expect包装但 expect 的可维护性差能不用就不用。另外set -e在后台脚本里要注意某些命令返回非零是预期的比如grep没匹配到会返回 1这时候要加|| true或者用if判断否则脚本会提前退出。5. 让卸载脚本可验证行数比对、校验和与回放演练5.1 用行数和校验和做导出后自检导出完成不代表导出正确。我习惯在脚本末尾加一段自检对每个导出文件统计行数和数据库里的COUNT(*)比对同时算sha256sum写进 manifest。行数比对能发现过滤条件写错、权限不足导致的空文件校验和能发现文件截断。行数比对有个坑SPOOL导出的文件行数不一定等于表行数因为字段里可能包含换行符。如果业务字段有换行要么在导出时用REPLACE替换掉要么用wc -l时接受偏差。我一般要求业务字段不允许换行导出前用TRANSLATE或REPLACE清理。5.2 在测试环境做一次完整回放卸载脚本的终点是回放。只验证导出不验证导入等于只做了一半。我一般会在测试环境搭一套空 schema用卸载出来的 DDL 建表再用sqlldr或外部表把数据装进去最后比对行数和关键字段的聚合值。回放时最容易出问题的是 DDL 顺序表、序列、约束、索引、注释的顺序不能乱。约束要在数据导入后加否则导入过程会逐行校验慢且容易失败。索引同理导入前删索引导入后重建速度差好几倍。这些顺序控制如果写在 shell 里就用一个数组按序执行别靠人工记。5.3 把卸载脚本纳入版本管理卸载脚本本身也是代码要进 Git。模板配置、SQL 文件、shell 主体分开管理。每次模板变更走一次代码评审避免有人直接在服务器上改脚本。我见过太多“服务器上的脚本和 Git 里的不一致”导致的事故最后排查时根本不知道线上跑的是哪个版本。版本管理还有一个好处是回滚。模板改坏了直接 checkout 上一个版本重跑。如果没有版本管理只能靠备份文件而备份文件往往缺注释、缺参数说明回滚成本极高。5.4 一个可复用的自检函数下面这个函数放在脚本公共库里每次导出后调用传入文件路径和预期行数check_unload_file() { local file$1 local expect_rows$2 if [[ ! -s ${file} ]]; then echo [FAIL] 文件为空: ${file} 2 return 1 fi local actual_rows actual_rows$(wc -l ${file}) if [[ ${actual_rows} -ne ${expect_rows} ]]; then echo [WARN] 行数不符: ${file} 预期${expect_rows} 实际${actual_rows} 2 return 1 fi sha256sum ${file} ${TARGET_DIR}/log/manifest.sha256 echo [OK] ${file} 行数${actual_rows} }-s判断文件存在且非空wc -l统计行数不符时返回 1 让调用方决定是告警还是中断。sha256sum追加到 manifest方便后续校验。这个函数不复杂但能挡住大部分低级错误。参数说明file用绝对路径expect_rows从数据库COUNT(*)查出来传入。5.5 几个参数的经验值参数建议值说明LINESIZE32767防止长字段折行再大无意义PAGESIZE0去掉分页导出文件更干净COLSEP竖线或制表符避免和字段内逗号冲突NULL显式字符串区分空串和 NULLARRAYSIZE5000提升 SPOOL 取数性能内存换速度NLS_LANG与库一致中文不乱码的前提ARRAYSIZE是 sqlplus 一次从数据库取多少行到客户端默认值偏小调大到 5000 能明显提升大表导出速度。但别调太大否则客户端内存占用高可能被 OOM kill。这个值要根据服务器内存和并发数权衡。我自己的习惯是任何卸载脚本上线前先在测试库跑一遍全流程导出、校验、回放、比对四步都过才允许碰生产。生产环境第一次跑用SCOPEincr小范围验证确认无误再全量。这套流程救过我很多次也希望帮到你。本文还有配套的精品资源点击获取 Oracle数据模板卸载脚本实战：shell驱动sqlplus的避坑指南
简介这份资源是一套面向数据仓库与ETL开发人员的Oracle数据卸载Shell脚本模板适合需要将库内数据按批次导出为文本文件并完成后续传输的工程师使用。包内共4个文件包含1个sh主脚本、1个config环境配置、2个txt模板文件压缩包仅4KB体积轻巧但功能完整。脚本只需在SQL模板中填写卸载语句、在文件名配置中指定对应输出名称即可将数据导出到指定文本文档配置方式灵活自由。功能上覆盖数据卸载、GBK转UTF8编码转换、批次号获取、尾行追加行数统计、FTP上传并附有文件切割语句注释供大文件拆分参考。使用时需注意配置环境信息。目前已有868人学习下载适合想快速搭建卸数流程、减少重复编码的开发者参考复用。1. 卸数模板不是删表Oracle 数据模板卸载脚本到底在卸什么很多团队第一次听到“shell脚本卸载数据模板Oracle”脑子里浮现的是DROP TABLE或者TRUNCATE。真到生产环境里翻一次车就明白了卸数模板卸的不是表结构而是把一套已经跑通的数据抽取逻辑从 Oracle 里按可复现的方式“拆下来、搬出去、再装到另一套环境”。它解决的是同一份数据模板在开发、测试、准生产之间反复重建的问题适合每天要跟 Oracle 打交道、又不想手工敲 sqlplus 的 DBA 和运维开发。核心动作只有三件事用 shell 驱动 sqlplus 登录 Oracle按模板定义把数据或元数据导出成文件再在目标端按顺序回放。听起来简单坑全在登录、字符集、权限和清理顺序上。下面按我实际做过的路径把选型、脚本骨架、参数和排查一次讲透。2. 先想清楚卸载边界模板、数据、元数据三者怎么切2.1 卸载对象的三层划分做卸载脚本之前必须先回答一个问题这次要卸的到底是哪一层。Oracle 里一套“数据模板”通常包含三层内容混在一起写脚本后面必然返工。第一层是元数据也就是表结构、索引、约束、注释、序列、同义词。这一层决定目标端能不能把表建起来。第二层是数据本身按模板定义的范围抽取可能是全表也可能是按时间分区、按业务主键过滤的子集。第三层是模板配置比如抽取字段清单、过滤条件、目标文件命名规则、批次号。这三层的生命周期完全不同元数据变更频率低数据每次跑都变配置由业务方维护。我一般会把它们拆成三个目录meta/、data/、conf/。shell 脚本只负责调度不把 SQL 硬编码在脚本里。这样做的直接好处是换一套模板只改conf/脚本主体不动。很多团队图省事把 SQL 全塞进 heredoc结果模板一多脚本变成几千行的黑匣子谁都不敢改。2.2 为什么用 shell 驱动 sqlplus 而不是纯 PL/SQL有人会问既然都在 Oracle 里为什么不写个存储过程一把梭。原因是卸载的终点往往不在数据库里而在文件系统或另一套环境。shell 擅长的是文件、目录、进程、退出码、日志切割这些恰好是 PL/SQL 的短板。用 shell 做调度层用 sqlplus 做执行层职责清晰。常见做法是 shell 里用sqlplus -S静默模式登录把 SQL 通过 heredoc 或脚本文件传进去再用SET命令控制输出格式。这里有个关键点-S只是去掉 banner不代表出错会静默退出码仍然要靠WHENEVER SQLERROR EXIT来兜底。不写这句SQL 报错了脚本还继续往下跑卸出来的文件是空的等到目标端导入才发现这就是典型的血泪经验。2.3 卸载范围的参数化设计模板要能复用范围就必须参数化。我通常抽四个参数TEMPLATE_NAME模板名、BATCH_DATE业务日期、SCOPE全量/增量、TARGET_DIR输出目录。这四个参数通过 shell 位置变量或环境变量传入再拼进 SQL 的 WHERE 条件。参数化最容易翻车的地方是日期格式。Oracle 里TO_DATE依赖会话的NLS_DATE_FORMAT而 shell 传进去的是字符串。稳妥做法是在 SQL 里显式写TO_DATE(${BATCH_DATE},YYYYMMDD)绝不依赖隐式转换。另外SCOPE这种枚举值要在 shell 层做白名单校验别直接拼进 SQL否则就是注入风险。下面这段是参数校验的骨架#!/bin/bash # 卸载脚本入口参数校验与目录准备 set -euo pipefail TEMPLATE_NAME${1:?模板名不能为空} BATCH_DATE${2:?业务日期不能为空格式 YYYYMMDD} SCOPE${3:-full} TARGET_DIR${4:-/data/unload/${TEMPLATE_NAME}} # 日期格式白名单校验防止拼进 SQL 出问题 if ! [[ ${BATCH_DATE} ~ ^[0-9]{8}$ ]]; then echo 业务日期格式错误应为 YYYYMMDD 2 exit 2 fi # 范围枚举校验 case ${SCOPE} in full|incr) ;; *) echo SCOPE 只支持 full 或 incr 2; exit 2 ;; esac mkdir -p ${TARGET_DIR}/meta ${TARGET_DIR}/data ${TARGET_DIR}/log echo 模板${TEMPLATE_NAME} 日期${BATCH_DATE} 范围${SCOPE} 输出${TARGET_DIR}这段脚本做了三件事用${1:?}语法在参数缺失时直接报错退出用正则校验日期用 case 校验枚举。set -euo pipefail是 shell 脚本的后悔药未定义变量、管道中间失败、命令返回非零都会让脚本停下避免错误被吞掉。参数说明上TARGET_DIR给了默认值方便本地调试生产环境建议显式传入避免写到系统盘。3. 用 sqlplus 把模板卸成文件连接、导出、命名三步走3.1 连接 Oracle 的三种方式与选择shell 连 Oracle绕不开 sqlplus。连接串常见三种写法user/passhost:port/service、user/passtnsname、/ as sysdba。卸载脚本一般用第一种因为要跨环境跑TNS 配置不一定同步。但直接把密码写在命令行里ps -ef就能看到这是等保检查的扣分项。我一般用两种规避方式一是把连接信息放进单独的凭据文件权限设 600脚本 source 进来二是用sqlplus /nolog加CONNECT在 heredoc 里登录。后者在日志里仍可能留痕所以更稳的是凭据文件加环境变量。下面是一个凭据加载的写法# 凭据文件 /etc/unload/cred.env权限 600 # export DB_USERunload_user # export DB_PASSxxxx # export DB_CONN10.0.0.10:1521/ORCLPDB1 source /etc/unload/cred.env sqlplus -S ${DB_USER}/${DB_PASS}${DB_CONN} EOF WHENEVER SQLERROR EXIT 1 WHENEVER OSERROR EXIT 2 SET PAGESIZE 0 SET FEEDBACK OFF SET HEADING OFF SET TRIMSPOOL ON SET LINESIZE 32767 SELECT 连接正常 FROM dual; EXIT 0 EOFWHENEVER SQLERROR EXIT 1是核心SQL 出错立刻以退出码 1 结束shell 层用set -e就能捕获。SET PAGESIZE 0和SET HEADING OFF去掉分页和表头方便后续解析。SET TRIMSPOOL ON去掉行尾空格避免导出文件里全是空白。LINESIZE设大是为了防止长字段被折行32767 是 sqlplus 的上限附近再大没意义。3.2 元数据导出用 DBMS_METADATA 还是手工拼 DDL元数据导出有两条路。一条是DBMS_METADATA.GET_DDL能拿到官方 DDL包含存储参数、表空间、约束缺点是输出带一堆默认参数跨环境导入时可能因为表空间不存在而失败。另一条是手工拼CREATE TABLE可控但容易漏字段类型和约束。我一般用DBMS_METADATA打底再用SET TRANSFORM去掉存储和表空间。具体做法是在会话里设置BEGIN DBMS_METADATA.SET_TRANSFORM_PARAM( DBMS_METADATA.SESSION_TRANSFORM, STORAGE, FALSE); DBMS_METADATA.SET_TRANSFORM_PARAM( DBMS_METADATA.SESSION_TRANSFORM, TABLESPACE, FALSE); DBMS_METADATA.SET_TRANSFORM_PARAM( DBMS_METADATA.SESSION_TRANSFORM, SEGMENT_ATTRIBUTES, FALSE); END; /这三个参数分别去掉存储子句、表空间子句和段属性。去掉之后导出的 DDL 更干净目标端建表时用默认表空间不会因为源端表空间名不存在而报错。注意SEGMENT_ATTRIBUTES设为 FALSE 会连带去掉 PCTFREE 等物理属性如果目标端有性能要求需要单独评估。导出时用SPOOL把结果写到文件文件名带上模板名和时间戳。这里有个细节SPOOL出来的文件默认带 sqlplus 的换行和空格导入前最好用sed清理一下行尾空白。另外 DDL 里如果包含/结尾的 PL/SQL 块回放时要注意分隔符别被 shell 的 heredoc 提前截断。3.3 数据导出SPOOL、SQLULDR2 与外部表的取舍数据导出量小的时候SPOOL加SET COLSEP就够用。量大到百万行以上SPOOL会明显变慢因为 sqlplus 是逐行格式化输出。这时候常见做法是用 SQLULDR2 这类专用工具或者用 Oracle 外部表反向操作。SQLULDR2 的优势是速度快、支持并行、能直接输出 CSV缺点是需要额外部署二进制且版本要和 Oracle 客户端匹配。如果不想引入外部工具可以用DBMS_CLR或者直接SELECT ... INTO OUTFILE的思路但 Oracle 没有原生的INTO OUTFILE所以还是绕不开工具。我的建议是日增量在十万行以内SPOOL足够超过这个量级评估 SQLULDR2 或者用 Data Pump 的sqlfile模式。Data Pump 适合整库或整 schema不适合按模板细粒度抽取所以模板化卸载还是前两者更合适。下面是一个 SPOOL 导出的片段带列分隔符和空值处理SET COLSEP | SET NULL NULL SET TRIMSPOOL ON SET TERMOUT OFF SPOOL /data/unload/TPL_ORDER/data/order_20240101.csv SELECT ORDER_ID, CUST_ID, TO_CHAR(CREATE_TIME,YYYY-MM-DD HH24:MI:SS), AMOUNT FROM TPL_ORDER WHERE CREATE_TIME TO_DATE(20240101,YYYYMMDD) AND CREATE_TIME TO_DATE(20240101,YYYYMMDD) 1; SPOOL OFF SET TERMOUT ONCOLSEP |用竖线分隔比逗号安全因为金额和备注里可能带逗号。NULL NULL把空值显式写成 NULL 字符串避免导入时把空串和 NULL 混淆。TERMOUT OFF让结果只进文件不进终端减少 IO。日期用TO_CHAR格式化保证导出文件里的时间格式统一不依赖会话参数。3.4 文件命名与批次追溯卸载出来的文件如果命名随意过一周就没人知道哪个文件对应哪次跑批。我一般用模板名_对象名_批次日期_时间戳.扩展名的格式比如TPL_ORDER_order_20240101_20240101120000.csv。时间戳精确到秒避免同一天重跑覆盖。同时在log/目录写一份 manifest 文件记录本次卸载了哪些对象、行数、文件大小、校验和。manifest 用 shell 生成每导出一个文件就追加一行。校验和用md5sum或sha256sum目标端导入前先校验能挡住传输损坏。这一步看起来多余真遇到网络抖动导致文件截断时没有校验和就只能靠肉眼比对行数非常被动。4. 卸载脚本的避坑清单登录、字符集、权限、清理顺序4.1 登录慢或报 ORA-12154先查监听再查 TNS现象是 sqlplus 登录卡住十几秒或者直接报ORA-12154: TNS:could not resolve the connect identifier。原因通常有两个一是监听服务没起或者注册异常二是连接串里的 service name 和实际不符。排查顺序是先tnsping目标连接串看解析和网络是否通再看lsnrctl status确认服务已注册。解决上如果是监听没起重启监听并确认local_listener参数如果是 service name 写错用lsnrctl services看实际注册的服务名。注意 RAC 环境下 service name 和 instance name 不是一回事连接串要用 service name。另外 12c 以后多租户架构要连 PDB 的 service 而不是 CDB 的连错了会提示用户不存在。4.2 导出文件中文乱码NLS_LANG 必须和数据库一致现象是导出的 CSV 用 Excel 打开中文全是问号或方块。原因是 sqlplus 客户端和服务端的字符集不一致NLS_LANG没设对。Oracle 的字符集转换发生在客户端如果客户端设成AMERICAN_AMERICA.US7ASCII中文直接丢。解决是在 shell 里显式 exportNLS_LANG值要和数据库的NLS_CHARACTERSET匹配。查数据库字符集用SELECT value FROM nls_database_parameters WHERE parameterNLS_CHARACTERSET。常见的是AL32UTF8或ZHS16GBK。如果数据库是 UTF8客户端也设AMERICAN_AMERICA.AL32UTF8。注意这个变量要在 sqlplus 启动前 export启动后再改无效。4.3 权限不足导致导出空文件别只看退出码现象是脚本退出码为 0但导出文件是空的或者只有表头。原因是当前用户对目标表没有 SELECT 权限或者对目录没有写权限。sqlplus 在权限不足时可能不报错只是返回空结果集WHENEVER SQLERROR也捕获不到。解决分两步一是在脚本里对导出文件做非空校验行数为 0 就告警二是提前用SELECT COUNT(*)确认权限。目录写权限用test -w检查。另外SPOOL的路径如果是相对路径会写到 sqlplus 的当前目录不是 shell 的当前目录建议一律用绝对路径。4.4 清理顺序错导致外键报错先子表后父表卸载如果包含清理动作比如先删旧数据再导新数据顺序错了会撞外键。现象是ORA-02292: integrity constraint violated - child record found。原因是先删了父表子表还有引用。解决是按依赖关系倒序清理先删子表数据再删父表数据如果有级联删除确认ON DELETE CASCADE是否符合预期。更稳的做法是卸载阶段只做导出不做删除删除动作单独放到一个脚本里用DISABLE CONSTRAINT临时关约束删完再ENABLE。但关约束会影响其他会话生产环境要选低峰期。4.5 脚本在后台执行时交互式输入卡死现象是脚本放到后台跑结果一直挂起日志里停在输入密码那一步。原因是 sqlplus 在等交互式输入而后台没有终端。解决是绝不在脚本里依赖交互输入密码通过凭据文件或sqlplus /nolog加 heredoc 传入。如果必须交互用expect包装但 expect 的可维护性差能不用就不用。另外set -e在后台脚本里要注意某些命令返回非零是预期的比如grep没匹配到会返回 1这时候要加|| true或者用if判断否则脚本会提前退出。5. 让卸载脚本可验证行数比对、校验和与回放演练5.1 用行数和校验和做导出后自检导出完成不代表导出正确。我习惯在脚本末尾加一段自检对每个导出文件统计行数和数据库里的COUNT(*)比对同时算sha256sum写进 manifest。行数比对能发现过滤条件写错、权限不足导致的空文件校验和能发现文件截断。行数比对有个坑SPOOL导出的文件行数不一定等于表行数因为字段里可能包含换行符。如果业务字段有换行要么在导出时用REPLACE替换掉要么用wc -l时接受偏差。我一般要求业务字段不允许换行导出前用TRANSLATE或REPLACE清理。5.2 在测试环境做一次完整回放卸载脚本的终点是回放。只验证导出不验证导入等于只做了一半。我一般会在测试环境搭一套空 schema用卸载出来的 DDL 建表再用sqlldr或外部表把数据装进去最后比对行数和关键字段的聚合值。回放时最容易出问题的是 DDL 顺序表、序列、约束、索引、注释的顺序不能乱。约束要在数据导入后加否则导入过程会逐行校验慢且容易失败。索引同理导入前删索引导入后重建速度差好几倍。这些顺序控制如果写在 shell 里就用一个数组按序执行别靠人工记。5.3 把卸载脚本纳入版本管理卸载脚本本身也是代码要进 Git。模板配置、SQL 文件、shell 主体分开管理。每次模板变更走一次代码评审避免有人直接在服务器上改脚本。我见过太多“服务器上的脚本和 Git 里的不一致”导致的事故最后排查时根本不知道线上跑的是哪个版本。版本管理还有一个好处是回滚。模板改坏了直接 checkout 上一个版本重跑。如果没有版本管理只能靠备份文件而备份文件往往缺注释、缺参数说明回滚成本极高。5.4 一个可复用的自检函数下面这个函数放在脚本公共库里每次导出后调用传入文件路径和预期行数check_unload_file() { local file$1 local expect_rows$2 if [[ ! -s ${file} ]]; then echo [FAIL] 文件为空: ${file} 2 return 1 fi local actual_rows actual_rows$(wc -l ${file}) if [[ ${actual_rows} -ne ${expect_rows} ]]; then echo [WARN] 行数不符: ${file} 预期${expect_rows} 实际${actual_rows} 2 return 1 fi sha256sum ${file} ${TARGET_DIR}/log/manifest.sha256 echo [OK] ${file} 行数${actual_rows} }-s判断文件存在且非空wc -l统计行数不符时返回 1 让调用方决定是告警还是中断。sha256sum追加到 manifest方便后续校验。这个函数不复杂但能挡住大部分低级错误。参数说明file用绝对路径expect_rows从数据库COUNT(*)查出来传入。5.5 几个参数的经验值参数建议值说明LINESIZE32767防止长字段折行再大无意义PAGESIZE0去掉分页导出文件更干净COLSEP竖线或制表符避免和字段内逗号冲突NULL显式字符串区分空串和 NULLARRAYSIZE5000提升 SPOOL 取数性能内存换速度NLS_LANG与库一致中文不乱码的前提ARRAYSIZE是 sqlplus 一次从数据库取多少行到客户端默认值偏小调大到 5000 能明显提升大表导出速度。但别调太大否则客户端内存占用高可能被 OOM kill。这个值要根据服务器内存和并发数权衡。我自己的习惯是任何卸载脚本上线前先在测试库跑一遍全流程导出、校验、回放、比对四步都过才允许碰生产。生产环境第一次跑用SCOPEincr小范围验证确认无误再全量。这套流程救过我很多次也希望帮到你。本文还有配套的精品资源点击获取