1. Python常用模块实战指南作为Python开发者我们每天都要和各种内置模块打交道。这些模块就像是瑞士军刀上的各种工具各司其职又相互配合。今天我就来分享下我在实际项目中最常用的14个Python模块的实战经验包括time、datetime、os、random等这些都是Python开发中的老伙计了。这些模块覆盖了日常开发中的时间处理、文件操作、随机数生成、系统交互、数据序列化等核心需求。掌握它们不仅能提升开发效率还能写出更健壮的代码。我会结合具体场景分享一些官方文档里没有的实用技巧和踩坑经验。2. 时间处理模块time与datetime2.1 time模块的实战应用time模块是处理时间最基础的模块它提供了各种时间表示和转换的方法。在实际项目中我最常用的三个功能是获取时间戳time.time()- 返回当前时间的时间戳浮点数时间格式化time.strftime()- 将时间元组格式化为字符串线程休眠time.sleep()- 让当前线程暂停执行这里有个实际案例我们需要记录某个操作的执行时间。传统做法是import time start time.time() # 执行一些操作 time.sleep(2) # 模拟耗时操作 end time.time() print(f操作耗时{end - start:.2f}秒)注意time.time()返回的是时间戳从1970年1月1日开始的秒数而time.perf_counter()更适合用于性能测试因为它使用最高精度的计时器。2.2 datetime模块的高级用法datetime模块比time模块更加强大和易用它提供了date、time、datetime、timedelta等类。在实际项目中datetime模块最常见的用途包括日期时间计算时区处理日期时间格式化一个常见的需求是生成指定范围内的随机时间。结合random模块可以这样实现from datetime import datetime, timedelta import random def random_time(start_date, end_date): delta end_date - start_date random_seconds random.randint(0, delta.total_seconds()) return start_date timedelta(secondsrandom_seconds) start datetime(2023, 1, 1) end datetime(2023, 12, 31) random_datetime random_time(start, end) print(random_datetime.strftime(%Y/%m/%d %H:%M:%S))经验分享处理时间时一定要考虑时区问题。建议在项目开始时明确使用UTC时间还是本地时间并在整个项目中保持一致。3. 系统交互模块os与subprocess3.1 os模块的文件与目录操作os模块提供了丰富的操作系统接口是Python与操作系统交互的桥梁。在实际项目中我最常用的功能包括文件和目录操作环境变量访问进程管理一个典型场景是遍历目录并处理文件import os def process_files(directory): for root, dirs, files in os.walk(directory): for file in files: if file.endswith(.txt): file_path os.path.join(root, file) with open(file_path, r, encodingutf-8) as f: content f.read() # 处理文件内容... print(f处理文件{file_path}) process_files(./data)避坑指南使用os.path.join()而不是字符串拼接来构建文件路径这样可以确保跨平台兼容性。Windows使用反斜杠而Linux/Mac使用正斜杠。3.2 subprocess模块的进程管理subprocess模块允许你创建新的进程连接到它们的输入/输出/错误管道并获取它们的返回码。这在需要调用外部命令或脚本时非常有用。一个实际案例是调用系统命令压缩文件import subprocess def compress_file(input_file, output_file): try: subprocess.run( [gzip, -c, input_file], checkTrue, stdoutopen(output_file, wb), stderrsubprocess.PIPE ) print(f文件压缩成功{input_file} - {output_file}) except subprocess.CalledProcessError as e: print(f压缩失败{e.stderr.decode(utf-8)}) compress_file(data.txt, data.txt.gz)安全提示使用subprocess时尽量避免直接将用户输入作为命令参数这可能导致命令注入漏洞。如果必须使用请使用shlex.quote()进行转义。4. 数据处理模块random、hashlib与json4.1 random模块的随机数生成random模块提供了各种随机数生成函数。在实际项目中随机数常用于测试数据生成、抽样、游戏开发等场景。一个有趣的例子是实现一个水果猜谜游戏import random def fruit_guessing_game(): fruits {1: 苹果, 2: 香蕉, 3: 橙子, 4: 葡萄} target random.randint(1, 4) try: guess int(input(猜猜是哪种水果(1-4): )) if guess target: print(猜对水果啦) else: print(f猜错啦再试试。正确答案是{fruits[target]}) except ValueError: print(请输入1-4之间的数字) fruit_guessing_game()专业建议对于安全性要求高的场景如生成密码应该使用secrets模块而不是random模块因为random生成的随机数是可预测的。4.2 hashlib模块的数据加密hashlib模块提供了常见的哈希算法如MD5、SHA1、SHA256等。这些算法常用于密码存储、数据完整性校验等场景。一个典型应用是存储用户密码import hashlib import os def hash_password(password, saltNone): if salt is None: salt os.urandom(32) # 生成随机盐值 key hashlib.pbkdf2_hmac( sha256, password.encode(utf-8), salt, 100000 # 迭代次数 ) return salt key def verify_password(stored_password, input_password): salt stored_password[:32] stored_key stored_password[32:] new_key hashlib.pbkdf2_hmac( sha256, input_password.encode(utf-8), salt, 100000 ) return new_key stored_key # 使用示例 password securepassword123 hashed hash_password(password) print(verify_password(hashed, password)) # True print(verify_password(hashed, wrongpass)) # False安全警告不要使用MD5或SHA1等已被证明不安全的算法存储密码。推荐使用PBKDF2、bcrypt或scrypt等专门设计用于密码存储的算法。4.3 json模块的数据序列化json模块用于JSON数据的编码和解码。在现代Web开发中JSON是最常用的数据交换格式。一个实际案例是处理API响应import json # 模拟API响应数据 api_response { status: success, data: { user: { id: 123, name: 张三, email: zhangsanexample.com } }, timestamp: 2023-07-15T10:30:00Z } # 将Python对象转换为JSON字符串 json_str json.dumps(api_response, ensure_asciiFalse, indent2) print(json_str) # 将JSON字符串转换回Python对象 parsed_data json.loads(json_str) print(parsed_data[data][user][name]) # 输出: 张三实用技巧json.dumps()的ensure_ascii参数默认为True这会导致非ASCII字符被转义。如果处理中文等非ASCII字符建议设置为False。5. 文件与配置管理模块shutil、ConfigParser与shelve5.1 shutil模块的高级文件操作shutil模块提供了比os模块更高级的文件操作功能如文件复制、移动、归档等。一个常见需求是备份目录import shutil import os from datetime import datetime def backup_directory(src_dir, dst_dir): if not os.path.exists(dst_dir): os.makedirs(dst_dir) timestamp datetime.now().strftime(%Y%m%d_%H%M%S) backup_name fbackup_{timestamp}.zip backup_path os.path.join(dst_dir, backup_name) shutil.make_archive(backup_path.replace(.zip, ), zip, src_dir) print(f备份完成{backup_path}) backup_directory(./data, ./backups)性能提示对于大文件操作shutil.copy2()比shutil.copy()更好因为它会保留文件的元数据并且在某些系统上可能更高效。5.2 ConfigParser模块的配置文件管理ConfigParser模块用于读写INI格式的配置文件。这种格式简单易读适合存储应用程序的配置。一个典型应用场景from configparser import ConfigParser # 创建配置 config ConfigParser() config[DEFAULT] { debug: False, log_level: INFO, max_connections: 10 } config[DATABASE] { host: localhost, port: 5432, username: admin } # 写入文件 with open(config.ini, w) as f: config.write(f) # 读取配置 config_read ConfigParser() config_read.read(config.ini) print(config_read[DATABASE][host]) # 输出: localhost注意事项ConfigParser将所有值都作为字符串处理如果需要其他类型需要手动转换。例如int(config[DATABASE][port])。5.3 shelve模块的简单持久化shelve模块提供了一个简单的持久化存储方案可以像操作字典一样存储Python对象。一个实际应用是缓存数据import shelve # 写入数据 with shelve.open(cache.db) as db: db[user_123] {name: 张三, email: zhangsanexample.com} db[recent_posts] [post1, post2, post3] # 读取数据 with shelve.open(cache.db) as db: print(db[user_123]) # 输出: {name: 张三, email: zhangsanexample.com}限制说明shelve不适合存储大量数据或需要复杂查询的场景。对于这些情况应该考虑使用SQLite或其他数据库。6. 日志与远程操作模块logging与paramiko6.1 logging模块的专业日志记录logging模块是Python的标准日志系统功能强大且灵活。良好的日志记录是调试和维护应用程序的关键。一个完整的日志配置示例import logging from logging.handlers import RotatingFileHandler def setup_logger(name): logger logging.getLogger(name) logger.setLevel(logging.DEBUG) # 控制台处理器 console_handler logging.StreamHandler() console_handler.setLevel(logging.INFO) console_formatter logging.Formatter(%(asctime)s - %(name)s - %(levelname)s - %(message)s) console_handler.setFormatter(console_formatter) # 文件处理器自动轮转 file_handler RotatingFileHandler( app.log, maxBytes1024*1024, backupCount5 ) file_handler.setLevel(logging.DEBUG) file_formatter logging.Formatter( %(asctime)s - %(name)s - %(levelname)s - %(pathname)s:%(lineno)d - %(message)s ) file_handler.setFormatter(file_formatter) logger.addHandler(console_handler) logger.addHandler(file_handler) return logger # 使用示例 logger setup_logger(my_app) logger.info(应用程序启动) try: 1 / 0 except Exception as e: logger.error(发生错误, exc_infoTrue)最佳实践为不同的模块使用不同的logger通过logging.getLogger(name)这样可以更灵活地控制日志级别和输出。6.2 paramiko模块的SSH操作paramiko是一个用于SSH连接的Python模块可以执行远程命令、传输文件等。一个简单的远程命令执行示例import paramiko def execute_remote_command(host, port, username, password, command): client paramiko.SSHClient() client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) try: client.connect(host, portport, usernameusername, passwordpassword) stdin, stdout, stderr client.exec_command(command) print(f命令输出:\n{stdout.read().decode(utf-8)}) if stderr: print(f错误输出:\n{stderr.read().decode(utf-8)}) finally: client.close() execute_remote_command( hostexample.com, port22, usernameuser, passwordpassword, commandls -l /tmp )安全建议在生产环境中应该使用密钥认证而不是密码认证。paramiko支持RSA和DSA密钥。7. XML处理与系统工具模块xml与sys7.1 xml模块的XML数据处理xml模块提供了处理XML数据的功能。XML虽然不如JSON流行但在某些领域如Web服务、配置文件仍然广泛使用。一个解析XML文件的例子import xml.etree.ElementTree as ET # 示例XML数据 xml_data catalog book idbk101 author张三/author titlePython编程/title price39.95/price /book book idbk102 author李四/author title高级Python/title price49.95/price /book /catalog # 解析XML root ET.fromstring(xml_data) for book in root.findall(book): print(fID: {book.get(id)}) print(f标题: {book.find(title).text}) print(f作者: {book.find(author).text}) print(f价格: {book.find(price).text}) print()性能考虑对于大型XML文件考虑使用xml.sax而不是xml.etree.ElementTree因为它是基于事件的解析器内存效率更高。7.2 sys模块的系统特定功能sys模块提供了一些与Python解释器和系统环境交互的函数和变量。一些常用功能示例import sys # 获取Python版本信息 print(fPython版本: {sys.version}) # 获取命令行参数 print(f脚本名称: {sys.argv[0]}) print(f参数列表: {sys.argv[1:]}) # 修改默认编码Python3通常不需要 sys.setdefaultencoding(utf-8) # 仅在Python2中需要 # 退出程序 if len(sys.argv) 2: print(错误: 需要提供参数) sys.exit(1) # 查看模块搜索路径 print(f模块搜索路径: {sys.path}) # 标准输入/输出重定向 sys.stdout.write(这是标准输出\n) sys.stderr.write(这是错误输出\n)实用技巧sys.path可以动态修改这在需要临时添加模块搜索路径时很有用。例如sys.path.append(/path/to/modules)。8. 模块综合应用实例8.1 自动化备份脚本结合多个模块我们可以创建一个功能完善的自动化备份脚本import os import shutil import time import datetime import logging from logging.handlers import RotatingFileHandler import json import hashlib def setup_logger(): logger logging.getLogger(backup_tool) logger.setLevel(logging.INFO) handler RotatingFileHandler( backup.log, maxBytes1024*1024, backupCount5 ) formatter logging.Formatter( %(asctime)s - %(levelname)s - %(message)s ) handler.setFormatter(formatter) logger.addHandler(handler) return logger def calculate_md5(file_path): hash_md5 hashlib.md5() with open(file_path, rb) as f: for chunk in iter(lambda: f.read(4096), b): hash_md5.update(chunk) return hash_md5.hexdigest() def backup_files(source_dir, backup_dir): logger setup_logger() logger.info(f开始备份: {source_dir} - {backup_dir}) if not os.path.exists(source_dir): logger.error(f源目录不存在: {source_dir}) return False timestamp datetime.datetime.now().strftime(%Y%m%d_%H%M%S) backup_path os.path.join(backup_dir, fbackup_{timestamp}) try: os.makedirs(backup_path, exist_okTrue) # 复制文件并记录元数据 meta_data { backup_time: timestamp, files: [], source: source_dir } for root, dirs, files in os.walk(source_dir): relative_path os.path.relpath(root, source_dir) dest_dir os.path.join(backup_path, relative_path) os.makedirs(dest_dir, exist_okTrue) for file in files: src_file os.path.join(root, file) dest_file os.path.join(dest_dir, file) shutil.copy2(src_file, dest_file) file_md5 calculate_md5(dest_file) meta_data[files].append({ name: file, path: os.path.join(relative_path, file), size: os.path.getsize(src_file), md5: file_md5, modified: os.path.getmtime(src_file) }) # 保存元数据 meta_file os.path.join(backup_path, metadata.json) with open(meta_file, w) as f: json.dump(meta_data, f, indent2) logger.info(f备份成功完成: {backup_path}) return True except Exception as e: logger.error(f备份失败: {str(e)}, exc_infoTrue) return False # 使用示例 backup_files(/path/to/source, /path/to/backups)这个脚本综合运用了多个模块的功能os和shutil用于文件操作time和datetime用于时间处理logging用于日志记录json用于数据序列化hashlib用于文件校验生产环境建议对于大型备份任务可以考虑添加进度显示、断点续传、压缩存储等功能并考虑使用多线程或异步IO提高性能。8.2 配置文件管理工具另一个综合应用是创建一个配置文件管理工具支持多种格式import os import json import configparser import xml.etree.ElementTree as ET from datetime import datetime class ConfigManager: def __init__(self): self.config {} def load_config(self, file_path): ext os.path.splitext(file_path)[1].lower() if ext .json: with open(file_path, r) as f: self.config json.load(f) elif ext .ini: config configparser.ConfigParser() config.read(file_path) self.config { section: dict(config[section]) for section in config.sections() } elif ext .xml: tree ET.parse(file_path) root tree.getroot() self.config self._parse_xml_element(root) else: raise ValueError(f不支持的配置文件格式: {ext}) self.config[_meta] { loaded_at: datetime.now().isoformat(), source: file_path } return self.config def _parse_xml_element(self, element): result {} for child in element: if len(child) 0: result[child.tag] self._parse_xml_element(child) else: result[child.tag] child.text return result def save_config(self, file_path, configNone): if config is None: config self.config ext os.path.splitext(file_path)[1].lower() if ext .json: with open(file_path, w) as f: json.dump(config, f, indent2) elif ext .ini: parser configparser.ConfigParser() for section, options in config.items(): if section ! _meta: parser[section] options with open(file_path, w) as f: parser.write(f) elif ext .xml: root ET.Element(config) self._build_xml_element(root, config) tree ET.ElementTree(root) tree.write(file_path, encodingutf-8, xml_declarationTrue) else: raise ValueError(f不支持的配置文件格式: {ext}) def _build_xml_element(self, parent, data): for key, value in data.items(): if key _meta: continue element ET.SubElement(parent, key) if isinstance(value, dict): self._build_xml_element(element, value) else: element.text str(value) # 使用示例 manager ConfigManager() # 加载JSON配置 json_config manager.load_config(config.json) print(json_config) # 保存为INI格式 manager.save_config(config.ini) # 加载INI配置 ini_config manager.load_config(config.ini) print(ini_config) # 保存为XML格式 manager.save_config(config.xml)这个工具类支持JSON、INI和XML三种常见配置文件格式的读写并自动维护元信息。在实际项目中这种灵活性可以大大简化配置管理工作。扩展建议可以添加配置验证、默认值设置、环境变量替换等功能使这个工具更加完善。还可以考虑支持YAML等其他流行格式。
1. Python常用模块实战指南作为Python开发者我们每天都要和各种内置模块打交道。这些模块就像是瑞士军刀上的各种工具各司其职又相互配合。今天我就来分享下我在实际项目中最常用的14个Python模块的实战经验包括time、datetime、os、random等这些都是Python开发中的老伙计了。这些模块覆盖了日常开发中的时间处理、文件操作、随机数生成、系统交互、数据序列化等核心需求。掌握它们不仅能提升开发效率还能写出更健壮的代码。我会结合具体场景分享一些官方文档里没有的实用技巧和踩坑经验。2. 时间处理模块time与datetime2.1 time模块的实战应用time模块是处理时间最基础的模块它提供了各种时间表示和转换的方法。在实际项目中我最常用的三个功能是获取时间戳time.time()- 返回当前时间的时间戳浮点数时间格式化time.strftime()- 将时间元组格式化为字符串线程休眠time.sleep()- 让当前线程暂停执行这里有个实际案例我们需要记录某个操作的执行时间。传统做法是import time start time.time() # 执行一些操作 time.sleep(2) # 模拟耗时操作 end time.time() print(f操作耗时{end - start:.2f}秒)注意time.time()返回的是时间戳从1970年1月1日开始的秒数而time.perf_counter()更适合用于性能测试因为它使用最高精度的计时器。2.2 datetime模块的高级用法datetime模块比time模块更加强大和易用它提供了date、time、datetime、timedelta等类。在实际项目中datetime模块最常见的用途包括日期时间计算时区处理日期时间格式化一个常见的需求是生成指定范围内的随机时间。结合random模块可以这样实现from datetime import datetime, timedelta import random def random_time(start_date, end_date): delta end_date - start_date random_seconds random.randint(0, delta.total_seconds()) return start_date timedelta(secondsrandom_seconds) start datetime(2023, 1, 1) end datetime(2023, 12, 31) random_datetime random_time(start, end) print(random_datetime.strftime(%Y/%m/%d %H:%M:%S))经验分享处理时间时一定要考虑时区问题。建议在项目开始时明确使用UTC时间还是本地时间并在整个项目中保持一致。3. 系统交互模块os与subprocess3.1 os模块的文件与目录操作os模块提供了丰富的操作系统接口是Python与操作系统交互的桥梁。在实际项目中我最常用的功能包括文件和目录操作环境变量访问进程管理一个典型场景是遍历目录并处理文件import os def process_files(directory): for root, dirs, files in os.walk(directory): for file in files: if file.endswith(.txt): file_path os.path.join(root, file) with open(file_path, r, encodingutf-8) as f: content f.read() # 处理文件内容... print(f处理文件{file_path}) process_files(./data)避坑指南使用os.path.join()而不是字符串拼接来构建文件路径这样可以确保跨平台兼容性。Windows使用反斜杠而Linux/Mac使用正斜杠。3.2 subprocess模块的进程管理subprocess模块允许你创建新的进程连接到它们的输入/输出/错误管道并获取它们的返回码。这在需要调用外部命令或脚本时非常有用。一个实际案例是调用系统命令压缩文件import subprocess def compress_file(input_file, output_file): try: subprocess.run( [gzip, -c, input_file], checkTrue, stdoutopen(output_file, wb), stderrsubprocess.PIPE ) print(f文件压缩成功{input_file} - {output_file}) except subprocess.CalledProcessError as e: print(f压缩失败{e.stderr.decode(utf-8)}) compress_file(data.txt, data.txt.gz)安全提示使用subprocess时尽量避免直接将用户输入作为命令参数这可能导致命令注入漏洞。如果必须使用请使用shlex.quote()进行转义。4. 数据处理模块random、hashlib与json4.1 random模块的随机数生成random模块提供了各种随机数生成函数。在实际项目中随机数常用于测试数据生成、抽样、游戏开发等场景。一个有趣的例子是实现一个水果猜谜游戏import random def fruit_guessing_game(): fruits {1: 苹果, 2: 香蕉, 3: 橙子, 4: 葡萄} target random.randint(1, 4) try: guess int(input(猜猜是哪种水果(1-4): )) if guess target: print(猜对水果啦) else: print(f猜错啦再试试。正确答案是{fruits[target]}) except ValueError: print(请输入1-4之间的数字) fruit_guessing_game()专业建议对于安全性要求高的场景如生成密码应该使用secrets模块而不是random模块因为random生成的随机数是可预测的。4.2 hashlib模块的数据加密hashlib模块提供了常见的哈希算法如MD5、SHA1、SHA256等。这些算法常用于密码存储、数据完整性校验等场景。一个典型应用是存储用户密码import hashlib import os def hash_password(password, saltNone): if salt is None: salt os.urandom(32) # 生成随机盐值 key hashlib.pbkdf2_hmac( sha256, password.encode(utf-8), salt, 100000 # 迭代次数 ) return salt key def verify_password(stored_password, input_password): salt stored_password[:32] stored_key stored_password[32:] new_key hashlib.pbkdf2_hmac( sha256, input_password.encode(utf-8), salt, 100000 ) return new_key stored_key # 使用示例 password securepassword123 hashed hash_password(password) print(verify_password(hashed, password)) # True print(verify_password(hashed, wrongpass)) # False安全警告不要使用MD5或SHA1等已被证明不安全的算法存储密码。推荐使用PBKDF2、bcrypt或scrypt等专门设计用于密码存储的算法。4.3 json模块的数据序列化json模块用于JSON数据的编码和解码。在现代Web开发中JSON是最常用的数据交换格式。一个实际案例是处理API响应import json # 模拟API响应数据 api_response { status: success, data: { user: { id: 123, name: 张三, email: zhangsanexample.com } }, timestamp: 2023-07-15T10:30:00Z } # 将Python对象转换为JSON字符串 json_str json.dumps(api_response, ensure_asciiFalse, indent2) print(json_str) # 将JSON字符串转换回Python对象 parsed_data json.loads(json_str) print(parsed_data[data][user][name]) # 输出: 张三实用技巧json.dumps()的ensure_ascii参数默认为True这会导致非ASCII字符被转义。如果处理中文等非ASCII字符建议设置为False。5. 文件与配置管理模块shutil、ConfigParser与shelve5.1 shutil模块的高级文件操作shutil模块提供了比os模块更高级的文件操作功能如文件复制、移动、归档等。一个常见需求是备份目录import shutil import os from datetime import datetime def backup_directory(src_dir, dst_dir): if not os.path.exists(dst_dir): os.makedirs(dst_dir) timestamp datetime.now().strftime(%Y%m%d_%H%M%S) backup_name fbackup_{timestamp}.zip backup_path os.path.join(dst_dir, backup_name) shutil.make_archive(backup_path.replace(.zip, ), zip, src_dir) print(f备份完成{backup_path}) backup_directory(./data, ./backups)性能提示对于大文件操作shutil.copy2()比shutil.copy()更好因为它会保留文件的元数据并且在某些系统上可能更高效。5.2 ConfigParser模块的配置文件管理ConfigParser模块用于读写INI格式的配置文件。这种格式简单易读适合存储应用程序的配置。一个典型应用场景from configparser import ConfigParser # 创建配置 config ConfigParser() config[DEFAULT] { debug: False, log_level: INFO, max_connections: 10 } config[DATABASE] { host: localhost, port: 5432, username: admin } # 写入文件 with open(config.ini, w) as f: config.write(f) # 读取配置 config_read ConfigParser() config_read.read(config.ini) print(config_read[DATABASE][host]) # 输出: localhost注意事项ConfigParser将所有值都作为字符串处理如果需要其他类型需要手动转换。例如int(config[DATABASE][port])。5.3 shelve模块的简单持久化shelve模块提供了一个简单的持久化存储方案可以像操作字典一样存储Python对象。一个实际应用是缓存数据import shelve # 写入数据 with shelve.open(cache.db) as db: db[user_123] {name: 张三, email: zhangsanexample.com} db[recent_posts] [post1, post2, post3] # 读取数据 with shelve.open(cache.db) as db: print(db[user_123]) # 输出: {name: 张三, email: zhangsanexample.com}限制说明shelve不适合存储大量数据或需要复杂查询的场景。对于这些情况应该考虑使用SQLite或其他数据库。6. 日志与远程操作模块logging与paramiko6.1 logging模块的专业日志记录logging模块是Python的标准日志系统功能强大且灵活。良好的日志记录是调试和维护应用程序的关键。一个完整的日志配置示例import logging from logging.handlers import RotatingFileHandler def setup_logger(name): logger logging.getLogger(name) logger.setLevel(logging.DEBUG) # 控制台处理器 console_handler logging.StreamHandler() console_handler.setLevel(logging.INFO) console_formatter logging.Formatter(%(asctime)s - %(name)s - %(levelname)s - %(message)s) console_handler.setFormatter(console_formatter) # 文件处理器自动轮转 file_handler RotatingFileHandler( app.log, maxBytes1024*1024, backupCount5 ) file_handler.setLevel(logging.DEBUG) file_formatter logging.Formatter( %(asctime)s - %(name)s - %(levelname)s - %(pathname)s:%(lineno)d - %(message)s ) file_handler.setFormatter(file_formatter) logger.addHandler(console_handler) logger.addHandler(file_handler) return logger # 使用示例 logger setup_logger(my_app) logger.info(应用程序启动) try: 1 / 0 except Exception as e: logger.error(发生错误, exc_infoTrue)最佳实践为不同的模块使用不同的logger通过logging.getLogger(name)这样可以更灵活地控制日志级别和输出。6.2 paramiko模块的SSH操作paramiko是一个用于SSH连接的Python模块可以执行远程命令、传输文件等。一个简单的远程命令执行示例import paramiko def execute_remote_command(host, port, username, password, command): client paramiko.SSHClient() client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) try: client.connect(host, portport, usernameusername, passwordpassword) stdin, stdout, stderr client.exec_command(command) print(f命令输出:\n{stdout.read().decode(utf-8)}) if stderr: print(f错误输出:\n{stderr.read().decode(utf-8)}) finally: client.close() execute_remote_command( hostexample.com, port22, usernameuser, passwordpassword, commandls -l /tmp )安全建议在生产环境中应该使用密钥认证而不是密码认证。paramiko支持RSA和DSA密钥。7. XML处理与系统工具模块xml与sys7.1 xml模块的XML数据处理xml模块提供了处理XML数据的功能。XML虽然不如JSON流行但在某些领域如Web服务、配置文件仍然广泛使用。一个解析XML文件的例子import xml.etree.ElementTree as ET # 示例XML数据 xml_data catalog book idbk101 author张三/author titlePython编程/title price39.95/price /book book idbk102 author李四/author title高级Python/title price49.95/price /book /catalog # 解析XML root ET.fromstring(xml_data) for book in root.findall(book): print(fID: {book.get(id)}) print(f标题: {book.find(title).text}) print(f作者: {book.find(author).text}) print(f价格: {book.find(price).text}) print()性能考虑对于大型XML文件考虑使用xml.sax而不是xml.etree.ElementTree因为它是基于事件的解析器内存效率更高。7.2 sys模块的系统特定功能sys模块提供了一些与Python解释器和系统环境交互的函数和变量。一些常用功能示例import sys # 获取Python版本信息 print(fPython版本: {sys.version}) # 获取命令行参数 print(f脚本名称: {sys.argv[0]}) print(f参数列表: {sys.argv[1:]}) # 修改默认编码Python3通常不需要 sys.setdefaultencoding(utf-8) # 仅在Python2中需要 # 退出程序 if len(sys.argv) 2: print(错误: 需要提供参数) sys.exit(1) # 查看模块搜索路径 print(f模块搜索路径: {sys.path}) # 标准输入/输出重定向 sys.stdout.write(这是标准输出\n) sys.stderr.write(这是错误输出\n)实用技巧sys.path可以动态修改这在需要临时添加模块搜索路径时很有用。例如sys.path.append(/path/to/modules)。8. 模块综合应用实例8.1 自动化备份脚本结合多个模块我们可以创建一个功能完善的自动化备份脚本import os import shutil import time import datetime import logging from logging.handlers import RotatingFileHandler import json import hashlib def setup_logger(): logger logging.getLogger(backup_tool) logger.setLevel(logging.INFO) handler RotatingFileHandler( backup.log, maxBytes1024*1024, backupCount5 ) formatter logging.Formatter( %(asctime)s - %(levelname)s - %(message)s ) handler.setFormatter(formatter) logger.addHandler(handler) return logger def calculate_md5(file_path): hash_md5 hashlib.md5() with open(file_path, rb) as f: for chunk in iter(lambda: f.read(4096), b): hash_md5.update(chunk) return hash_md5.hexdigest() def backup_files(source_dir, backup_dir): logger setup_logger() logger.info(f开始备份: {source_dir} - {backup_dir}) if not os.path.exists(source_dir): logger.error(f源目录不存在: {source_dir}) return False timestamp datetime.datetime.now().strftime(%Y%m%d_%H%M%S) backup_path os.path.join(backup_dir, fbackup_{timestamp}) try: os.makedirs(backup_path, exist_okTrue) # 复制文件并记录元数据 meta_data { backup_time: timestamp, files: [], source: source_dir } for root, dirs, files in os.walk(source_dir): relative_path os.path.relpath(root, source_dir) dest_dir os.path.join(backup_path, relative_path) os.makedirs(dest_dir, exist_okTrue) for file in files: src_file os.path.join(root, file) dest_file os.path.join(dest_dir, file) shutil.copy2(src_file, dest_file) file_md5 calculate_md5(dest_file) meta_data[files].append({ name: file, path: os.path.join(relative_path, file), size: os.path.getsize(src_file), md5: file_md5, modified: os.path.getmtime(src_file) }) # 保存元数据 meta_file os.path.join(backup_path, metadata.json) with open(meta_file, w) as f: json.dump(meta_data, f, indent2) logger.info(f备份成功完成: {backup_path}) return True except Exception as e: logger.error(f备份失败: {str(e)}, exc_infoTrue) return False # 使用示例 backup_files(/path/to/source, /path/to/backups)这个脚本综合运用了多个模块的功能os和shutil用于文件操作time和datetime用于时间处理logging用于日志记录json用于数据序列化hashlib用于文件校验生产环境建议对于大型备份任务可以考虑添加进度显示、断点续传、压缩存储等功能并考虑使用多线程或异步IO提高性能。8.2 配置文件管理工具另一个综合应用是创建一个配置文件管理工具支持多种格式import os import json import configparser import xml.etree.ElementTree as ET from datetime import datetime class ConfigManager: def __init__(self): self.config {} def load_config(self, file_path): ext os.path.splitext(file_path)[1].lower() if ext .json: with open(file_path, r) as f: self.config json.load(f) elif ext .ini: config configparser.ConfigParser() config.read(file_path) self.config { section: dict(config[section]) for section in config.sections() } elif ext .xml: tree ET.parse(file_path) root tree.getroot() self.config self._parse_xml_element(root) else: raise ValueError(f不支持的配置文件格式: {ext}) self.config[_meta] { loaded_at: datetime.now().isoformat(), source: file_path } return self.config def _parse_xml_element(self, element): result {} for child in element: if len(child) 0: result[child.tag] self._parse_xml_element(child) else: result[child.tag] child.text return result def save_config(self, file_path, configNone): if config is None: config self.config ext os.path.splitext(file_path)[1].lower() if ext .json: with open(file_path, w) as f: json.dump(config, f, indent2) elif ext .ini: parser configparser.ConfigParser() for section, options in config.items(): if section ! _meta: parser[section] options with open(file_path, w) as f: parser.write(f) elif ext .xml: root ET.Element(config) self._build_xml_element(root, config) tree ET.ElementTree(root) tree.write(file_path, encodingutf-8, xml_declarationTrue) else: raise ValueError(f不支持的配置文件格式: {ext}) def _build_xml_element(self, parent, data): for key, value in data.items(): if key _meta: continue element ET.SubElement(parent, key) if isinstance(value, dict): self._build_xml_element(element, value) else: element.text str(value) # 使用示例 manager ConfigManager() # 加载JSON配置 json_config manager.load_config(config.json) print(json_config) # 保存为INI格式 manager.save_config(config.ini) # 加载INI配置 ini_config manager.load_config(config.ini) print(ini_config) # 保存为XML格式 manager.save_config(config.xml)这个工具类支持JSON、INI和XML三种常见配置文件格式的读写并自动维护元信息。在实际项目中这种灵活性可以大大简化配置管理工作。扩展建议可以添加配置验证、默认值设置、环境变量替换等功能使这个工具更加完善。还可以考虑支持YAML等其他流行格式。
