【赵渝强老师】Hadoop HDFS的回收站和快照 📅 发布时间:2026/7/16 4:53:33 👁️ 浏览次数: Hadoop的HDFS除了最基本的上传数据和下载数据的功能以外还提供了很多高级特性用于方便使用和操作主要有回收站、快照、配额管理、安全模式、权限管理同时从Hadoop 3.x开始还提供了纠删码技术。视频讲解如下【赵渝强老师】Hadoop HDFS的回收站和快照下面分别介绍HDFS提供的回收站和快照。一、 HDFS的回收站在默认的情况下HDFS的回收站功能是关闭的。可以通过在core-site.xml中添加fs.trash.interval来配置时间阀值从而启用HDFS的回收站。例如propertynamefs.trash.interval/namevalue1440/value/property!-- 由于修改了HDFS的配置文件需要重启HDFS。 --启用回收站后当删除HDFS文件时其本质是将要删除的文件或者目录放入回收站对应的目录。例如当删除/input/data.txt文件时将看到如下的日志信息。2026-01-15 20:55:31,387 INFO fs.TrashPolicyDefault: Moved:hdfs://bigdata111:9000/input/data.txtto trash at: hdfs://bigdata111:9000/user/root/.Trash/Current/input/data.txt回收站里的文件可以快速恢复。但当回收站里文件的存放时间超过返个阈值就被彻底删除并且释放占用的数据块。例如在上面的设置中设置的时间阈值是1440分钟即一天的时间。下面列举了一些HDFS回收站的基本操作。1查看回收站。hdfs dfs-lsr/user/root/.Trash/Current2从回收站中恢复。hdfs dfs-cp/user/root/.Trash/Current/input/data.txt/input3清空回收站。hdfs dfs-expunge二、 HDFS的快照一个快照Snapshot是一个全部文件系统、或者某个目录在某一时刻的镜像。这里其实可以把HDFS的快照理解成是HDFS提供的一种备份机制。快照应用在以下场景中防止用户的错误操作备份试验/测试灾难恢复由于HDFS的快照功能是针对的目录因此需要首先使用HDFS的管理员命令开启目录的快照功能再使用HDFS的操作命令创建目录的快照。#与快照相关的HDFS管理命令[-allowSnapshot snapshotDir][-disallowSnapshot snapshotDir]#与快照相关的HDFS操作命令[-createSnapshot snapshotDir[snapshotName]][-deleteSnapshot snapshotDir snapshotName][-renameSnapshot snapshotDir oldName newName]下面通过具体的步骤来演示如何使用HDFS的快照。1开启/input目录的快照功能。hdfs dfsadmin-allowSnapshot/input2为/input目录创建第一个快照。hdfs dfs-createSnapshot/input bk_input_20260115_01# 在创建HDFS快照的时候最好遵循一个良好的命名规则。# 例如这里创建的快照名称为bk_input_20260115_01# 表示在2026年1月15日为input目录创建的第一个快照。3上传一个新的文件到/input目录如data1.txt。hdfs dfs-put data1.txt/input4为/input目录创建第二个快照。hdfs dfs-createSnapshot/input bk_input_20260115_025对比/input目录的两个快照。hdfs snapshotDiff/input bk_input_20260115_01 bk_input_20260115_02# 输出的信息如下Difference between snapshot bk_input_20260115_01 and snapshot bk_input_20260115_02 under directory/input: M../data1.txt# 通过对比快照可以看出第二个快照比第一个快照多了一个文件data1.txt。6通过HDFS的Web Console也可以查看快照的相关信息如下图所示。
C++实现图像梯度锐化:从Sobel算子到工程实践 1. 项目概述:从“模糊”到“清晰”的像素魔法 在数字图像处理的世界里,我们常常会遇到一个令人头疼的问题:一张照片拍得挺好,但总感觉细节不够“带劲”,边缘有些“肉”,整体缺乏那种锐利、分明的视觉冲击力… 2026/7/16 4:51:32
windows网络适配器驱动开发-NDIS 函数与 WDF 等效项对比 1. 工作项NDIS 函数:NdisAllocateIoWorkItem WDF 等效:WdfWorkItemCreate 说明:分配/创建工作项对象。NDIS 中需传入适配器句柄,返回句柄;WDF 中创建后需注册 EvtWorkItem 回调,并用 WdfWorkItemEnqueue 入… 2026/7/16 4:49:30
NOI区间覆盖问题解析:贪心算法与浮点数精度处理实战 1. 项目概述:从一道NOI决赛题看区间覆盖与贪心策略最近在带学生备赛信奥,刷到了这道NOI 2018新加坡决赛的题目——P11596 “Lightning Rod”。题目名字挺酷,“避雷针”,但内核是一个经典的一维区间覆盖问题的变种。很多刚接触算法… 2026/7/16 4:47:29
【2014-01-27】cocos2dx学习笔记:CCNode回调流程 [历史归档] 本文原发布于 cstriker1407.info 个人博客,内容为历史存档,仅供参考。 发布时间: 2014-01-27 | 标题:cocos2dx学习笔记:CCNode回调流程 | 分类: 编程 / C &&… 2026/7/16 5:44:33
C++ priority_queue 深度解构:从堆算法到容器适配器实现 1. 项目概述:从“会用”到“懂它”,一次对 priority_queue 的深度解构如果你用过 C STL 里的priority_queue,大概率会觉得它很方便:push一个元素,pop出来的总是当前“最大”或“最小”的那个。面试官问你它的底层是什么… 2026/7/16 5:42:32
集成过压保护模拟开关的设计与应用实践 1. 为什么我们需要重新思考保护电路设计在电子系统设计中,过压保护一直是个让人头疼的问题。传统方案通常采用TVS二极管、保险丝、继电器等分立器件搭建保护电路,这种方案我已经用了十几年。但最近在做一个工业传感器项目时,这套方案让我栽了… 2026/7/16 5:42:32
电子病历自动生成与结构化:AI模型赋能医疗信息管理新路径 电子病历自动生成与结构化:AI模型赋能医疗信息管理新路径 在医疗信息化不断推进的当下,电子病历作为医疗数据的重要载体,其质量与利用效率直接影响着医疗服务的质量和医疗研究的进展。电子病历自动生成与结构化技术,借助AI模型的力… 2026/7/16 5:40:31
二维数组对角线操作实战:从坐标规律到焦点遍历的双解剖析 1. 二维数组对角线操作入门:从概念到实战第一次接触二维数组对角线操作时,我也曾被那些坐标规律绕得头晕。直到在算法比赛中因为对角线问题丢分后,才真正静下心来研究这个看似简单却暗藏玄机的话题。二维数组对角线操作是信息学竞赛和算法面试… 2026/7/16 5:40:31
题解:AcWing 237 程序自动分析 【题目来源】 AcWing:237. 程序自动分析 - AcWing题库 【题目描述】 在实现程序自动分析的过程中,常常需要判定一些约束条件是否能被同时满足。 考虑一个约束满足问题的简化版本:假设 x1,x2,x3,…x_1,x_2,x_3,…x1,x2,x3,… 代表程… 2026/7/16 5:36:29
A--10 Codex Review与GitHub PR工作流实战指南:从代码审查到安全合并 摘要:本文系统讲解如何利用Codex App的Review功能与GitHub PR工作流,实现从代码修改到安全合并的完整流程。涵盖Review面板深度使用、/review命令实战、GitHub Connector配置、PR描述撰写技巧,以及常见问题排查方法。通过多个实战案例和流程图,帮助开发者建立高效的AI辅助代… 2026/7/16 0:00:26
HAM未来路线图:下一代高可用迁移技术的发展方向与展望 HAM未来路线图:下一代高可用迁移技术的发展方向与展望 【免费下载链接】ham Based on the remote memory access capability and high bandwidth of the UB, deterministic duration virtual machine live migration is achieved, addressing planned downtime issu… 2026/7/16 0:04:27
月球是否是从地球分离出去的?——容度原理解释 月球是否是从地球分离出去的?——容度原理解释一、月球起源的“三大假说”与容度原理的重新审视月球起源的三大假说——捕获说(月球是太阳系中独立的星体,被地球引力捕获)、共生说(月球与地球同时从原始星云中形成&… 2026/7/16 0:06:27
Git reset 与 revert 深度对比:5个关键差异与 3 种典型应用场景 Git Reset 与 Revert 深度对比:5个关键差异与3种典型应用场景在团队协作开发中,代码版本管理如同行走钢丝——一步失误可能导致整个项目陷入混乱。作为Git进阶用户,你是否曾在深夜面对错误的提交束手无策?是否在强制推送后收到同事… 2026/7/13 8:31:55
GitHub 学生包申请避坑:5个常见失败原因与开发者工具调试方案 GitHub 学生包申请技术排障指南:5个高频失败场景与开发者工具实战方案第一次尝试申请GitHub学生包时,我盯着屏幕上那个不断转圈的加载动画整整15分钟,最终只等来了一行冰冷的错误提示。这可能是许多开发者共同的经历——明明按照教程操作&… 2026/7/16 3:47:53
冒烟测试用例设计规范:5%-10%覆盖率下的3类核心场景与执行标准 冒烟测试用例设计的黄金法则:5%-10%覆盖率下的精准筛选策略在快节奏的敏捷开发环境中,冒烟测试作为质量保障的第一道防线,其重要性不言而喻。当测试资源有限而时间紧迫时,如何从海量测试用例中精准筛选出那关键的5%-10%࿰… 2026/7/14 5:09:41