😁
运维笔记
运维笔记
运维笔记
  • Welcome my notes
  • PYTHON
    • Python 小技巧
      • Python阿里云余额TG报警
      • Python应知小技巧:如何用更少的代码做更多的事情
      • Python 使用缓存功能进行接口性能调优
      • 用pandas新建excel并设置表头
      • RBAC
      • Python读取文件去除回车
      • Python经过OpenSSL获取指定域名对应的SSL证书
      • Python爬取百度指数中的搜索指数
      • Python中反斜杠u类型(uXXXX)字符串转换为Unicode字符串
      • Python两种方式获取SSL证书信息
      • Python 项目环境变量方法
      • PYTHON 获得当前路径
      • Python 自动申请 SSL 证书
      • Python 拆分 URL
      • Python 谷歌令牌
      • Python redis 操作
      • Python 封装 Redis
      • dnspython实现NS记录查询
      • 2.7 版本 telegram 机器人
      • 最全的Python虚拟环境使用方法
      • hasattr、getattr和setattr的使用方法
      • 字符串与字节之间转换
      • 模块-文件共享-SimpleHTTPServer
      • 模块-文本变量-configparser
      • 模块-SSH连接-paramiko
      • HTTPS服务实现
      • 列表骚操作
      • PyMysql
      • 基础语法
      • 终端Print颜色
      • loguru日志库
      • 自动安装Nginx
      • Python3.7源码安装
      • linux 一键安装 conda
      • Pipenv常用的命令
      • 监听服务器的端口
      • 获取证书到期时间
      • 检测域名被墙污染
      • 发送电子邮件信息
      • 发送Telegram信息
      • 输出进度条的图形
      • Cloudflare DNS A记录自动更新脚本
      • Cloudflare-API操作
      • UUID库生成唯一ID
      • 静态方法、普通方法、类方法
      • 循环切片+多线程+消息队列queus
      • 注册 Forms
      • 循环切片+多线程+消息队列queus
      • Python 列表字符串转换整型
      • SQLAlchemy的查询分页和获取总条数
      • 使用shell和python分别实现简单菜单功能
      • 获取checkbox选中状态的两种方式
      • QQ爆红检测
      • 域名备案查询
      • 结合腾讯云发送短信
      • 爬虫神器PyQuery的使用方法
      • Dict 转换
      • 获取证书到期时间
      • 虚拟环境使用
      • 无限级分类的两种实现方式
      • 两个数组交集|并集|差集方法
      • https
      • ​统计代码耗时的几种方法
      • datetime库常用转换
      • datatime库计算当前时间||其他时间运算
      • 监控网站可用性并发送Telegram通知
      • 监控SSL证书可用性并发送Telegram通知
      • 监控端口可用性并发送Telegram通知
      • 自动下载阿里云OSS桶文件
      • 自动上传文件到阿里云OSS
      • 获取cpu,根据cpu数量分配线程数
      • 获取自己的公网IP地址
      • Pyhton检测邮箱是否可用
      • Python使用代理检测域名状态
    • Flask
      • Nginx 业务接口触发拉黑IP
      • 结合uWSGI和Nginx部署flask项目
      • pip错误
      • Flask请求扩展与中间件
      • Flask拦截器
      • Flask-SQLAlchemy批量插入数据性能测试
      • Flask-CeleryExt
      • Flask 级联删除
      • Flask-SQLAlchemy详解
      • Flask + Celery + Redis 异步发送邮件
      • Flask http异常捕获
      • Flask 自定义命令 类似于django的manage.py
      • Flask 项目中解决csrf攻击
      • Flask 视图请求钩子函数
      • 一、Pipenv管理项目
      • 二、摸版
      • 三、处理文件上传
      • 四、 Flask 定时任务
      • 五、REST架构API方法
      • 六、搭建查询IP地址接口
      • 七、Flask+Github触发webhoop接口
      • Flask用paginate实现数据分页
      • Flask 文件流下载
    • Django
      • Djanog admin 有用的设置
      • Django 下 redis 操作
      • Django Ninja
      • Django django-import-export
      • Django Admin自动填充当前用户的示例代码
      • 在Django Admin中为list_filter创建自定义过滤器
      • 1、Django基础一
      • 2、Django基础二
      • 3、Django后台基础用法
      • 4、Django缓存
      • 5、Django日志
      • 6、Django设置csrf_token
      • 7、Django图片上传前端显示
      • 8、Django全文搜索
      • 9、Django Queryset转Json
      • 10、Django开发||生产环境
      • 11、Django邮箱||验证码||登录
      • 12、Django解决扩展用户表时,后台ADMIN显示密码为明文的问题
      • 13、ORM批量添加||更新数据
      • 14、Django分页并前端显示
      • 15、Celery异步任务集成
      • 16、Django获取访问IP地址
      • 17、Django重定向返回上一页
      • 18、Django自定义页面跳转链接
      • 19、利用 django-simpleui 模板在管理后台添加自定义的菜单和自定义的页面、设置访问权限
      • 20、Django导入导出功能
      • 1000、Django错误
      • 21、Django3实现Websocket最简单demo
      • 22、打包django项目成exe文件
      • Vue+websocket+django实现WebSSH demo
      • 24、related_namerelated_query_name 的区别
    • DRF
      • permissions.py源码分析
      • DRF接口 + Vue实现下载文件
      • DRF基础笔记
      • API跨域设置
      • JWT多方式登录及自定义验证
    • Fastapi
      • 运维自动化之域名系统
      • 自定义异常
      • fastapi tortoise-orm 使用一
      • fastapi tortoise-orm 使用二
      • fastapi tortoise-orm 使用三
      • fastapi处理tortoise-orm异常
      • 基于FastAPI和Tortoise-ORM的WebSocket类的封装
      • FastAPI中使用调度程序执行异步任务,与Redis交互
      • Sqlalchemy异步操作
      • 第一个Fastapi
      • FastAPI 中间件
      • FastApi APIRouter引用
      • FastAPI 依赖注入
      • FastAPI 响应体模型及校验
      • FastAPI 项目结构优化
      • FastAPI 文件上传
      • FastAPI 数据库一对一
      • FastAPI 数据库一对多
      • FastAPI 数据库多对多
      • FastAPI 数据库创建
      • FastAPI 内部调用路径
      • FastAPI 请求参数及校验
      • FastAPI 请求模型及校验
      • FastAPI 内部调用路径
      • FastAPI 路径参数及校验
      • FastAPI 路径、请求、请求体综合使用
      • FastAPI 类视图
      • FastAPI 静态文件
      • FastAPI 接口文档配置相关
      • FastAPI 后台任务
      • FastAPI 更新数据
      • FastAPI 根据环境不同连接不同数据库
      • FastAPI 封装接口返回
      • FastAPI 日志
      • FastAPI 封装分页
      • FastAPI 端点调试
      • FastAPI 定制返回Response
      • FastAPI 操作数据库
      • FastAPI 部署 uvicorn + supervisor
      • FastAPI WebSocket
      • FastAPI startup 和 shutdown
      • FastAPI sql 转换 json
      • FastAPI Redis 操作
      • FastAPI OAuth2 认证
      • FastAPI Jwt 认证
      • FastAPI 表单使用
      • FastAPI Docker 方式
      • FastAPI CORS跨域
      • FastAPI Cookie 参数,Header参数
      • fastapi操作异步redis模块aioredis
      • RESTFUL API 访问和刷新令牌
    • PHP
      • thinkphp
        • 留言版系统
  • centos
    • Iptable
      • Firewalld使用ipset快速屏蔽指定国家的IP访问
      • Iptable 使用ipset设置防火墙端口白名单,只让指定国家访问
    • Minio
      • Minio 部署
      • Python 操作 minio
      • 挂载谷歌云盘
    • SSL
      • CentOS下自动申请、部署Let's Encrypt免费SSL证书教程(Nginx亲测)
    • Linux基操
      • 三次握手和四次挥手
      • Linux-性能常用命令
      • 常见DDOS攻击类型
      • Ubuntu配置IP及免密登录
      • Ubuntu 替换阿里云镜像
      • ntpdate 无法同步时间问题
      • linux下redis的使用
      • hey压测工具
      • Linux-Node安装
      • Linux-UFW设置
      • Linux-vsftp
      • Linux-小数点计算
      • Linux-内核升级
      • Linux-终端代理
      • Linux-输出字体颜色
      • Linux-SSH密钥登录
      • Linux-磁盘扩容缩容
      • Linux-设置时间时区
      • Linux-服务器入侵排查
      • Linux-增加Swap方法
      • Linux-vim可视化模式
      • Linux-Crontab定时任务
      • Linux-Supervisor进程管理
      • Linux-处理大量的 TIME_WAIT
      • awk|grep|sed|find
      • find常规用法
      • Linux-排查磁盘IO读写很高
      • Linux-排查CPU只用率很高
      • ubuntu搭建NFS服务
      • Centos7-yum问题
      • ubuntu 24.X 安装 python2.7
    • 科学上网
      • pptp
      • Sock5 代理
      • Goproxy 代理
      • Stunnel 加密 Squid 代理服务
      • MTProxy代理,专注Telegram
      • 使用一键脚本搭建L2TP+IPSec
    • Ansible
      • Ansible 部署 nginx
      • Ansible 部署 Supervisor
      • Ansible 基础笔记
      • 过滤器
      • ansible回调函数使用
      • 如何使用ansible来快速同步目录
      • Ansible 错误
      • Ansible 删除多个文件或目录
      • Ansible Api二次封装
      • Ansible 过滤器
      • Playbook 获取主机组主机数
      • Playbook 部署Squid代理
      • Playbook Debug用法
      • Playbook 部署Node_exporter
      • 批量安装Nginx
      • 安装K8S
      • Ansible如何通过跳板机连接目标机器
    • Git 教程
      • 首次使用
      • Git上传文件卡住无响应
      • Git速查表
      • Git 安装&配置
      • Git 创建仓库
      • Git 基本操作
      • Git 分支管理
      • Git 服务器搭建
      • Git基操-tag
      • Git修改远程仓库地址
      • Git clone速度太慢怎么办
      • Git 修改 tag 内容如何操作
      • Git 大文件上传
      • Github 创建新分支
    • Docker
      • containerd 安装
      • docker 镜像瘦身工具 docker-slim
      • Docker 与 IPtables
      • Page
      • Docker几种安装方式
      • Docker国内镜像加速
      • Docker容器自动启动设置
      • Docker使用Harbor无SSL
      • Docker使用Harbor的API
      • Dockerfile打包镜像优化
      • Docker自定义镜像查看日志方法
      • Dockerfile和docker-compose.yml设置时区
      • Swarm
        • 微服务架构部署问题
        • Swarm 基础命令
        • Swarm 安装使用
        • Swarm 服务版本更新|回滚
      • Docker-compose
        • Docker 镜像自动化部署
        • Prometheus+Grafana监控平台+钉钉报警
        • 基于Alpine构建php7+nginx(2)
        • 基于Alpine构建php7+nginx(1)
        • docker-compose mysql+django
        • docker-compose安装
        • docker compose升级
        • seata单节点或集群
        • 测试常用中间件快速启动
        • 开源监控-hertzbeat
      • Alpine构建镜像
        • 构建java镜像
        • Alpine-Timezone
        • Alpine-Redis
        • Alpine-Python
        • Alpine-Php
        • Alpine-Nginx
        • Alpine-Nginx-定制nginx
        • Alpine-Mysql
      • Page 3
      • Page 2
    • Shell
      • 批量远程执行命令脚本
      • Linux健康检查脚本
      • Page 1
      • 一键生成ssl自签名证书
      • 服务器日常巡检脚本
      • 生成100个随机6位数字
      • 9个实用 shell 脚本
      • 21 个非常实用的 Shell 拿来就用脚本实例
      • shell每秒执行一次
      • Shell脚本自动生成开头注释简介
      • Shell中$#、$0、set等的含义
      • Shell脚本书写规范
      • shell脚本里的变量怎么加一
      • Shell获取当前目录和上级目录
      • Nginx日志切割脚本(按天切割)
      • Redis源码安装脚本
      • Php源码安装脚本
      • Nginx 1.23.3 源码安装
      • Nginx 1.27.1 源码安装
      • MYSQL5.X源码安装脚本
      • Redis源码安装脚本
      • Lnmp各源码安装脚本
      • Linux打印系统配置信息脚本
      • expect交互
      • CentOS系统初始化脚本(适合CentOS 6.X和CentOS 7.X系列)
      • Ubuntu 系统初始化
      • Bash数组
      • 一键测试脚本bench.sh
      • 批量添加用户
      • Ftp-Python上传下载案例
      • Ftp-Mysql数据库全量自动备份删除7天前备份
      • Ftp-Mysql数据库的全量备份和增量备份脚本实例
      • Ftp-Python服务器
      • Shell脚本常用示例
      • Shell多进程模式
      • 管理Firewall防火墙脚本
      • MySQL5.7~8热备份
      • postgresql 库备份
    • Nginx
      • 一文搞定Nginx的压缩、黑白名单、防盗链、零拷贝、跨域、双机热备等知识
      • nginx 一把梭
      • 阿里云ESC的Nginx代理OSS
      • yum命令安装mariadb
      • Tengine安装lua
      • Nginx配置中的if判断
      • Nginx内置变量
      • nginx+php限制某个IP访问
      • Nginx 变量 set 使用方法
      • Nginx 判断值是否为空 设置变量 获取参数
      • lua随机值
      • 利用客户端随机跳转
      • JS代码简单的防封、防屏蔽、防举报、防红页面
      • Ngx_lua
      • WFT
      • 免费申请HTTPS六大方法
      • 502错误
      • Ngx基操
      • Ngx 配置文件实例
      • Ngx跨域解决方法
      • Ngx服务器内核优化
      • Ngx从安装到高可用
      • Ngx反向代理支持WSS
      • Ngx配置用户名密码访问
      • Ngx配置Http(s)|WS|WSS
      • Ngx算法|Rewrite规则|优先级
      • Ngx中websocket服务的配置
      • mp4
      • 跨域设置
      • Ngx 第三方库 ngx_brotli
      • Ngx 反向代理缓存规则
      • Ngx 反向代理禁用缓存
      • Logrotate实现nginx日志切割
    • Tomcat
      • nginx 前端https +tomcat 后端 http 非80、443端口反向代理的配置方式
      • Tomcat 8.x基于Redis Session会话保持
    • Keepalived
      • 高可用--Nginx+keepalived
      • 高可用-Haproxy+keepalived
      • 高可用-Lvs+Keepalived
    • Mysql
      • yum命令安装mariadb
      • ubuntu 首次安装mysql修改密码
      • 1、Yum安装MySql
      • 2、源码安装MYSQL5.7.21
      • 3、MYSQL主从冷备
      • 4、MYSQL主主热备
      • 5、Xtrabackup全备增备
      • 6、MYSQL管理员密码修改
      • 7、MYSQL字符集设置
      • 8、MYSQL命令整理
      • 9、MySQL数据导出csv格式
      • 10、MySQL根据日期查询数据的sql语句
      • 11、如何优雅备份MySQL?
      • 12、如何在已有的数据库中无损主主备份?
      • 13、PXC集群
      • 14、TIUP TIDB
      • 15、MySQL8.0锁情况排查
      • MYSQL 配置文件常用配置
      • Mysql 错误报错解决方法
      • 记录生产事故数据库被删
      • 压测 SQL 工具
    • Redis
      • Redis基操
      • Redis-cluster监控部署方案
    • Php
      • PHP项目迁移部署错误
      • 查找linux下进程占用CPU过高的原因,以php-fpm为例
    • Vscode
      • vscode实现远程linux服务器上Python开发
    • Prometheus
      • 使用 TLS 加密 Prometheus API 和 UI 端点
      • 使用基本身份验证保护 Prometheus API 和 UI 端点
      • 黑盒
      • prometheus
      • node-exporter https认证
      • 中文资料地址
      • 告警-微信
      • 告警-钉钉
      • 监控-基础指标
      • 监控-自定义指标
      • 黑盒-blackbox_exporter
      • 监控-平台搭建+邮件报警
      • Prometheus 监控 Redis
      • Prometheus 监控 NGINX
      • Prometheus 监控进程
      • PushGateway 数据上报采集
      • Prometheus 将数据远程写入 InfluxDB 存储
      • 外部Prometheus监控k8s集群资源
      • prometheus-Agent服务注册
      • Prometheus-自动发现监控 AWS EC2
      • Prometheus-黑盒blackbox
      • Prometheus-Pushgateway自定义
      • Prometheus-采集MySQL指标
      • Prometheus-采集Redis指标
      • Prometheus-采集Kafka指标
    • Vue
      • Vite解决开发、生产服务器的自动切换
      • js实现60秒倒计时
      • H5页面实现下载文件
      • loading加载动画
      • Vue如何新建一个项目
      • Vue开发菜单权限与按钮权限管理
      • Vue 错误
      • Vue开发必备插件
      • Vue如何新建一个项目
      • vue-router+nginx 非根路径配置方法
      • vue中配置proxy指定api请求地址
      • vue开发----关于字符串去除空格的方法
      • vue表格中动态更新,动态删除,动态添加
      • 项目
        • 1 01.创建 Vite项目并安装 Vscode 插件
        • 1 02.引入ElementPlus和基本使用
        • 1 03.引入windicss工具库和配置,安装代码提示
        • 1 04.引入vue router4路由配置和404页面捕获
        • 1 05.登录页图标引入响应式开发
        • 1 06.结合@apply实现样式抽离
        • 1 07.登录表单验证处理
        • 1 08.引入axios请求库和登录接口交互
        • 1 09.引入cookie存储用户token
        • 1 10.封装请求拦截器和响应拦截器及工具库
        • 1 11.引入vuex状态管理用户信息
        • 1 12.全局路由拦截实现登录判断
        • 1 13.登录功能完善
        • 1 14.退出功能实现
        • 2 01.全局loading进度条实现
        • 2 02.动态页面标题实现
        • 2 03.后台主布局实现
        • 2 04.公共头部开发 样式布局
        • 2 05.公共头部开发 刷新和全屏
        • 2 06.公共头部开发 修改密码
        • 2 07.封装通用弹框表单组件
        • 2 08.封装组合式api简化代码
        • 2 09.侧边菜单开发 样式布局和路由跳转
        • 2 10.展开和收起菜单功能实现
        • 2 11.菜单选中和路由关联
        • 2 12.根据菜单动态添加路由
        • 2 13.封装标签导航组件实现
        • 页面缓存实现
        • 2 15.transition全局过渡动画
        • 2 16.统计面板组件开发
        • 2 17.数字滚动动画实现
        • 2 18.分类组件开发和跳转
        • 2 19.echarts图表组件开发和交互
        • 2 20.店铺和交易提示组件开发和交互
        • 2 21.v permission指令按钮级权限控制
        • 2 22.封装上传多图组件功能实现
        • 2 23.公告栏模块Curd操作
        • 2 24.封装组合式API特性 列表分页搜索增删改
        • 2 25.封装自定义下拉图标组件
    • Bootstrap
      • jQuery判断数组中是否存在某个值的方法
      • jQuery 判断数组中是否包含某个值
      • jQuery checkbox选中和不选中的值_设置checkbox选中状态
      • BootStrap中关于Select下拉框选择触发事件
    • Zabbix
      • Zabbix_Agent
      • PY发送钉钉通知
      • 部署zabbix脚本
      • SHELL发送邮件
      • NGINX状态监控
      • Zabbix模板
    • CICD
      • Pipeline
        • Docker 容器服务重启
        • Docker 镜像打包发布回滚
      • Jenkins+Ansible-playbook自动发布回滚
      • Jenkins、GitLab部署
      • Docker+Nginx+Jenkins+GitLab实现前端自动化部署
      • Jenkins 版本回滚
      • Jenkins 自动化
      • GitLab
        • GitLab 安装
        • GitLab 不同版本迁移
        • GitLab 如何设置中文
    • Email 自建
      • mailcow
      • iRedMail 更改 Mail 域
      • poste.io
  • 消息队列
    • 消息队列选型
  • ES
    • 监控输出到ES错误日志告警
    • filebeat收集java日志
    • filebeat 快速安装
    • ELK配置之,filebeat更改自定义索引名称
    • ELK-Kafka-Filebeat
    • Docker 部署 3 节点 ES 集群
    • ElasticSearch Python操作
    • ElasticSearch常规操作
    • ElasticSearch 7.7.0(单机版)+ Ik 分词器 + ES-head 可视化插件
    • ES 常见错误
    • Grafana+ES+Nginx
    • ES-自动删除7天前索引日志
  • Ubuntu
    • Linux时间与系统时间相差8小时的解决办法
    • Ubuntu 重启网卡的三种方法
    • Ubuntu 网卡配置为静态方法
  • Java
  • 😘Kubernetes
    • k3s
      • K3s集群安装
      • Longhorn 分布式存储
      • kubesphere 管理界面
    • 常用 YAML 模板
      • external-mysql
      • cluster-nacos
      • cluster-xxl-job-admin
      • cluster-seata
      • singlenode-es
      • singlenode-mysql
      • storage-mysql
      • singlenode-rabbitmq
      • singlenode-redis
      • singlenode-sentinel
    • Rancher
      • Rke集群
      • RKE1.5.7安装集群
    • Etcd
      • Docker-单节点单Etcd部署
      • Docker-单节点多Etcd部署
      • Docker-多节点Etcd部署
      • CronJob资源控制器进行定时备份
      • 生产环境ETCD高可用集群
    • Ceph
      • Docker-单节点,多OSD集群
      • Ansible-ceph集群
      • Docker-ceph集群
    • k8s
      • kubernetes 1.23.6
      • kubesphere
      • 使用kubeadm搭建高可用的K8s集群
      • 使用kubeadm快速部署一个K8s集群
      • Rancher+k3s
      • k3s执行helm命令报错Error Kubernetes cluster unreachable Get “httplocalhost8080versiontimeout=32s“
      • 尚硅谷k8s课堂随笔
      • kubernetes学习随笔
      • 问题
      • k8s清除环境脚本
      • Minikube单机版k8s实验环境
      • 常用中间件快速启动
      • kubeadm单机版k8s测试部署
      • kubeadm生产环节高可用部署
      • 跨VPC网络K8S
        • k8s无法删除namespace
        • 跨VPC网络-工具安装
        • 跨VPC网络-二进制ETCD集群
        • 跨VPC网络-使用 kubeadm 创建集群(v1.24)
        • 部署 metrics-server
      • K8s证书考试
    • Helm
      • Helm 安装 MongoDB-分片集群
      • Helm 安装 MongoDB-副本集群
      • helm 安装 rocketmq
      • helm 安装 MongoDB 集群
      • Helm 安装 Redis 集群
      • Helm 安装 Redis 哨兵主从高可用
      • Helm 安装
      • Helm安装Kafka
      • Helm同时部署多个域名
      • Helm内置对象和摸版语言
      • 如何使用github作为Helm的chart仓库
      • Helm 安装 Kubernetes 监控套件
    • 错误记录
      • kubelet启动报错
  • Go
    • 学习笔记
      • 1、Go环境安装
      • 2、Go目录结构及包管理
      • 3、Go的编译和运行
      • Gin 基础
      • Gin 项目实战
      • Go 基础
      • Gorm 基础
      • Go中&与的区别以及使用
      • myblog
    • 视频切片
    • 面试
      • 灵魂拷问
      • 面试稳了
      • 自己经历的面试问题总结
      • K线、均线、趋势、形态、N型反转
    • 错误
    • 小工具
      • 其他工具列表
      • 性能压力测试小工具 wrk
    • AWS
      • CDN缓存刷新
Powered by GitBook
On this page
  • awk
  • 1、awk 其他用法
  • 2、使用awk匹配用法
  • 3、for 在 awk 中用法
  • 4、if 在 awk 中用法
  • 5、BEGIN END 用法
  • 6、变量在 awk 中用法
  • 7、合并文本两行为一行
  • grep
  • 1、常用命令
  • 2、递归精准查询当前路径下包含 test 的文件及行号
  • 3、递归模糊查询当前路径下包含 test 的文件名
  • 4、递归模糊查询当前路径下包含 test 的文件及行号
  • 5、匹配多个条件
  • 6、统计文件中 test 出现的次数
  • sed
  • 1、常见参数
  • 2、删除操作,!为取反操作
  • 3、插入新行
  • 4、替换操作
  • 5、多个 sed 命令组合
  • 6、引用变量
  • 7、合并文本两行为一行
  • 8、过滤多了200b字符文件
  • linux中sed在指定字符前后添加内容
  • 要求:在1111之前添加AAA,方法如下:
  • 要求:在1111之后添加BBB,方法如下:
  • 要求:(1) 删除所有空行;(2) 一行中,如果包含"1111",则在"1111"前面插入"AAA",在"11111"后面插入"BBB"
  • 要求:在每行的头添加字符,比如"HEAD",命令如下:
  • 要求:在每行的尾部添加字符,比如"tail",命令如下:
  • find
  • 1、根据文件或者正则表达式进行匹配
  • 2、否定参数
  • 3、根据文件类型进行搜索
  • 4、基于目录深度搜索
  • 5、根据文件时间戳进行搜索
  • 6、根据文件大小进行匹配
  • 7、删除匹配文件
  • 8、根据文件权限进行匹配
  • 9、结合 -exec 使用
  • 10、搜索但跳过指定的目录
  • 11、搜索属于空文件,空目录,
  1. centos
  2. Linux基操

awk|grep|sed|find

awk

1、awk 其他用法

awk '!S[$0]++' filename     # 去除文件重复的行
awk 'S[$0]++' filename      # 显示文件重复的行
awk '!S[$1]++' filename     # 去除第一列相同的行
awk '!S[$2]++' filename     # 去除第二列相同的行

awk '{S[$0]++}END{ for(i in S) print i"\t\t"S[i]}' filename   # 去重,并统计每一行出现的次数
awk '{S[$2]++}END{ for(i in S) print i"\t\t"S[i]}' filename   # 去重,并统计第二列字符出现的次数

2、使用awk匹配用法

awk 'NR < 5' filename                                                            # 行号小于5
awk 'NR==1,NR==4 {print}' filename                                               # 打印出来1和4的行号
awk '/linux/' filename                                                           # 包含linux文本的行
awk '!/linux/'                                                                   # 不包含linux文本的行
awk '/stat/, /end/' filename                                                     # 打印处于start 和 end 之间的文本

3、for 在 awk 中用法

netstat -n | awk '/^tcp/ {S[$NF]++} END {for(i in S) print i"\t\t"S[i]}'         # 查看并发请求数及其 TCP 连接状态
netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn                             # 查看tcp连接状态

4、if 在 awk 中用法

ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9                           # 清除僵死进程
chkconfig --list | awk '{if ($5=="3:on") print $1}'                              # 查看系统自启动的服务

5、BEGIN END 用法

awk 'BEGIN{num = 0 ;print "begin";} {sum += $1;} END {print "=="; print sum }'   # 计算第二行的和
awk '{sum += $2} END {print sum }'                                               # 计算第二行的和
awk ' END {print NR}' file                                                       # 统计文件的行数
find / -name *.jpg -exec du -sh {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}' # 统计所有的 jpg 的文件的大小

6、变量在 awk 中用法

var=1000 ; echo | awk '{print vara}' vara=$var                                   # 传递外部变量

7、合并文本两行为一行

awk '{tmp=$0;getline;print tmp"\t"$0}' test.txt

grep

-o 只输出匹配的文本行 VS -v 只输出没有匹配的文本行 -c 统计文件中包含文本的次数 -n 打印匹配的行号 -i 搜索时忽略大小写 -l 只打印文件名 -w 精准匹配 -R 递归 -e 多条件 -A :后跟一个数字(有无空格都可以),例如 A2则表示打印符合要求的行以及下面两行 -B :后跟一个数字,例如 B2 则表示打印符合要求的行以及上面两行 -C :后跟一个数字,例如 C2 则表示打印符合要求的行以及上下各两行

1、常用命令

grep -A2 'str' filename                # 把包含 str 的行以及这行下面的两行都打印出
grep -B2 'str' filename                # 把包含 str 的行以及这行上面的两行都打印出
grep -C2 'str' filename                # 把包含 str 的行以及这行上面和下面的各两行都打印出。
grep -n 'str' filename                 # 过滤出带有某个关键词的行并输出行号 
grep -nv 'str' filename                # 过滤不带有某个关键词的行,并输出行号
grep '[0-9]' filename                  # 过滤出所有包含数字的行 
grep -v '[0-9]' filename               # 过滤出所有不包含数字的行 
grep -v '^#' filename                  # 把所有以 # 开头的行去除 
grep -v -e '^#' -e '^$'  filename      # 去除所有空行和以 ‘#' 开头的行 
grep '^[^a-zA-Z]' filename             # 去除所有以字母开头的行
grep '[^0-9a-zA-Z]' filename           # 去除所有数字以及大小写字母开头的行
grep 'str*' filename                   # 模糊匹配包含 str 的字符

egrep 'str1+|str2+' filename           # 匹配一个或一个以上前面的字符 
egrep 'o?|oo?' filename                # 匹配零个或一个前面的字符 
egrep 'str1|str2|str3' filename        # 匹配多个条件, 类似 grep -e

例如:文件目录

[root@k8s-node02 ~]# tree
├── dir1
│   └── test1.txt
└── dir2
    └── test2.txt

2、递归精准查询当前路径下包含 test 的文件及行号

[root@k8s-node02 ~]# grep -R -n  -w test  .     || grep -rn -w test .                
./dir1/test1.txt:4:test
./dir2/test2.txt:4:test

3、递归模糊查询当前路径下包含 test 的文件名

[root@k8s-node02 ~]# grep -R -l  test . 
./dir1/test1.txt
./dir2/test2.txt

4、递归模糊查询当前路径下包含 test 的文件及行号

[root@k8s-node02 ~]# grep -R -n  test .              
./dir1/test1.txt:1:test1-1
./dir1/test1.txt:2:test1-2
./dir1/test1.txt:3:test1
./dir1/test1.txt:4:test
./dir2/test2.txt:1:test2-1
./dir2/test2.txt:2:test2-2
./dir2/test2.txt:3:test2
./dir2/test2.txt:4:test

5、匹配多个条件

[root@k8s-node02 ~]# grep -R -n  -e test1-1 -e test2-1  .
./dir1/test1.txt:1:test1-1
./dir2/test2.txt:1:test2-1

6、统计文件中 test 出现的次数

[root@k8s-node02 ~]#  grep -c "test" ./dir1/test1.txt   
4

sed

1、常见参数

  • n 取消默认输出(输出所有文本内容),-n只显示处理过的行

  • -i 直接操作文件

  • -f 使用sed脚本

  • -e 连续编辑

  • p 打印匹配的内容,通常与-n一起使用

  • a 追加 < 插入当前行的后面一行 >

  • i 插入 < 插入当前行的前面一行 >

  • c 更改

  • d 删除

  • s 替换

  • p 打印

  • = 打印匹配的行号

  • n 读取下一行

  • r,w 读和写

2、删除操作,!为取反操作

sed '2d' filename             # 删除第2行
sed '2!d' filename            # 删除第2行以外的所有行
sed '1,2d' filename           # 删除第1、2行
sed '2,+1d' filename          # 删除第2行及后面的一行
sed '1~3d' filename           # 从第1行开始,每隔3行删除一行
sed '$'d filename             # 删除最后一行
sed '/^$/d' filename          # 删除空行
sed '/aaa/d' filename         # 删除匹配 aaa 的行
sed '/aaa\|bbb/' filename     # 删除匹配 aaa 或者 bbb 的行
sed '1,10{/aa/d}' filename    # 删除 1~10 行匹配 aa 的行
sed '/aaa/,$d' filename       # 删除匹配 aaa 行到最后一行 
sed '/^#/d;/^$/d' filename    # 删除注释行和空行
sed -i '/[:blank:]*#/d' filename # 删除一个或多个空格加 # 号的行

3、插入新行

# a:插入当前行的后面一行, i:插入当前行的前面一行,  c:更改行
sed 'atest' filename          # 在每一行后面插入 test 行
sed '2atest' filename         # 在第2行后面插入 test 行
sed '2!atest' filename        # 在除了第2行的每一行后面插入 test 行
sed '/hello/atest' filename   # 在匹配行后面插入 test
sed '$atest' filename         # 在最后一行后面插入 test

4、替换操作

sed 's/aaa/bbb/' filename        # 替换所有行中第一个 aaa 为 bbb
sed 's/aaa/bbb/2' filename       # 替换所有行中第二个 aaa 为 bbb
sed 's/aaa/bbb/g' filename       # 替换所有的 aaa 为 bbb 
sed '1,10s/aaa/bbb/g' filename   # 替换第1行~第10行所有的 aaa 为 bbb
sed 's/^[0-9]/(&)/' filename     # 将数字加上一个(), &为匹配到的内容
sed "/ccc/{s/aaa/bbb/g;q}"       # 匹配ccc,并且把含有ccc的行中 aaa 都替换成 bbb, {}里可以执行多个命令,用;隔开即可,q是退出

5、多个 sed 命令组合

sed -e "2d" -e "s/last/new/"     # 删除第二行,并且匹配把last替换成new

6、引用变量

sed -i "s/$old_str/$new_str/" filename
sed -i s/$old_str/$new_str/ filename
sed -i 's#'''$old_str'''#'''$new_str'''#g' file     # 当变量中存在特殊字符/,将/改为#

7、合并文本两行为一行

sed -n '{N;s/\n/\t/p}' test.txt

8、过滤多了200b字符文件

vim查看文件,发现多了<200b>字符,使用/200b搜索匹配不上;

grep 200b 也匹配不上
sed 's/\xe2\x80\x8b//g' inputfile

linux中sed在指定字符前后添加内容

假设文档内容如下:

[root@localhost ~]# cat /tmp/input.txt
null
000011112222

test

要求:在1111之前添加AAA,方法如下:

sed -i 's/指定的字符/要插入的字符&/' 文件

[root@localhost ~]# sed -i  's/1111/AAA&/' /tmp/input.txt                     
[root@localhost ~]# cat /tmp/input.txt                   
null
0000AAA11112222
 
test

要求:在1111之后添加BBB,方法如下:

sed -i 's/指定的字符/&要插入的字符/' 文件

[root@localhost ~]# sed -i  's/1111/&BBB/' /tmp/input.txt    
[root@localhost ~]# cat /tmp/input.txt                   
null
0000AAA1111BBB2222
 
test

要求:(1) 删除所有空行;(2) 一行中,如果包含"1111",则在"1111"前面插入"AAA",在"11111"后面插入"BBB"

[root@localhost ~]# sed '/^$/d;s/1111/AAA&/;s/1111/&BBB/' /tmp/input.txt   
null
0000BBB1111AAA2222
test

要求:在每行的头添加字符,比如"HEAD",命令如下:

[root@localhost ~]# sed -i 's/^/HEAD&/' /tmp/input.txt 
[root@localhost ~]# cat /tmp/input.txt
HEADnull
HEAD000011112222
HEAD
HEADtest

要求:在每行的尾部添加字符,比如"tail",命令如下:

[root@localhost ~]# sed -i 's/$/&tail/' /tmp/input.txt      
[root@localhost ~]# cat /tmp/input.txt                
HEADnulltail
HEAD000011112222tail
HEADtail
HEADtesttail

说明: 1."^"代表行首,"$"代表行尾 2.'s/$/&tail/g'中的字符g代表每行出现的字符全部替换,如果想在特定字符处添加,g就有用了,否则只会替换每行第一个,而不继续往后找。

find

语法: find [路径] [参数] 注:如果不输入路径,查询当前目录!

  • -perm <权限数值>

  • -name 文件名字

  • -iname 忽略文件名的大小写,匹配所有大小写字母

  • -type f文件,d目录,l连接文件,b块设备,c串行端口设备

  • -size 通过文件大小查找

  • -inum 查找 inode

  • -user 指定属主,也可以使用 uid

  • -group 指定用户组,也可以使用 gid

  • -not 查找不满足条件的文件,用在特定的条件之前

  • -o 或者

  • -a 并且

  • -mindepth 指定目录的开始深度

  • -maxdepth 指定目录的最大深度

  • -*time mtime 创建或更改时间;atime 访问时间;ctime文件inode号被修改。

  • -*min mmin ±n,大于小于 n 分钟

  • -mtime +365 创建或更改时间,大于365天的

  • -mtime -10 创建或更改时间,小于10天

  • -atime +365 访问或读取时间,大于365天

  • -atime -10 访问或读取时间,小于10天

1、根据文件或者正则表达式进行匹配

find /tmp -name "aming*"                       # 查找 /tmp 目录下名字为 aming开头的所有文件。
find /tmp -iname abcde                         # 查找 /tmp 目录下包含abcde字母的文件,不区分大小
find /tmp -name "a*" -a -name "*c" -type f     # 搜索 /tmp 目录下以 a 开头并且以 c 结尾的文件, 类似的还有:-a 且  ,  -not 不满足

find /tmp -path "*local"                       # 匹配文件路径或者文件
find /tmp -iregex ".*\(\.txt\|\.pdf\)$"        # 基于正则表达式匹配文件路径

2、否定参数

find /tmp -type f ! -mtime -365                # 列出tmp目录下一年内都没有改变的文件

3、根据文件类型进行搜索

find /tmp -type f -name ".*"                   # 在 /tmp 目录下查找所有的文件。

4、基于目录深度搜索

find /tmp -maxdepth 3 -name "*.txt"            # 搜索出最大目录层级为3的所有txt文件

5、根据文件时间戳进行搜索

find /tmp -type f  -mtime -365                 # 搜索 tmp 目录下,修改时间一年内的文件
find /tmp -not -type f -mtime -365             # 搜索目录下,修改时间一年内,不是文件的其他类型
find /tmp -type f -atime +10                   # 找出访问时间超过10分钟的所有文件
find /tmp -type f -mtime +10                   # 找出修改时间超过10分钟的所欲文件

6、根据文件大小进行匹配

find /tmp -name "*.txt" -size -10k             # 搜索小于10KB的文件
find /tmp -name "*.txt" -size +10G             # 搜索大于10G的文件

7、删除匹配文件

find /tmp -name "*.txt" -size +10G -delete     # 删除目录下所有大于10G的 txt 文件

8、根据文件权限进行匹配

find /tmp -type f perm 644                     # 找出当前目录下权限为644的文件
find /tmp -type f -user test                   # 找出当前目录用户test拥有的所有文件
find /tmp -type f -group test                  # 找出当前用户组test拥有的所有文

9、结合 -exec 使用

find /tmp -name  "*.txt" -user test -exec chown root {} \;

10、搜索但跳过指定的目录

find / -path "./root" -prune -o -name "*local"  # 跳过 root 目录查找 *local* 文件

11、搜索属于空文件,空目录,

find / -empth                                  # 搜索属于空文件,空目录,
PreviousLinux-处理大量的 TIME_WAITNextfind常规用法

Last updated 2 years ago

处理方法见:

http://superuser.com/questions/207207/how-can-i-delete-u200b-zero-width-space-using-sed