threeperson博客园

菜单

threeperson博客园 IT技术、互联网技术、Java技术分享

所有标签

#标签 #异常 1 #error #音乐 1 #磁盘占用 1 #图片居中 1 #接口异常 1 #logrotate 1 #磁盘挂载 1 #永久免费ssl 1 #日志压缩 1 #灰度 1 #一号多用 1 #shell 2 #永久删除 1 #锁表 1 #锁 #服务治理 1 #跨域 1 #大表 1 #rsync 1 #授权不够 1 #文件切分 1 #mysql8.0 1 #crontab 1 #脚本 1 #devops 1 #网络不通 2 #vpn过滤ip 1 #gitlab 403 1 #配置更新 2 #springboot动态更新配置 1 #confluence 1 #zentao 1 #带宽排查 1 #网络超时 1 #网络延迟 1 #日志采集 1 #日志收集 1 #微信小程序 1 #ssl 1 #二维码采集 1 #puppeteer采集 1 #vscode中文乱码 1 #免费ssl 2 #免费ssl证书, 2 #mysql client 1 #mysql #Halo 0
linux #shell

shell json解析

最近在做一个基于千万级日志数据的汇总统计。由于数据是json结构，用shell脚本处理时，需要从单条数据上同时读取多字段，没找到合适的办法。于是google了一下，找到了[jq](https://stedolan.github.io/jq/manual/)。安装步骤很简单，不再赘述。 ###日志格式

threeperson threeperson 发布于 2019-05-10
linux #shell

shell 按日期分组统计

### 日志解析出日期:UID ``` cat 27.log | awk -F "&" '{ print strftime("%Y-%m-%d",substr($6,11,10))":"substr($3,5,7)}' |sort | uniq | awk -F ":" '{s[$1] += 1}E

threeperson threeperson 发布于 2019-03-30