ThreePerson博客

shell 命令行直接执行ok，但是挂到cron上就无法执行成功。 1:查看/var/log/cron 发现对应的定时任务是调度了，但是紧接着下面有一行提示 ```` sendmail: fatal: parameter inet_interfaces: no local interface ``` 2: /etc/postfix/main.cf ``` #inet_interfaces = localhost #inet_protocols = localhost inet_interfaces = all inet_protocols = all ```

最近在做一个日志备份功能，需要从一台日志服务器上备份系统日志到另外一台机器。于是想到rsync同步工具。 下面写一下安装步骤及使用过程中遇到的一些问题。 ###安装 ``` wget https://download.samba.org/pub/rsync/src/rsync-3.1.3.tar.gz tar -xf rsync-3.1.3.tar.gz cd rsync-3.1.3 ./configure --exec-prefix=/usr/local/rsync make &make install ``` ##配置 ###服务端 rsyncd.conf

awk -F '[][]' '{print $10}' cc.log | sort | uniq -c | wc -l

``` request:app_id=110&method=xxxx&uid=100000&imei=869615043324966&version=1.9.2_57&timestamp=1564588803697 ``` 提取uid和日期 ``` cat 201908.log | awk -F "&" '{print substr($3,5,10)" "strftime("%Y-%m-%d",substr($6,11,10))}' ```

``` echo 'nameserver 8.8.8.8' >> /etc/resolv.conf ```

最近在做一个基于千万级日志数据的汇总统计。由于数据是json结构，用shell脚本处理时，需要从单条数据上同时读取多字段，没找到合适的办法。于是google了一下，找到了[jq](https://stedolan.github.io/jq/manual/)。安装步骤很简单，不再赘述。 ###日志格式 ``` {"h_lang":"zh","h_plat":"1","h_city":"潍坊市","h_akc":"49","pt":"100030","h_prov":"山东省","h_tz":"GMT 08:00","h_did":"8620010133189528","h_loc"

``` #!/bin/bash #日志根目录 log_home=/home/data/logs #应用文件夹目录列表 dir=$(ls -l $log_home |awk '/^d/ {print $NF}') #遍历应用目录列表 for i in $dir do #进入应用目录 cd $log_home/$i #获取24前最有一次改动的日志文件列表 files=$(find . -type f -name "*.log" -mtime +0) #遍历日志文件列表 for j in $files do #去除文件前的"./"字符 file=${j#*/}

### 日志解析出日期:UID ``` cat 27.log | awk -F "&" '{ print strftime("%Y-%m-%d",substr($6,11,10))":"substr($3,5,7)}' |sort | uniq | awk -F ":" '{s[$1] += 1}END{ for(i in s){ print i, s[i] } }' ``` ### 按日期分组，统计每日用户数 ``` //-n:按数字排序 -k 已第二列作为分组 -r：倒叙 -t 已特定字符分组 sort -n -k 2 -r -t : ```

问题描述： 下午四点阿里云发送服务610告警。查看监控发现cpu 内存 网络连接无明显异常。 但是公网流入流出和磁盘IO明显增高。 初步结论： 由于公网流入明显比流出高，断定是有人通过公网上传文件。 定位步骤： 查看指定服务器的最后登录用户 ``` [root@xxxx conf]# last xxx pts/2 xx.xxx.xxx.xxx Tue Feb 26 17:25 still logged in xxx pts/1 xx.xxx.xxx.xxx Tue Feb 26 17:05 still logged in

近日做服务迁移发现nginx日志未做分割，导致日志文件很大。于是查了一下日志分割应用配置。 阿里云ecs默认自带logrotate，logrotate配置目录/etc/logrotate.d。看了一下，nginx对应的logroate 配置是存在的。检查了一下配置，发现nginx检测的目录是/var/log/nginx/*.log。 ``` /var/log/nginx/*.log { daily rotate 100 missingok compress delaycompress notifempty sharedscripts postrotate if