自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

杨鑫newlife的专栏

算法就是我的灵魂

原创 深入浅出 Otter与Canal

第一、Otter 基于数据库增量日志解析,准实时同步到本机房或异地机房的Mysql/Oralce数据库,一个分布式数据库同步系统; 基本工作原理图如下: 基于Canal开源产品,获取数据库增量日志数据; 典型管理系统架构,manager(WEB 管理) + node...

2020-02-28 20:54:20 418 0

原创 Linux Shell实现判断文件大小并清空文件内容

这里我设置的阈值是10G(可以自行修改) #!/bin/bash if [ `/bin/ls -lt /xxxx/canal.log | head -1 | /bin/awk '{print $5}'` -gt $((1024*1024*10)) ] then ec...

2020-02-27 17:55:32 376 0

原创 Linux清空目录下多个文件

ls /data_file/*.log | xargs -I x -n 1 sh -c "echo > x"

2020-02-27 17:52:46 358 0

原创 grep搜索文件内容和grep搜索.gz压缩文件的内容

这里我们以搜索8723183为例 grep搜索压缩文件的内容 gzip -dc ./文件名.gz | grep “8723183” grep模糊搜索 gzip -dc ./*.gz | grep “8723183” 搜索非压缩文件 grep -rin “87...

2020-02-26 16:17:15 3614 0

原创 Linux下Centos查看文件的前几行和最后几行

可以使用head(查看前几行)、tail(查看末尾几行)两个命令。 例如: 查看/etc/profile的前10行内容,应该是: # head -n 10 /etc/profile 查看/etc/profile的最后5行内容,应该是: # tail -n 5 /etc/profile 如果想同时查...

2020-02-26 14:52:15 729 0

原创 Java实现MapReduce处理离线日志文件

Main函数 这里的四个传入参数分别为 日志文件路径 输出数据路径(HDFS) 表名 产品名称 package xxxxx; import org.apache.hadoop.conf.Configuration; import org.apache.hado...

2020-02-25 21:29:11 163 0

原创 大数据之路、阿里巴巴大数据实践读书笔记 --- 第四章、离线数据开发

阿里巴巴的数据计算层包含两大体系: 数据存储以及计算平台 离线计算平台MaxCompute 实时计算平台StreamCompute 数据整合以及管理平台 OneData 研发岗位的大致包括为: 了解需求 ...

2020-02-23 01:49:01 301 0

原创 JAVA线程学习(二)

共两个类: 第一个: package com; //军队线程 //模拟作战双方的行为 public class ArmyRunnable implements Runnable { //volatile保证了线程可以正确的读取其他线程写入的值 //可见性 volatile boole...

2020-02-21 16:10:52 1039 0

原创 Mac 中使用 iterm2 上传下载文件

配置rz、sz brew install lrzsz //可能会因为网络原因无法安装 下载iterm2-zmodem,可以按下面的方式在线下载,也可以到https://github.com/mmastrac/iterm2-zmodem下载 cd /usr/local/bin ...

2020-02-21 16:09:30 835 0

原创 Python实现接收企业微信接收消息

想接收企业微信的消息,首先得开启验证信息API(GET请求)以及接收消息服务(POST请求)。 GET的请求参考: 企业微信验证接口API 第一部分解析POST请求: 并且解析msg_signature, time, nonce和消息体数据Body(如下代码中POST的部分) @app....

2020-02-19 17:02:25 3157 4

原创 Error: java.io.IOException: SQLException in nextKeyValue&SELECT command denied to user 'xxxxx'@'xxxx

报错信息如下: Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.ja...

2020-02-11 23:17:58 760 0

提示
确定要删除当前文章?
取消 删除