自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

杨鑫newlife的专栏

算法就是我的灵魂

  • 博客(11)
  • 资源 (187)
  • 论坛 (1)
  • 收藏
  • 关注

原创 深入浅出 Otter与Canal

第一、Otter基于数据库增量日志解析,准实时同步到本机房或异地机房的Mysql/Oralce数据库,一个分布式数据库同步系统;基本工作原理图如下: 基于Canal开源产品,获取数据库增量日志数据; 典型管理系统架构,manager(WEB 管理) + node(工作节点) manager运行时推送同步配置到node节点; ...

2020-02-28 20:54:20 953

原创 Linux Shell实现判断文件大小并清空文件内容

这里我设置的阈值是10G(可以自行修改)#!/bin/bashif [ `/bin/ls -lt /xxxx/canal.log | head -1 | /bin/awk '{print $5}'` -gt $((1024*1024*10)) ]then echo > /xxxx/canal.logfils *.log | xargs -I x -n 1 sh -c ...

2020-02-27 17:55:32 741

原创 Linux清空目录下多个文件

ls /data_file/*.log | xargs -I x -n 1 sh -c "echo > x"

2020-02-27 17:52:46 530

原创 grep搜索文件内容和grep搜索.gz压缩文件的内容

这里我们以搜索8723183为例 grep搜索压缩文件的内容 gzip -dc ./文件名.gz | grep “8723183” grep模糊搜索 gzip -dc ./*.gz | grep “8723183” 搜索非压缩文件 grep -rin “8723183” ./文件名.log...

2020-02-26 16:17:15 6654 1

原创 Linux下Centos查看文件的前几行和最后几行

可以使用head(查看前几行)、tail(查看末尾几行)两个命令。例如:查看/etc/profile的前10行内容,应该是:# head -n 10 /etc/profile查看/etc/profile的最后5行内容,应该是:# tail -n 5 /etc/profile如果想同时查看可以将前10行和后5行的显示信息通过输出重定向的方法保存到一个文档,这样查看文档即可一目了然。例...

2020-02-26 14:52:15 1771

原创 Java实现MapReduce处理离线日志文件

Main函数 这里的四个传入参数分别为 日志文件路径 输出数据路径(HDFS) 表名 产品名称 package xxxxx;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritabl...

2020-02-25 21:29:11 229

原创 大数据之路、阿里巴巴大数据实践读书笔记 --- 第四章、离线数据开发

阿里巴巴的数据计算层包含两大体系: 数据存储以及计算平台 离线计算平台MaxCompute 实时计算平台StreamCompute 数据整合以及管理平台 OneData 研发岗位的大致包括为: 了解需求 模型设计 ETL开发 测试 发布上线 ...

2020-02-23 01:49:01 383

原创 JAVA线程学习(二)

共两个类:第一个:package com;//军队线程//模拟作战双方的行为public class ArmyRunnable implements Runnable {//volatile保证了线程可以正确的读取其他线程写入的值//可见性volatile boolean keepRunning = true;@Overridep

2020-02-21 16:10:52 1064

原创 Mac 中使用 iterm2 上传下载文件

配置rz、szbrew install lrzsz //可能会因为网络原因无法安装下载iterm2-zmodem,可以按下面的方式在线下载,也可以到https://github.com/mmastrac/iterm2-zmodem下载cd /usr/local/binwget https://raw.github.com/mmastrac/iterm2-zmode...

2020-02-21 16:09:30 1320

原创 Python实现接收企业微信接收消息

想接收企业微信的消息,首先得开启验证信息API(GET请求)以及接收消息服务(POST请求)。GET的请求参考:企业微信验证接口API第一部分解析POST请求:并且解析msg_signature, time, nonce和消息体数据Body(如下代码中POST的部分)@app.route('/blackcat/v1/receive_task', methods=['POST',...

2020-02-19 17:02:25 4572 4

原创 Error: java.io.IOException: SQLException in nextKeyValue&SELECT command denied to user 'xxxxx'@'xxxx

报错信息如下:Error: java.io.IOException: SQLException in nextKeyValueat org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277)at org.apache.hadoop.mapred.MapTask$NewTr...

2020-02-11 23:17:58 1320

Python3实现KNN的三个例子(包含数据集),水果分类,识别手写数字,找相似的朋友

Python3实现KNN的三个例子(包含数据集),水果分类,识别手写数字,找相似的朋友

2019-03-06

demjson-2.2.4

demjson-2.2.4很好用,适合于python操作json使用。

2016-08-02

软件开发文档模板[全套]

软件开发文档模板[全套]

2017-04-07

ElasticSearch中文文档(新版)

ElasticSearch中文文档(新版)

2017-06-23

_bz2.cpython-36m-x86_64-linux-gnu.so

_bz2.cpython-36m-x86_64-linux-gnu.so,

2019-11-07

AzkabanAPI接口文档汇总

AzkabanAPI接口文档汇总

2018-09-26

ACM学习路线导图

ACM学习路线导图

2018-11-14

数据仓库规范设计.pdf

数据仓库规范设计.pdf

2019-11-04

Confluence-5.6.6-language-pack-zh_CN.jar

Confluence-5.6.6-language-pack-zh_CN.jar,防止confluence乱码的jar包

2018-09-30

KNN实现水果分类的数据集

KNN实现水果分类的数据集KNN实现水果分类的数据集,KNN实现水果分类的数据集,KNN实现水果分类的数据集

2019-10-17

cyrus-sasl-plain-2.1.26-20

cyrus-sasl-plain-2.1.26-20,用于安装sasl。

2016-10-08

哈希算法C语言实现

哈希算法C语言实现

2016-02-17

机器学习算法-神经网络LSTM

机器学习算法-神经网络.pptx

2019-09-21

easygui-0.96.tar.gz

easygui-0.96.tar.gz 在linux下的使用,很好用,有需要的自己去下载吧。

2016-06-09

pandas-0.19.2.tar.gz

pandas-0.19.2.tar.gz 用于开发操作数据分析等

2017-02-21

openpyxl-openpyx

openpyxl 挺好用的一个lib包,需要自己进行编译。

2016-09-09

jsp实现购物车

这个使用jsp实现的购物车代码,和我上次上传的servlet实现的购物车正好行对应,适合新手学习。

2015-03-25

C语言实现prim算法

C语言实现prim算法

2015-08-12

Griffin数据质量管理技术调研.pdf

Griffin数据质量管理技术调研.pdf

2019-12-09

Azkaban元数据库分析

Azkaban元数据库分析,

2018-09-19

Presto资源管理Rest API 文档

Presto资源管理Rest API 文档

2018-12-01

easygui-docs-0.96.zip

easygui-docs-0.96.zip,在windows下的文档说明,很好用!

2016-06-09

java连接DB2所有jar包

java, python等通过jdbc连接DB2数据库的连接jar文件集合。

2017-02-14

C语言实现银行模拟-数据结构应用

C语言实现银行模拟-数据结构应用,很好用,有需要的来下载。

2016-03-28

基础算法 - 动态规划-2019-08-01.pptx

基础算法 - 动态规划-2019-08-01.pptx,基础算法 - 动态规划-2019-08-01.pptx,基础算法 - 动态规划-2019-08-01.pptx,基础算法 - 动态规划-2019-08-01.pptx

2019-10-17

C语言实现链式队列

链式队列

2015-09-08

C语言实现循环队列

C语言实现循环队列

2015-09-08

中文停用词表

中文停用词表,很好用,找了很久才找到,有需要的去下载就好了。

2016-03-28

完整的VISIO教程.ppt

完整的VISIO教程.ppt

2017-03-23

实时指标计算引擎-Spark-Part_1_杨鑫_2019-12-19.pptx

实时指标计算引擎-Spark-Part_1_杨鑫

2019-12-19

开源SuperSet、MetaBD、Redash简单对比

开源SuperSet、MetaBD、Redash简单对比

2020-07-22

servlet-api.jar && jsp-api.jar

servlet-api.jar && jsp-api.jar

2015-03-13

Python对Excel操作详解

Python对Excel操作详解,很好用,里面有xlrd, xlwt怎么使用。

2016-09-13

C语言实现串存储

C语言实现串存储

2015-09-08

Apache Kylin竞品分析.pdf

Apache Kylin竞品分析.pdf

2019-11-18

宽依赖与窄依赖

宽依赖与窄依赖,很好用的PPT,对于spreak的宽依赖与窄依赖很清楚,分享给有用的朋友。

2016-05-06

英文停用词表Stop

英文停用词表Stop,很好用,有需要的去下载

2016-03-29

Hive编程指南

Hive编程指南 pdf,内容很不错适合入门hive编程的朋友。

2017-09-13

mongodb-linux-x86_64-3.4.6

mongodb-linux-x86_64-3.4.6,很好用的客户端,请下载使用。

2017-10-17

串的块链存储表示

串的块链存储表示

2015-09-08

杨鑫newlfe的留言板

发表于 2020-01-02 最后回复 2020-04-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除