自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

杨鑫newlife的专栏

算法就是我的灵魂

原创 数据仓库Build The Data Warehouse(William H.Inmon)学习笔记目录

Inmon是经典的范式建模大师,该笔记目录是 数据仓库Build The Data Warehouse(William H.Inmon) 的学习笔记,内容包含书内的经典干货、随手结合实际经验的笔记心得;有相关的数据仓库建模问题可以私聊我讨论,互相学习! --- 文章持续更新中!--- ...

2020-07-16 15:44:41 245 0

原创 设计模式学习笔记汇总目录

这里的的学习笔记包含JavaSE和J2EE两部分,持续更新中! 其中关于学习的参考资料如下: 1.菜鸟设计模式 2.Head First Design Patterns(书、强烈推荐); 3.大话设计模式(书、适合入门); 相关的代码下载:GitHub源码 设计模式学习笔记 ---...

2020-04-28 21:08:53 244 0

原创 大数据之路、阿里巴巴大数据实践读书笔记目录

该系列持续更新中: 第一章: 大数据之路、阿里巴巴大数据实践读书笔记 --- 第一章、总述 第二章: 大数据之路、阿里巴巴大数据实践读书笔记 --- 第二章、日志采集 第三章: 大数据之路、阿里巴巴大数据实践读书笔记 --- 第三章、数据同步 ...

2020-01-12 02:09:19 798 0

原创 送给订阅我专栏同学们一封信

非常感谢大家来订阅我的专栏,最早开始写博客是由于为了记笔记, 大学时期打ACM,玩C/C++, 毕业之后从事大数据 + 机器学习。 后来逐渐变成了把自己做过的每一次项目实战的问题, 技术调研、开发技能等都记录下来,到现在形成了简单的部分规模专栏。 因此大家在看的时候有些文章可能不太具体,...

2020-01-05 19:55:40 982 1

原创 LeetCode --- 860. Lemonade Change 解题报告

At a lemonade stand, each lemonade costs$5. Customers are standing in a queue to buy from you, and order one at a time (in the order specified bybil...

2020-11-29 21:51:18 18 0

原创 数据工程师的开发自检素养

一、简述 在日常的快速开发和项目迭代工作中,我们通常以结果为导向开发完成各种需求,也处理各种上线前后的Bug。虽然目前有很多的自动化数据质量监测和检测工具,但对于自己开发产出的数据做自检是一个有素养的数据工程师必备的好习惯。我们通过自己的人肉质检可以在测试或预发环境以及上线前解决一些肉眼可...

2020-11-29 21:24:12 34 0

原创 脏数据清洗实践方案

一、概述 无论对于数据仓库/数据湖/数据中台,都会存在大量的脏数据,当我们在使用一张数据表时,发现其中出现大量的重复数据,活着其中的字段信息对应错误,原本ID:101 对应的name时YY,但实际存储的是XX,这种脏数据的场景就不举太多例子了肯定很常见。那么我来总结一个解决方案。 ...

2020-11-22 12:44:26 72 0

原创 理解多租户与多用户

多租户 租户是一个团队/组的概念,租户当中可以加入不同的成员,每个成员都可以在租户里创建自己的应用,在应用中可以选择、创建、串联各种不同的服务(通用/模型/规则/第三方服务)去服务一个具体业务场景,以及对各类在线服务的管理监控,成熟的应用将沉淀一个业务解决方案,快速复用到相似的业务...

2020-11-15 13:10:19 58 0

原创 数据中台学习笔记 --- 实战中的中台总结

关于中台的概念铺垫请参考前几篇的介绍: 中台一 中台二 本篇主要叙述一下实际的中台是什么? 我们日常总听到的数据中台、业务中台、运营中台其实是跟我们所在的部门、事业部、事业群一样,都是人/数据/应用的集合; 对于大厂来说由于业务/数据快速发展到那一定成度,不是一个简单的数据仓...

2020-11-12 23:46:57 73 0

原创 准确率、精确率、召回率、F1(F-Measure)都是什么?

机器学习ML、自然语言处理NLP、信息检索IR等领域,评估(Evaluation)是一个必要的工作,而其评论价值指标往往有如下几点: 准确率 Accuracy; 精准率 Precision; 召回率 Recal; F1-Measure...

2020-11-10 23:41:43 78 0

原创 LeetCode --- 859. Buddy Strings 解题报告

Given two stringsAandBof lowercase letters, returntrueif you can swap two letters inAso the result is equal toB, otherwise, returnfalse. Swapping le...

2020-11-08 23:53:43 90 0

原创 数据仓库Build The Data Warehouse(William H.Inmon)学习笔记 --- 第十章、数据仓库的设计复查要目

零、简介 在操作性环境中确保质量的最有效的方法之一是设计复查。通过设计符复查可以检测到各种错误,并在编码之前更正这些错误,能得到很大的好处; 在操作型环境中,设计复查通常是在一个应用的物理设计完成以后进行的。操作型设计复查所围绕的中心问题的类型有以下这些: ...

2020-11-02 00:48:19 63 1

原创 数据仓库Build The Data Warehouse(William H.Inmon)学习笔记 --- 第九章、迁移到体系结构设计环境

介绍 迁移到体系结构设计的数据仓库环境中的过程,是一个逐步的,每次只需要完成有限的可提交的迁移工作。实现的最为成功的体系结果设计环境,是那些每次一遍的方式建立的数据仓库环境。 这样建立数据仓库只需要最少的人力资源,对现存应用环境造成的破坏也必定是最小的。对这种重复的...

2020-10-19 23:29:06 51 0

原创 数据仓库Build The Data Warehouse(William H.Inmon)学习笔记 --- 第八章、外部数据/非结构化数据与数据仓库

零 大部分组织是以现有系统为来源的数据(即企业的内部数据)上建立第一个数据仓库。在绝大部分情况下,从现有的系统抽取的数据为内部结构化数据。数据来自于企业内部,并且数据已经被换成一种规则的格式; 数据仓库式存储外部与结构化数据的理想场所。如果外部数据与非...

2020-10-13 23:56:36 203 0

原创 LeetCode --- 852. Peak Index in a Mountain Array 解题报告

Let's call an arrayarramountainif the following properties hold: arr.length >= 3 There exists someiwith0 < i< arr.length - 1such that...

2020-10-06 13:31:21 105 1

原创 LeetCode --- 844. Backspace String Compare 解题报告

Given twostringsSandT,return if they are equal when both are typed into empty text editors.#means a backspace character. Note that afterbackspacing ...

2020-09-27 00:33:01 73 0

原创 LeetCode --- 840. Magic Squares In Grid 解题报告

A 3 x 3 magic square is a 3 x 3 grid filled with distinct numbersfrom 1 to 9such that each row, column, and both diagonals all have the same sum. Gi...

2020-09-01 00:36:52 144 0

原创 数据仓库Build The Data Warehouse(William H.Inmon)学习笔记 --- 第七章、高级管理人员信息系统和数据仓库

零、简述 先说说DSS和EIS区别 DSS 更加偏向于大众类的分析系统; EIS 更像是高层/CEO 驾驶舱这种分析系统; EIS-高级管理人员信息系统— 是计算的最有效形式之一。通过EIS,高级管理分析员可以精...

2020-08-22 23:25:13 209 0

原创 LeetCode --- 836. Rectangle Overlap 解题报告

A rectangle isrepresented as alist[x1, y1, x2, y2], where(x1, y1)are the coordinates of its bottom-left corner, and(x2,y2)are the coordinates of its ...

2020-08-21 16:48:24 110 0

原创 LeetCode --- 832. Flipping an Image 解题报告

Given a binary matrixA, we want to flip the image horizontally, then invert it, and return the resulting image. To flip an image horizontally means ...

2020-08-18 11:02:42 99 0

原创 LeetCode --- 830. Positions of Large Groups 解题报告

In a stringSof lowercase letters, these letters form consecutive groups of the same character. For example, a string likeS = "abbxxxxzyy"h...

2020-08-10 11:03:29 114 0

原创 数据仓库Build The Data Warehouse(William H.Inmon)学习笔记 --- 第六章、分布式数据仓库

零、简述 大部分企业建立和维护单一中央数据仓库环境。为什么单一中央数据仓库环境比较流行? 数据仓库中的数据全是企业集成的数据,仅在总部使用集成视图; 数据仓库中的大量数据使数据的单一的集中式存储具有意义; 即使数据...

2020-08-10 00:45:58 126 0

原创 Java实现读取Excel多个Sheet数据

一个Excel中有多个数据Sheet,我们想读取每个Sheet数据内容是,可以使用Java的POI库来处理 因为代码中社交多业务,这里只贴出可执行较核心的代码部分。 import org.apache.poi.hssf.usermodel.HSSFDateUtil; import org...

2020-08-06 11:54:41 1093 0

原创 LeetCode --- 824. Goat Latin 解题报告

A sentenceSis given, composed of words separated by spaces. Each word consists of lowercase and uppercase letters only. We would like to convert the...

2020-08-03 23:37:21 97 0

原创 LeetCode --- 821. Shortest Distance to a Character 解题报告

Given a stringSand a characterC, return an array of integers representing the shortest distance from the characterCin the string. Example 1: Input...

2020-07-31 16:53:07 83 0

原创 LeetCode --- 819. Most Common Word 解题报告

Given a paragraphand a list of banned words, return the most frequent word that is not in the list of banned words. It is guaranteed there is at leas...

2020-07-29 11:28:31 82 0

原创 LeetCode --- 812. Largest Triangle Area 解题报告

You have a list of points in the plane. Return the area of the largest triangle that can be formed by any 3 of the points. Example: Input: points =...

2020-07-28 20:37:51 88 0

原创 Python实现给定多个数组的排列组合

例如给定: [[0, 0], [0, 1], [1, 0], [0, 2], [2, 0]] 我们输出所有三个一组的排列组合的情况 import itertools points = [[0, 0], [0, 1], [1, 0], [0, 2], [2, 0]] for (x1, x2...

2020-07-28 20:25:04 518 0

原创 任务调度工具调研报告 --- Azkaban、Oozie、Airflow、DolphinScheduler

零、结论 这次分别调研了 Azkaban、Oozie、Airflow、DolphinScheduler 从四十多个角度来对比,作为程序员来看我会选择Azkaban来作为调度工具。不仅是为了收集相关元数据,支持复杂的依赖子任务的关系,还有二次开发或者开发对应的插件,以及监控报警等。 但是如果从...

2020-07-28 17:08:27 1302 5

原创 脑暴一分钟 --- 如何让运行的服务更加稳定???

Tips: 以下说法完全是一个想法,未经实践试验????!!! 今天听同事们说起如何让自己的服务更稳定?或者怎么确保自己的服务相对稳定? 其中一个人说可以加监控,服务或者模块宕机后则可以重启,或者可以实现一个守护进程,保证服务的稳定性? 或者可以来两个守护进程; 正常的服务A由守护进程B...

2020-07-23 19:50:05 91 0

原创 LeetCode --- 811. Subdomain Visit Count 解题报告

A website domain like "discuss.leetcode.com" consists of various subdomains. At the top level, we have "com", at the next level, ...

2020-07-23 13:54:25 66 0

原创 LeetCode --- 806. Number of Lines To Write String 解题报告

We are to write the letters of a given stringS, from left to right into lines. Each line has maximum width 100 units, and if writing a letter would c...

2020-07-20 11:17:24 94 0

原创 数据仓库Build The Data Warehouse(William H.Inmon)学习笔记 --- 第五章、数据仓库和技术

零、 在许多方面,数据仓库比数据库需要一系列更简单的技术; 数据仓库中没有联机的数据更新; 只有非常少的一些锁定技术; 而且对于远程处理接口的需求也是最基本的; 一、管理大量的数据 对于数据仓库,第一个...

2020-07-20 10:52:02 133 0

原创 LeetCode --- 804. Unique Morse Code Words 解题报告

International Morse Code defines a standard encoding where each letter is mapped to a series of dots and dashes, as follows:"a"maps to"...

2020-07-17 17:58:39 88 0

原创 数据仓库Build The Data Warehouse(William H.Inmon)学习笔记 --- 第四章、数据仓库中的粒度

零 数据仓库需要解决的一个重要的东西就是数据的粒度; 当数据仓库的粒度确定后,设计和实现的其他问题就会非常容易解决了,相反如果没有合理地确定粒度的话,就会影响其他每个方面; 一、粗略估算 确定合适的粒度级别的起点,是粗略估算数据仓库中...

2020-07-16 14:43:09 125 0

原创 LeetCode --- 796. Rotate String 解题报告

We are given two strings,AandB. Ashift onAconsists of taking stringAand moving the leftmost character to the rightmost position. For example, ifA = ...

2020-07-16 12:56:27 64 0

原创 LeetCode --- 788. Rotated Digits 解题报告

X is a good number if after rotating each digit individually by 180 degrees, we get a valid number that is different from X. Each digit must be rotat...

2020-07-16 01:08:10 71 0

原创 LeetCode --- 783. Minimum Distance Between BST Nodes 解题分析

Given a Binary Search Tree (BST) with the root noderoot, returnthe minimum difference between the values of any two different nodes in the tree. Exa...

2020-07-14 16:40:56 109 0

原创 源码分析 --- Java中ConcurrentHashMap

理解ConcurrentHashMap 一、CAS Compare And Swap 比较并替换,也是用的乐观锁的机制; CAS中有三个基本的操作元素 内存地址 V; 旧的预期值 A; ...

2020-07-14 00:35:51 62 0

原创 LeetCode --- 771. Jewels and Stones 解题报告

You're given stringsJrepresenting the types of stones that are jewels, andSrepresenting the stones you have. Each character inSis a type of ston...

2020-07-13 21:58:47 103 0

提示
确定要删除当前文章?
取消 删除