w h y ? y o u a r e h e r e ?

##Flink计算模型 标准 流处理的计算模型 应该如此有一条数据进入第一个节点,节点1处理后立马放入缓存中,节点2看见缓存中有数据,立马执行节点2的操作 标准 批处理模型 应该如此有一条数据进入第一个节点,节点1处理后立马放入缓存中,节点2等待缓存中有指定个数的数据后,节点2才开始执行 实现 ...
阅读全文 »

常用命令Gradle 生成的 build文件夹 类似于 Maven的 target wrapper命令的用处在我们的 gradle-> wrapper ->wrapper.properties 有如下123456distributionBase=GRADLE_USER_HOMEdis ...
阅读全文 »

HDFS 适合于 一次写入 多次读取 数据是存储在 RegionServer中 RegionServer内部有一个 HLog 有一个叫做 WAL 的技术(write ahead log WAL) namenode 是丢了就丢了 但是数据库中不能这么干 HLog 先在本地写 写完H ...
阅读全文 »

redis 常用命令Redis的基本数据类型 String 最大能存储512M Hash (hmset hget) List Zset Set HyperLogLog 存储日志 Geo 存地理位置信息 Redis单线程为何这么快一般可以支持 100000+ QPS (query per s ...
阅读全文 »

首先我们需要对 nutch-site.xml 的添加 agent1234<property> <name>http.agent.name</name> <value>blah</value></property> 下面是nutc ...
阅读全文 »

机器学习的算法分类一般来说 可以分为两大类 监督学习 (预测)(监督学习可以分为三类) 分类 K-近邻算法,贝叶斯分类,决策树与随机森林,逻辑回归,神经网络 回归 线性回归、 岭回归 标注 隐马尔科夫模型123分类:训练目标值是离散型 类似将一个文章进行分类,这个文章是 科技的还是体育的 ...
阅读全文 »

HDFS 适合于 一次写入 多次读取 数据是存储在 RegionServer中 RegionServer内部有一个 HLog 有一个叫做 WAL 的技术(write ahead log WAL) namenode 是丢了就丢了 但是数据库中不能这么干 HLog 先在本地写 写完H ...
阅读全文 »

Spark 学习Spark 相当于是一个虚拟机 Spark RDD Resilient Distributed DatasetRDD 是一个类RDD 的弹性 存储的弹性: 内存和磁盘的自动切换容错的弹性: 数据丢失的可以自动恢复(当数据丢失的时候,spark可以从数据的源头重新将数据计算回来) ...
阅读全文 »

打印的方法123456789101112131415161718object printDemo { def main(args: Array[String]): Unit = { var str1: String = "hello" var str2: Strin ...
阅读全文 »