Kafka的Simple Consumer并不简单。相反的，它是直接在对Kafka的partition和offset进行操作，是一种比较接近底层的方案。 为什么要使用Simple Consumer 使用SimpleConsumer最主要的原
[阅读更多...]-
Kafka Simple Consumer
-
MySQL分区 – 限制
这一节主要说明MySQL中对分区的一些限制和不足。 禁止使用的结构 如下MySQL结构禁止在分区表达式中使用： 存储过程、存储函数、UDF（用户自定函数）或者插件； 已声明的变量和用户变量。 算数运算符和逻辑运算符 分区表达式中是允许使用+
[阅读更多...] -
MySQL分区 – 概述
引言 MySQL的分区方案可以将一个表中的数据分别保存到不同的位置。用户用来分区的规则被称为分区函数。分区函数可以是模运算函数，数值List集合匹配，内置的hash函数或者线性Hash函数。用户可以按照自己的需要选择分区函数，并为分区函数提
[阅读更多...] -
在Ubuntu上安装windows字体
在Ubuntu上安装字体多少有些麻烦，所以以前想安装却总懒得安装。终于找到了一个简单的方法，在这里记录一下。 将windows的字体拷贝到Ubuntu系统内。 在应用中心安装font manager。 打开后点击左下角灰色的小齿轮图标，选择
[阅读更多...] -
Kafka Producer程序示例
这次是要写一个Producer示例程序。使用的kafka版本是0.8.2。开发语言是java。 程序主体是一个Producer类。这个Producer类主要是用来为指定的topic创建消息。 首先需要引入一些支持类： 然后就是定义一些属性来
[阅读更多...] -
java注解2 – 自定义注解
这次创建一个自定义注解StopWatch，目的是用来监控Java方法的执行时间。 注解定义如下： 代码中使用到的几个元注解上一节都有说明。注解定义完成了就可以使用了，下面是一个这个注解的使用案例： 在自定义的注解中使用了两个成员变量：nam
[阅读更多...] -
java注解1 – 元注解
简单整理了一下Annotation相关的内容。 元Annotation就是修饰Annotation的Annotation。 Java有四个元Annotation：@Retention、 @Target、@Documented和@Inheri
[阅读更多...] -
Yarn架构设计
yarn一个基本理念就是将JobTracker的两大主要功能——资源管理和作业调度/监控——分割开来成为两个独立的守护进程。在这个方案里，有一个全局的ResourceManager (RM)和对应每个应用的ApplicationMaster
[阅读更多...] -
Yarn命令
概述 yarn命令是调用的bin/yarn脚本。执行yarn命令时如果不带上参数信息则会打印yarn命令的帮助信息。 yarn命令的用法： yarn有一个命令参数解析框架，可以用来解析通用命令参数以及运行类。命令参数及描述如下表： R
[阅读更多...] -
关于MapReduce6 – 重构WordCount
这里是一个更完整的WordCount实例。在这个实例中使用了很多前面提到的MapReduce框架的特性。 这个实例需要HDFS支持运行，尤其是关于DistributedCache的一些特性。因此，这个实例只能运行于伪分布式或者完全分布式安装
[阅读更多...]