手上有一个消费Kafka的服务，这个服务每隔一段时间使用SimpleConsumer从kafka集群获取数据。Kafka的版本是0.8.21。今天这个服务一直在报错：SocketTimeoutException。异常信息如下： 从异常信息上
[阅读更多...]-
Kafka java.net.SocketTimeoutException
-
sbt下载加速方案
本来不太想使用sbt，但是公司这边普遍要求使用sbt来进行部署。所以，so！ sbt的语法什么的还好，唯一让人无法忍受的是sbt下载依赖的速度 —— 在国内大环境下实在是慢到了让人抓狂的程度。 要提升sbt下载依赖的速度，方法无非是那么几个
[阅读更多...] -
Java 中文字符按Unicode排序
遇到了一个对包含中文的字符串进行排序的问题。要求按unicode编码对字符串进行排序。 测试字符串数组如下： 按unicode排序的期望结果应该是这样的： 先按java.lang.String类提供的默认比较方案进行实现，大致如下： 结果如
[阅读更多...] -
Kafka报错：Error reading field ‘topics’
在kafka的server.log中发现了如下报错信息： 在StackOverflow上找到了类似的问题。知道报这个错的是因为kafka服务端的版本和kafka客户端的版本不一致导致的。 解决方案很简单： 调整kafka server端版本
[阅读更多...] -
Kafka警告：No checkpointed highwatermark is found for partition
测试环境使用的Kafka出现了点儿问题，服务器被停止，所有的topic日志不知怎的被清空。一番大清洗（清理zookeeper节点、kafka topic log）、重启Kafka、创建分区后发现报了如下的错误： 找了些资料知道了报警的原因。
[阅读更多...] -
Kafka报错：connection reset by peer
在kafka的server.log中发现持续爆出如下错误信息： 查了下原因，是因为kafka的客户端异常关闭，而Kafka仍在向其推送数据导致的。 没有找到太好的解决办法。最后使用了一个笨方法：先停掉所有的生产者和消费者服务，再停掉Kafk
[阅读更多...] -
解决PKIX：unable to find valid certification path to requested target
遇到了“unable to find valid certification path to requested target”这样的问题。 错误详情如下： 从异常信息中可以看到错误是因为找不到证书导致的。 解决方案有两个。 正常的方案当然
[阅读更多...] -
偶尔三省
最近休假在家，但平时琐事太多，难得有敲代码的时间，不过却是一个反思的好时间。在这里记录一些想法。 不要抱怨 这是一个我不自觉会犯的毛病，以后一定要注意。 抱怨本身只能吐出一下自己的郁闷，不过却不能纾解郁闷，对问题本身也无任何裨益。相反的，每
[阅读更多...] -
设计模式讨论可以休矣
多少有些标题党了。首先声明一下，就我个人来说，我对设计模式没有丝毫反感。我反感的是空泛地没有标的地讨论设计模式，或者说言必谈设计模式。 起因是和同事的一次讨论。讨论的过程不便多说，只说下我的观点：只为学习设计模式而学习设计模式是没有意义的，
[阅读更多...] -
Spark堆内存溢出解决记录
最近的工作有很大一部分是在做用户画像。 画像读取的维度bitmap动辄几百MB，甚至存在部分GB级别的。而我们的Yarn集群规模比较小，内存总计只有100多GB。开发调试时遇到最多的问题除了Task not serializable就是he
[阅读更多...]