• Sticky
    温暖的心

    温暖的心

            
            
    “Proof that Tony Stark has a heart”

                                               To Tony Stark

            
    蓝天白云

  • Sticky
    遥远的太空

    遥远的太空

    人类拍出了黑洞的第一张照片!

    蓝天白云

  • Sticky
    kafka异常

    kafka异常

    这里记录kafka开发使用过程中遇到的问题 1. 远程无法访问kafka在启动之后,只能通过本地访问 修改kafka配置文件里的host,使用真实ip而不可使用localhost或者127.0.0.1 并且在 hosts文件中添加ip hostname的记录例如 12345vim /etc/hosts127.0.0.1 hao# 添加下面一条记录192.168.1.1 hao 在使用开发...
  • Sticky
    kafka调优

    kafka调优

    参考文章:kafka性能调优kafka生产者Producer参数设置及参数调优建议 1. 压缩producer压缩器,目前支持none(不压缩),gzip,snappy和lz4. 商业环境推荐:基于公司物联网平台,试验过目前lz4的效果最好.当然2016年8月,FaceBook开源了Ztandard.官网测试:Ztandard压缩率为2.8,snappy为2.091,LZ4 为2.10 修改...
  • Sticky
    kafka安装

    kafka安装

    Apache Kafka is a distributed streaming platform

    ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services

  • Sticky
    HttpClient的几个参数

    HttpClient的几个参数

    Apache HttpClient的几个重要参数最近在业务中发现一些性能问题,主要是和HttpClient有关的,刚好在这里总结一下。 针对版本号如下: 12345<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</...
  • Sticky
    Shell 中读取文件

    Shell 中读取文件

    shell 有好几种读取文件内容的方法,就像代码一样不同的办法解决同一种问题首先我们创建一个有内容的txt文件 1234cat test.txtaaabbbccc ddd 1.管道管道顾名思义就是将命令像一个管道一样依次执行,上一个命令的结果当做下一个命令的输入 123456#! /bin/shcat test.txt | while read linedo echo $linedo...
  • Sticky
    nifi的简单使用

    nifi的简单使用

    NiFi是一个易于使用、功能强大、操作便利的数据处理data flow系统使用户在处理简单的transfrom时可以不用写很多代码即可操作各种数据流 nifi文档不多,所以需要在使用中不断积累经验 以下是我参考较多的文档 nifi官网,方便查看各种processor的使用方法 Nifi RDBMS to Hive using NiFi 使用nifi做增量,nifi提供了方便的配置来实现...
  • Sticky
    mac下的u盘刻录

    mac下的u盘刻录

    最近工作中需要将一份超大数据导入到新的机器上,那台机器重新添加了磁盘之后需要重新安装系统,于是新工作又来了.下载好了CenOS-7-everything.iso后需要做u盘刻录然后给机器安装新系统 1. 查看u盘盘符diskutil list 查看盘符 1234567891011121314151617181920sh-3.2# diskutil list/dev/disk0 (intern...
  • Sticky
    Tomcat做图片服务器

    Tomcat做图片服务器

    使用Linux做服务器时常常将大量图片存放到某个目录下面而图片往往是某些数据下的一个属性,这些图片一般都要随着他的父节点一起存入数据库中,而在数据库中表示图片的字段存储的并不是该图片所在的绝对路径,而是一段供浏览器可访问的虚拟路径这就需要配置图片服务器使得这些图片可被访问 1.安装Tomcat 下载并解压安装包,配置好Tomcat依赖的JDK环境变量 2.修改文件 在Tomcat根目录下 &...
1234