go kafka consumer group 使用姿势

概述: kafka消费者、消费者组和消费者位移? kafka幂等性以及避免重复消费? go kafka consumer 封装 背景:和producer同样的用途,统计博客网页浏览数据 kafka消费者、消费者组和消费…

go kafka producer 实践与落地

概述 kafka 库 producer config 配置 sync vs async 压缩方式 背景:博客文章想统计访问数据,每日pv/uv/ip数据 分析: 网页浏览数据,主要以写为主 时效性、事务持久要求不高 数据量大…

kafka生产环境配置

安装 zookeeper 下载地址: http://zookeeper.apache.org/releases.html#download 解压:tar -zxvf kafka_2.12-2.6.0.tgz 运行:./bin/zkServer.sh --config conf start --config 指的是…

go json 解析小技巧

omitempty 字段为空时( 空指针, 空接口, 空数组, slice, map, or string.),json encode时不返回该字段 type person struct { Name string `json:"name,omitempty"` Age int `json:"ag…

go time常用方法

时间格式常量 标准 const ( ANSIC = "Mon Jan _2 15:04:05 2006" UnixDate = "Mon Jan _2 15:04:05 MST 2006" RubyDate = "Mon Jan 02 15:04:05 -0700 2006" RFC822 = "02 Jan 06 15:04…

GitLab搭建及配置与日常管理

目前市面上比较有名的Git服务提供商,国外有GitHub、BitBucket、GitLab,国内有Coding。 现有的服务商,对于免费的套餐都有一定的限制。比如:GitHub只允许建立免费的开源repository,…

MongoDB的备份与恢复

MongoDB的常用命令 mongoexport / mongoimport mongodump / mongorestore 有以上两组命令在备份与恢复中进行使用。   导出工具mongoexport Mongodb中的mongoexport工具可以把一个c…

Ceph分布式文件系统集群部署

Ceph简介 Ceph 文件系统( Ceph FS )是个 POSIX 兼容的文件系统,它使用 Ceph 存储集群来存储数据。 Ceph 文件系统与 Ceph 块设备、同时提供 S3 和 Swift API 的 Ceph 对象存储、或者…

编写生产环境中最优的 Dockerfile

生产实践中一定优先使用 Dockerfile 的方式构建镜像。因为使用 Dockerfile 构建镜像可以带来很多好处: 易于版本化管理,Dockerfile 本身是一个文本文件,方便存放在代码仓库做版本管理…