go kafka consumer group 使用姿势 2021年4月12日 0浏览 golang 发表评论 概述： kafka消费者、消费者组和消费者位移？ kafka幂等性以及避免重复消费？ go kafka consumer 封装 背景：和producer同样的用途，统计博客网页浏览数据 kafka消费者、消费者组和消费…
go kafka producer 实践与落地 2021年4月12日 0浏览 golang 发表评论 概述 kafka 库 producer config 配置 sync vs async 压缩方式 背景：博客文章想统计访问数据，每日pv/uv/ip数据 分析： 网页浏览数据，主要以写为主 时效性、事务持久要求不高 数据量大…
kafka生产环境配置 2021年4月12日 3浏览 centos 发表评论 安装 zookeeper 下载地址: http://zookeeper.apache.org/releases.html#download 解压：tar -zxvf kafka_2.12-2.6.0.tgz 运行：./bin/zkServer.sh --config conf start --config 指的是…
go json 解析小技巧 2021年4月12日 0浏览 golang 发表评论 omitempty 字段为空时( 空指针, 空接口, 空数组, slice, map, or string.)，json encode时不返回该字段 type person struct { Name string `json:"name,omitempty"` Age int `json:"ag…
go time常用方法 2021年4月12日 2浏览 golang 发表评论 时间格式常量 标准 const ( ANSIC = "Mon Jan _2 15:04:05 2006" UnixDate = "Mon Jan _2 15:04:05 MST 2006" RubyDate = "Mon Jan 02 15:04:05 -0700 2006" RFC822 = "02 Jan 06 15:04…
GitLab搭建及配置与日常管理 2021年1月27日 54浏览 gitlab 发表评论 目前市面上比较有名的Git服务提供商，国外有GitHub、BitBucket、GitLab，国内有Coding。 现有的服务商，对于免费的套餐都有一定的限制。比如：GitHub只允许建立免费的开源repository，…
MongoDB的备份与恢复 2021年1月27日 17浏览 mongodb 发表评论 MongoDB的常用命令 mongoexport / mongoimport mongodump / mongorestore 有以上两组命令在备份与恢复中进行使用。 导出工具mongoexport Mongodb中的mongoexport工具可以把一个c…
MySQL高可用主从切换工具replication-manager 2021年1月27日 69浏览 MySQL 发表评论 MySQL高可用工具，一直以来MHA使用的比较多，自从MySQL 引入GTID之后，又出现了Orchestrator以及replication-manager这类新的高可用工具，本文将主要介绍replication-manager的使用方法…
Ceph分布式文件系统集群部署 2021年1月27日 31浏览 ceph 发表评论 Ceph简介 Ceph 文件系统（ Ceph FS ）是个 POSIX 兼容的文件系统，它使用 Ceph 存储集群来存储数据。 Ceph 文件系统与 Ceph 块设备、同时提供 S3 和 Swift API 的 Ceph 对象存储、或者…
编写生产环境中最优的 Dockerfile 2021年1月27日 37浏览 Docker 发表评论 生产实践中一定优先使用 Dockerfile 的方式构建镜像。因为使用 Dockerfile 构建镜像可以带来很多好处： 易于版本化管理，Dockerfile 本身是一个文本文件，方便存放在代码仓库做版本管理…