运维体系建设思考-稳定性篇

前言 工作以来一直在做运维平台相关的研发工作,最近计划总结下对运维体系建设的思考,总结出一个通用模型,后续持续迭代,欢迎一起探讨交流。运维的工作主要有三个方向,稳定性、效率、成本,本篇是第一篇,稳定性篇。 下面开始正文 概述 运维工作的核心目标是保障线上业务可以稳定的运行,降低故障发生次……

阅读全文

企业监控平台建设-需求分析篇

前言 工作以来一直在做监控平台相关的工作,最近计划写一系列文章总结下对企业监控平台建设的思考,本文是第一篇 需求分析 产品设计 架构设计 模块设计 运维 运营 下面开始正文 确定目标 在做任何事情的之前,我们要先思考做这件事情的意义和价值。企业为什么需要监控平台呢?公司的首要目标是创造利润,创造利润……

阅读全文

职业思考:深度工作

什么是深度工作 首先说说一下什么是深度工作,《深度工作》一书的作者给出了如下定义: 深度工作:在一段时间内,在无干扰环境中,全神贯注、心无旁骛地进行高强度工作,使个人的认知技能达到极限。这种努力能创造价值,提升技能,而且难以复制 为什么要深度工作 为什么要深度工作呢,因为这种工作方式存在……

阅读全文

Urlooker:Web 可用性监控系统

分享下最近写的 url 监控 项目 urlooker,监控web服务可用性及访问质量,采用go语言编写,易于安装和二次开发

Feature

  • 返回状态码检测
  • 页面响应时间检测
  • 页面关键词匹配检测
  • 自定义Header
  • GET、POST、PUT访问
  • 自定义POST BODY
  • 检测结果支持向open-falcon推送
……

阅读全文

Go Web开发脚手架 Toruk

使用golang开发项目也有一年时间了,也开发了一些web的项目,把项目中一些第三方库抽离出来,整理了一个go web开发脚手架,Toruk主要包括一下几个部分:

  • 路由:github.com/gorilla/mux
  • 渲染模板:github.com/unrolled/render
  • Cookie封装:github.com/gorilla/securecookie
  • 中间件:github.com/codegangsta/negroni
  • 上下文传输:github.com/gorilla/context
……

阅读全文

企业级监控系统设计实践(三)数据转发

插件

上节讲了关于机器指标的采集,本节讲一下业务数据的采集,业务数据其实我们做的主要就是制定规范,告诉用户按照什么样的数据格式上报数据

根据经验,数据格式主要需要下面几个指标

  • metric 告诉监控系统数据项是什么
  • value 指标的数值
  • endpoint 上报数据的来源
  • tag 形式为a=b,通过tag可以匹配一批数据
  • timestamp 上报时间
  • step 上报间隔
……

阅读全文

企业级监控系统设计实践(二)数据采集

数据采集

收到数据采集,那我们主要需要哪些数据呢?

  • 机器的状态,cpu,内存
  • 业务自己产生的数据,如qps等
  • mysql,redis等开源软件自身的状态数据

上面的数据大致可以分为两类:

  • 机器指标
  • 业务数据

采集方式也有两种:push和pull 当agent数量非常庞大时,如果采用pull的方式,server端需要保持大量的链接,非常消耗性能,所以我们采用agent push数据的方式

……

阅读全文

企业级监控系统设计实践(一)

背景

从公司产品上线的那一天就开始需要运维,而监控则是运维中重要的一环,那我们想一下,为什么要监控呢,因为要保证线上服务出问题之后或者即将出问题时能立刻感知,此外有些数据我们想知道它的发展趋势。这其实已经道出了监控的最小功能点: 收集信息,进行处理,发出提醒,数据展示

阶段一:

机器数量:n < 5 假如公司的只有一款产品部署在一台机器,那我们只要写一个监控脚本,收集机器的信息和业务指标,再加一些判断,就完事了

……

阅读全文

小米监控系统falcon优点和缺点

参与开发和维护小米的falcon系统也有挺长时间了,总结一下falcon的一些优点和缺点。如果对falcon不了解,建议先对下这篇文章《open-falcon介绍

先说下具备的优势:

  • 灵活的数据采集,支持自定义数据上报
  • 支持策略模板、模板继承和覆盖
  • 高效的告警判别,支持告警暂停、维护周期设置
  • 组件支持水平拓展
  • 大部分用golang编写,部署相对简单
……

阅读全文

哈里·谢顿的一生

第一次出场时32岁,书中这样描述他 这个时期的哈里・谢顿貌不惊人。他与克里昂大帝一世一样,当年三十二岁,不过他的身高只有一 米七三。 他的脸庞光润,显得喜气洋洋,头发是接近黑色的深褐色,而他的衣着则带着一种一眼就看得出的土气 从书中的描述还是像一个二十几岁的小伙子,充满了活力以及对未来的……

阅读全文