哎呀，我老大写Bug啦——记一次MessageQueue的优化
MessageQueue，顾名思义消息队列，在系统开发中也是用的比较多的一个中间件吧。我们这里主要用它来做日志管理和订单管理的，记得老老大（恩，是的，就是老老大，因为他已经跳槽了）还在的时候，当时也是为了赶项目进度，他也参与开发了，那时候我才刚刚入职，他负责写后端这块，我来了就把他手上的任务接过来了 ...
机器学习web服务化实战：一次吐血的服务化之路
背景 在公司内部，我负责帮助研究院的小伙伴搭建机器学习web服务，研究院的小伙伴提供一个机器学习本地接口，我负责提供一个对外服务的HTTP接口。 说起人工智能和机器学习，python是最擅长的，其以开发速度快，第三方库多而广受欢迎，以至于现在大多数机器学习算法都是用python编写。但是对于服务化来 ...
Windbg分析高内存占用问题
1. 问题简介 最近产品发布大版本补丁更新，一商超客户升级后，反馈系统经常奔溃，导致超市的收银系统无法正常收银，现场排队付款的顾客更是抱怨声声。为了缓解现场的情况， 客户都是手动回收IIS应用程序池才能解决。 这样的后果是很严重的，接到反馈，第一时间想到的是加内存吧，这样最快。但是客户从8G-->1 ...
我是怎么把一个项目带崩的
我是一名项目经理，在过去的四个月里，我把一个项目带崩了（上线后频出问题，用户无法使用）。在最近的几天，我每天都在反思自己，我都在问自己以下几个问题： 1.我做错了什么？ 2.我在其中占有多重的因素？ 以下内容，我将回答以上问题，并在最后说一下我的补救措施。 项目和团队背景 首先给大家说明一下项目背景 ...
使用Istio治理微服务入门
近两年微服务架构流行，主流互联网厂商内部都已经微服务化，初创企业虽然技术积淀不行，但也通过各种开源工具拥抱微服务。再加上容器技术赋能，Kubernetes又添了一把火，微服务架构已然成为当前软件架构设计的首选。但微服务化易弄，服务治理难搞！ 一、微服务的“痛点” 微服务化没有统一标准，多数是进行业务 ...
彼之蜜糖，吾之砒霜——聊聊软件开发中的最佳实践
“描述一个事物，唯有一个名词定义它的概念，唯有一个动词揭露它的行为，唯有一个形容词表现它的特征。要做的，就是用心去寻找那个名词、那个动词、那个形容词……” —— 福楼拜 (Gustave Flaubert) 我想讲个故事。 很久很久以前（一般讲故事都是这样开头吧）， 两个老工程师在一起聊天，谈各自生 ...
Linux的内存分页管理
作者：Vamei 出处：http://www.cnblogs.com/vamei 严禁转载 内存是计算机的主存储器。内存为进程开辟出进程空间，让进程在其中保存数据。我将从内存的物理特性出发，深入到内存管理的细节，特别是了解虚拟内存和内存分页的概念。 内存 简单地说，内存就是一个数据货架。内存有一个最 ...
Identity Server 4 - Hybrid Flow - MVC客户端身份验证
预备知识 可能需要看一点点预备知识 OAuth 2.0 不完全简介: https://www.cnblogs.com/cgzl/p/9221488.html OpenID Connect 不完全简介: https://www.cnblogs.com/cgzl/p/9231219.html 回顾一下O ...
通俗易懂，什么是.NET?什么是.NET Framework？什么是.NET Core?
什么是.NET？什么是.NET Framework?本文将从上往下，循序渐进的介绍一系列相关.NET的概念，先从类型系统开始讲起，我将通过跨语言操作这个例子来逐渐引入一系列.NET的相关概念，这主要包括：CLS、CTS(CLI)、FCL、Windows下CLR的相关核心组成、Windows下托管程序 ...
藏在正则表达式里的陷阱
博主个人独立站点开通啦！欢迎点击访问：https://shuyi.tech 文章首发于【博客园-陈树义】，点击跳转到原文《藏在正则表达式里的陷阱》 前几天线上一个项目监控信息突然报告异常，上到机器上后查看相关资源的使用情况，发现 CPU 利用率将近 100%。通过 Java 自带的线程 Dump 工 ...
你所不知道的日志异步落库
在互联网设计架构过程中，日志异步落库，俨然已经是高并发环节中不可缺少的一环。为什么说是高并发环节中不可缺少的呢？ 原因在于，如果直接用mq进行日志落库的时候，低并发下，生产端生产数据，然后由消费端异步落库，是没有什么问题的，而且性能也都是异常的好，估计tp99应该都在1ms以内。但是一旦并发增长起来 ...
为什么说 Java 程序员到了必须掌握 Spring Boot 的时候？
Spring Boot 2.0 的推出又激起了一阵学习 Spring Boot 热，就单从我个人的博客的访问量大幅增加就可以感受到大家对学习 Spring Boot 的热情，那么在这么多人热衷于学习 Spring Boot 之时，我自己也在思考： Spring Boot 诞生的背景是什么？Sprin ...
从 docker 到 runC
笔者在前文《RunC 简介》和《Containerd 简介》中分别介绍了 runC 和 containerd。本文我们将结合 docker 中的其它组件探索 docker 是如何把这些组件组织起来协调工作的。 Docker 的主要组件 安装 docker ，其实是安装了 docker 客户端、doc ...
从架构特点到功能缺陷，重新认识分析型分布式数据库
本文是分布式数据库的总纲文章的第一部分，列举了三类不同技术方案（MPP/Hadoop/Mesa），主要探讨分析性分布式数据库的发展和技术差异；后续的第二部分则是交易性数据库的一些关键特性分析。Ivan开始计划的分布式数据库是不含分析场景的，所以严格来说本篇算是番外篇，后续待条件具备将以独立主题的方式... ...
【原创】分布式之数据库和缓存双写一致性方案解析
引言 为什么写这篇文章？ 首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作。 但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家存在很大的争议。目前没有一篇全面的博客 ...
【原创】分布式之消息队列复习精讲
引言 为什么写这篇文章? 博主有两位朋友分别是小A和小B: 1. 小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活 ...
.net环境下跨进程、高频率读写数据
一、需求背景 1、最近项目要求高频次地读写数据，数据量也不是很大，多表总共加起来在百万条上下。 单表最大的也在25万左右，历史数据表因为不涉及所以不用考虑， 难点在于这个规模的热点数据，变化非常频繁。 数据来源于一些检测设备的采集数据，一些大表，有可能在极短时间内（如几秒钟）可能大部分都会变化， 而 ...
微服务化的基石——持续集成
本文由 网易云 发布。 作者：刘超，网易云解决方案架构师 一、持续集成对于微服务的意义：拆之前要先解决合的问题 在很多微服务化的文章中，很少会把持续集成放在第一篇，因为大多数的文章都会将如何拆的问题，例如拆的粒度，拆的时机，拆的方式。 为什么需要拆呢？因为这是人类处理问题的本质方式：将一个大的复杂问 ...
在 .NET Core 中使用 DiagnosticSource 记录跟踪信息
前言 最新一直在忙着项目上的事情，很久没有写博客了，在这里对关注我的粉丝们说声抱歉，后面我可能更多的分享我们在微服务落地的过程中的一些经验。那么今天给大家讲一下在 .NET Core 2 中引入的全新 DiagnosticSource 事件机制，为什么说是全新呢？ 在以前的 .NET Framewo ...
阿里云ECS的CPU100%排查
一、背景和现象 初创公司，架构lanmp，web前端和后端分开服务器，业务驱动主要是nginx和apache，nginx主要是处理静态文件和反向代理，前后端、搜索引擎、缓存、队列等附加的服务都是用docker容器部署。因为比较初级，上传文件和采集文件都是直接写在硬盘上，涉及到的目录共享，就在其中一台 ...
