刷新
读数据架构知识体系指南08架构设计会议

博主头像 1. 架构设计会议 1.1. 架构设计会议是由技术专家主导,业务和技术利益相关者共同参与的结构化讨论 1.1.1. 其核心目的在于为特定的商业机会定义并规划收集数据解决方案的高层设计 1.2. 第一次架构设计会议是架构过程的开始,并将引发更多的讨论(很可能包括其他ADS)​,以支持数据解决方案项目 ...

Redis慢日志治理

博主头像 Redis慢日志治理 背景简述 某次生产超时排查中,发现集群里已有不少慢日志。慢命令会阻塞 Redis 主线程,偶发超时若不治理,后续可能波及更多其他应用,因此做专项治理。 治理目标 生产环境每日慢日志数量降低 90%+ 杜绝再因慢命令出现 Redis 超时 治理方案 整体闭环:建基线 → 分类定位 ...

P12960 毒药 题解

博主头像 P12960 毒药 题解 \(n\) 瓶毒药、\(n\) 瓶解药排成一排,初始血量 \(0\)。喝 A 血量 \(+1\);喝 P 时若血量 \(=0\) 则死,否则 \(-1\)。可任选若干瓶任意交换顺序,问有多少选法能活下来(对 \(10^9+7\) 取模)。 观察性质 打暴力可以发现:对固定的 ...

RAG 找答案,Wiki 长知识

博主头像 RAG 找答案,Wiki 长知识 我们之前给客户做过一个背调系统方案。用 RAG 查企业材料,自动生成背调报告。听起来很成熟,检索加生成,标准管线。 报告出来了,版式漂亮,引用齐全,语气笃定。 不过,财务数字是错的。营业收入、净利润,整段数字对不上材料。有的是编的,有的是把别处的数挪了过来。看起来比 ...

采集系统半夜出故障,该翻哪一页?Runbook 的工程实践

凌晨两点,告警响了:采集全停。我被叫起来,花了四十分钟才搞明白「怎么安全地重启」——没有文档,全靠翻代码和猜。第二天我写了一份 Runbook。之后再出故障,从被叫醒到处理完不超过十分钟。这篇记录采集系统 Runbook 怎么写。 Runbook 是什么 一句话:写给「半睡半醒的自己」的操作手册。每 ...

03-03-架构篇-Runtime加载系统架构

博主头像 本章将深入解析 YooAsset 的 Runtime 端系统架构。Runtime 端是 YooAsset 的运行层,在游戏运行时工作,负责资源的加载、管理、缓存和卸载。Runtime 端是玩家实际使用的部分,其架构设计的优劣直接影响游戏的性能和体验。 ...

CF977E Cyclic Components 解题报告

博主头像 CF977E Cyclic Components 解题报告 题意 第一感觉是并查集,但是不会。 你说得对,但是Tarjan大法好。 考虑暴力Tarjan缩点,满足了联通快这一性质,那环怎么办呢? 题中讲根据定义,一个环至少需要包含三个点,且边数与点数应当是相同的,也就是说对于每个联通快,只要它想变成 ...

CF978C Letters 解题报告

博主头像 CF978C Letters 解题报告 题意 还挺好想的。 相当于把所有宿舍号排到一起,看做是一个楼。 很容易想到前缀和做。 注意到所有查询都单调不减,可以双指针做,即如果这栋楼满足条件,下一个查询能满足的也只能是这栋楼还真是下一栋楼,绝对不可能是下一栋。 如果强势暴力复杂度是\(\mathcal{ ...

读数据架构知识体系指南07大数据

博主头像 1. 大数据 1.1. 构建数据架构的公司数量在21世纪20年代出现了爆炸式增长 1.1.1. 主要原因是现在可用的数据比以往任何时候都多,数据可能来自社交媒体、物联网(IoT)设备、内部应用程序和第三方软件等 1.2. 在整个商业世界,企业都在争分夺秒地建立数据架构 1.2.1. 核心在于,在正确 ...

帮朋友排查了一封“没有图片”的促销邮件,顺手把邮件图片的坑记下来

前几天晚上十点多,一个做跨境电商的朋友突然给我甩来几张截图,语气挺急:他下午刚给客户发了一波新品促销邮件,结果好几个老外回邮件问,为什么里面的产品图全是一个个小方框,什么都看不到。他自己在公司电脑上看着明明是好好的,一口咬定是客户那边网络有问题。 我让他先别急着下结论,把那封邮件转发到我几个不同的邮 ...

03-02-架构篇-Editor打包系统架构

博主头像 本章将深入解析 YooAsset 的 Editor 端系统架构。Editor 端是 YooAsset 的构建层,负责资源收集、依赖分析、资源打包和清单生成等核心功能。理解 Editor 端架构是掌握 YooAsset 构建流程的关键。 ...

tarjan学习笔记

博主头像 主要是因为我tarjan老是写岔,这里总结一下每一个tarjan的模版,只简单讲一下思想。 这个算法在左程云的视频里被称之为“扎口袋算法”,我认为很贴切,具体地,我们对一个图dfs,然后能得到一个dfs树,每一条边就可以分为树边,回边,弃边 树边,递归时下一个节点的dfn==0 回边,递归时下一个节 ...

【赵渝强老师】崖山数据库的控制文件

博主头像 崖山数据库的物理存储结构就是指的YashanDB数据库在硬盘上存储的各种文件,包括:数据文件、联机日志文件、控制文件、归档日志文件、参数文件、告警日志文件、跟踪文件和备份文件等。下面重点讨论一下崖山数据库的控制文件,视频讲解如下: 点击这里查看视频讲解:【赵渝强老师】崖山数据库的控制文件 一个崖山数 ...

采集任务的 API Key 管理:轮换、止损、最小暴露的工程实践

我踩过最惊险的一个坑:一次调试临时把 API Key 写进了脚本里,顺手 git 提交。两天后才发现。对这个接口来说 Key 就是「预付费余额的钥匙」——被人拿去刷,烧的是我的 credits。连夜轮换之后,我把 Key 管理整理成了几条硬规则。这篇记录 Key 管理的工程实践。 四条基本规则 一个 ...

读数据架构知识体系指南06数据处理

博主头像 1. 主数据管理 1.1. 存储数据只是解决问题的一部分 1.2. 主数据管理(MDM)可以理解为一套技术、工具和流程,使用户能够创建和维护一致且准确的主数据列表 1.3. 涉及从内部和外部数据源及应用程序中为业务中的每个人、地点或事物创建单一的主记录 1.4. 可以使用这些主记录来构建更准确的报告 ...

CF999E Reachability from the Capital解题报告

博主头像 CF999E Reachability from the Capital 题面 中文题面 校内想了半天并查集,很显然并查集只能搞无向的,这个连加边都是有向的,而且并查集会把链给合并,显然不对。 然后注意到,我们可以先从源点跑bfs,对所有本身已经可以从源点到的都打上标记,即vis[x] = true ...

123···100>