刷新
采集任务也分急诊和体检:任务优先级的工程实践

有天早上排名日报迟到了。查原因:一个 10 万关键词的历史补采任务正在跑,把 worker 全占了,日报任务排在后面干等。「所有任务平等」就是问题本身——日报有人盯着等,补采早跑晚跑没人管。这篇记录采集任务怎么做优先级。 第一步:给任务分级 按「谁在等、等多久能接受」分三级: 级别 任务类型 新鲜度 ...

读数据架构知识体系指南03数据湖(上)

博主头像 1. 数据湖 1.1. 因为传感器、视频和社交媒体等数据源的增加,产生了半结构化和非结构化的数据,所以大数据在21世纪10年代初以前所未有的规模出现 1.1.1. 关系数据仓库*不适合存储这些类型的数据 1.1.1.1. 数据仓库中的数据更加结构化和并且经过处理,就像仓库里的瓶装或包装商品一样 1. ...

Kong学习笔记:命令行工具

本文更新于2026-09-21,操作系统为Debian 12.13 (bookworm),使用Kong Enterprise 3.13.0.1(含OpenResty 1.27.1.2)。 目录kong checkkong configkong config db_exportkong config ...

重拾数据结构(一)找到合适的数据结构之路

博主头像 背景 在过去学习数据结构的时候,往往得不到要领,总会萌生出为什么会有这么多数据结构,都放在数组里不行吗的疑问,今天我简单地列举了几个数据结构,使用这些结构能让我们更轻松地实现业务逻辑。 以前学习的数据结构 数组 在大学里,我们学习了很多数据结构,开始都很好理解,比如数组,队列。在日常生活中都有具体的 ...

Redis 缓存穿透、缓存击穿、缓存雪崩

博主头像 今天我们一起来聊聊 Redis 缓存的三大经典问题,缓存穿透、缓存击穿、缓存雪崩。 缓存是系统的第一道防线,但它有三种典型的 "失守" 场景——穿透、击穿、雪崩。 一、缓存穿透 定义:查询一个根本不存在的数据,缓存里没有,数据库里也没有,每次请求都直接打到数据库。 想象你开了一家奶茶店,顾客来问:" ...

数据生产到智能应用:Apache DolphinScheduler 数仓落地实践

博主头像 随着企业数字化建设不断深入,数据平台正在从传统的数据存储和分析系统,逐渐演变为支撑业务决策、智能应用和数据资产管理的重要基础设施。如何构建稳定、高效、可扩展的数据生产体系,成为企业数仓建设中的关键挑战。 在 Apache DolphinScheduler 9 月 Meetup 分享中,来自社区的技术 ...

离线会议系统唤醒模块的工程优化——从1.2秒延迟到0.5秒以内

博主头像 一、为什么离线唤醒比想象中难 做过端侧语音的同行应该都有体会:云端唤醒可以靠算力硬扛,但一旦切换到纯本地部署,算力、功耗、响应速度三重约束会同时收紧。 离线唤醒是人机交互的第一道门槛。用户说出一句唤醒词,系统需要完成声学特征提取、模型推理、置信度判定三个步骤,然后在极短时间内给出响应。如果延迟超过1 ...

把同一篇文章发到公众号、知乎和博客后,我再也不手动传五遍图了

我有个坚持了挺久的习惯:一篇稍微像样的技术文章,写好之后会同步发到好几个地方——微信公众号、知乎,还有我在博客园和其他平台的博客。听起来只是多复制几次的事,但真正耗掉我时间、也最容易出岔子的,从来不是文字,而是配图。 一、最初那个笨办法:一张图传五遍 最早我是这么干的:文章在本地写好,截图也都在桌面 ...

基于 LlamaIndex 实现 Hybrid‑RAG 召回指南

博主头像 前文《基于 LlamaIndex+PostgreSQL 实现 RAG 持久化》已完成向量数据库持久化部署,并封装了 RAGService 基础检索服务,解决了 RAG 系统的向量存储与索引持久化核心能力。但单纯依赖基础向量检索,普遍存在语义漂移、关键词精准匹配能力弱、场景适配性差等工业落地问题,难以... ...

数据融合平台怎么选:批流一体、实时同步与数据质量的 7 个维度

一篇关于数据融合平台选型的独立分析。不写通稿,只说真话。 阅读时间:约 11 分钟 | 标签:#数据融合平台 #数据集成 #数据治理 #国产数据库 做数据的人最头疼的,往往不是没有数据,而是数据太多、散在各处、口径还对不上。 一个业务指标,销售一套数、财务一套数、生产系统又是第三套数,谁也说不好哪个 ...

搜索数据怎么建模?从「一坨 JSON」到可查询的数据模型

我最早存搜索结果的方式特别粗暴——整个 JSON 响应塞进一个 TEXT 字段,用的时候再解析。前两周很爽,第三周开始痛:查「某个关键词排第几」要写 JSON 函数,查「某站点的排名趋势」要全表扫。后来花了一天把数据模型重做,查询从「写不出来」变成「一条 SQL」。这篇记录搜索数据建模的思路。 为什 ...

《DNESP32P4开发指南_V1.0》第五十一章 LVGL 综合例程

博主头像 第五十一章 LVGL 综合例程 本章,简单的介绍一下DNESP32P4开发板的 LVGL 综合例程。需要说明一下的是:本例程是一个不完整的例程。因为该例程只是实现一个基于 LVGL 的 GUI 界面,里面的 APP基本没有实现功能,所以这只是给大家参考的 GUI demo。 本章将分为如下 2 个小 ...

02-06-原理篇-热更新与版本管理

博主头像 热更新是 Unity 游戏开发中的重要技术,它允许开发者在不重新发布安装包的情况下,更新游戏资源。本章将深入解析热更新和版本管理的原理和方法,结合 YooAsset 的实际实现进行详细说明。 ...

<1···456···100>