标签：多线程

2026-07-14andy阅读(13)

并发编程是Java开发中最重要的进阶技能之一。无论是构建高并发的Web服务，还是处理海量数据的批处理任务，深入理解Java并发机制都是每个后端工程师的必修课。本文将从线程池的底层原理出发，深入剖析Java锁机制的演进，再结合并发容器的选型与...

2026-07-12andy阅读(381)评论(0)

1. 背景：移动端异构架构的挑战 在移动端 SoC 中，常见的 ARM 架构通常采用 Big.LITTLE（大小核）设计。当运行 AI 模型推理时，如果系统将计算任务随机分配给小核，或者在大小核之间频繁切换，会导致推理耗时出现显著的“长尾效...

2026-07-05andy阅读(50)

引言：为什么并发编程是现代C++的必修课 在多核处理器已经成为主流的今天，程序的性能不再仅仅依赖于单核频率的提升，而是更多地取决于能否充分利用多核资源。C++作为一种系统级编程语言，从C++11开始就在标准库中引入了完整的线程支持库，此后每...

2026-03-18andy阅读(554)评论(0)

前言 随着大语言模型（LLM）的普及，将模型部署在手机端（端侧推理）成为了趋势。llama.cpp 作为一个高性能的 C++ 推理库，通过极致的指令集优化和轻量级的 GGUF 格式，让在手机上流畅运行 Llama-3 成为可能。本文将重点介...

2026-02-15andy阅读(248)评论(0)

在 AI 模型部署到端侧设备或采用异构 CPU 架构（如 ARM big.LITTLE 或 Intel P/E 核设计）的服务器时，我们经常面临一个挑战：推理延迟（Latency）的抖动（Jitter）过大，导致 P99 延迟性能不佳。这是...

2026-02-04andy阅读(416)评论(0)

Faiss (Facebook AI Similarity Search) 是一个高效的向量相似度搜索库。然而，在将其部署到需要高并发查询的环境（例如 Web 服务）时，如果简单地使用 Python 的多线程，很快就会遇到性能急剧下降甚至不...

2026-01-31andy阅读(457)评论(0)

什么是 Python 的全局解释器锁（GIL）？ Python 的全局解释器锁（Global Interpreter Lock，简称 GIL）是 CPython 解释器中的一个互斥锁（Mutex）。它的核心作用是：保证在任何时刻，只有一个线...