andy的文章

2026-02-12andy阅读(52)评论(0)

在高性能计算和深度学习推理领域，我们经常遇到这样的瓶颈：模型计算量不大，但由于由大量细小、串联的计算操作（Kernel）组成，导致整体性能不佳。瓶颈不在于GPU的计算能力（SMs），而在于CPU与驱动层（Driver）频繁通信以发射（Lau...

2026-02-12andy阅读(43)评论(0)

对于个人站长来说，如果不进行ICP备案，选择香港、东京或首尔的公有云虚拟机或VPS几乎是唯一的选择。这三个地区都提供了相对低延迟的服务，但哪里的IP最不容易被防火墙（GFW）针对或封锁呢？答案并非简单的地理位置决定，而是取决于您VPS的网络...

2026-02-12andy阅读(51)评论(0)

随着Kubernetes社区正式移除了对内置的dockershim的支持，将K8s集群的容器运行时（CRI）从Docker切换到原生Containerd已成为主流趋势。虽然Containerd是Docker的核心组件，但这种切换并非无缝。本...

2026-02-12andy阅读(40)评论(0)

智能座舱（Smart Cockpit）作为现代汽车的核心人机交互系统，越来越多地依赖无线连接，尤其是蓝牙（Bluetooth），来提供免提通话、媒体流和诊断服务。然而，蓝牙协议的复杂性和配置不当，使其成为黑客渗透车辆内部网络的致命弱点。 黑...

2026-02-12andy阅读(41)评论(0)

在将深度学习模型部署到移动端或嵌入式设备时，模型的大小和推理速度是至关重要的指标。许多从PyTorch或TensorFlow导出的ONNX模型，在计算图中包含大量冗余节点、不必要的初始化器（Initializers）或可合并的常量操作（如S...

2026-02-12andy阅读(45)评论(0)

在当前的大模型（LLM）时代，NVIDIA H100 Tensor Core GPU 是训练和推理的主力核心。但一块 H100 GPU 本身并不能单独完成大规模训练任务。AI 服务器的设计精髓在于如何高效地将多块 H100 连接起来，形成一...

2026-02-12andy阅读(37)评论(0)

在AI模型部署中，偏见（Bias）和公平性（Fairness）评估往往是脱节的：数据科学家生成报告，然后需要人工审查来决定模型是否安全。要真正将偏见评估结果转化为业务决策，我们需要将其嵌入到持续集成/持续部署（CI/CD）流程中，作为模型发...

2026-02-12andy阅读(49)评论(0)

Git 是分布式版本控制的强大工具，但它最初设计是针对纯文本代码的。当仓库中包含大量大型二进制文件（如高分辨率图像、视频、音频文件、编译产物或数据集）时，Git 的性能会急剧下降，导致克隆（clone）、抓取（fetch）和检出（check...

2026-02-12andy阅读(42)评论(0)

在将复杂的 TensorFlow 模型部署到端侧（如移动设备或嵌入式系统）时，我们通常需要使用 TensorFlow Lite (TFLite) 转换器。然而，当模型中包含自定义层、复杂的控制流或某些非核心 TensorFlow 算子时，转...

2026-02-12andy阅读(63)评论(0)

模型量化（Quantization）是端侧推理加速的关键技术之一，它将浮点数（FP32）权重和激活值转换为低比特整数（如INT8），显著减少了模型大小并提高了计算效率。然而，量化方式的选择——特别是对称量化（Symmetric Quanti...