NVIDIA Nsight Python 教程:如何对 GPU Kernel 做性能分析
NVIDIA 开源 Python 接口 Nsight Python 可让开发者在 Python 进程内直接分析 GPU kernel,用 nsight.annotate 标注代码、nsight.analyze.kernel 装饰基准函数,返回按标注区域、配置和运行次数组织的 pandas DataFrame 硬件指标。
NVIDIA 开源 Python 接口 Nsight Python 可让开发者在 Python 进程内直接分析 GPU kernel,用 nsight.annotate 标注代码、nsight.analyze.kernel 装饰基准函数,返回按标注区域、配置和运行次数组织的 pandas DataFrame 硬件指标。
教程在 Apple M4 上实测 Cactus Compute 的 16.9 MB CPU 语音模型 Whistle,在 seeded test-clean/test-other 样本上与 Whisper tiny、base 对比。
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,并梳理生产化过程中的五个核心挑战:跨智能体执行流控制、各智能体模型选型、生产运行、AI 生成代码的安全执行以及监控管理。
Amazon Quick 可通过 AWS PrivateLink 的 VPC 端点与 VPC 连接两条私有路径访问企业本地数据源,使流量经 AWS 骨干网传输而不经过公共互联网。
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework(AAIF)将 AI 请求分三层处理:用 llama3.2:1b 作为编排器分类请求,常规任务由 Ollama 本地运行的 SLM 处理,复杂分析则通过 boto3 调用 Amazon Bedrock 的前沿模型。
在单台 trn2.48xlarge 上,torchtitan 可通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,用三种方式训练 Qwen3-4B-Instruct-2507:Transformers v5 建模后端、torchtitan 原生 Qwen3 配置,以及叠加 NKI MoE kernel。
Hugging Face 博客发布 TorchNeuron 性能剖析系列第一篇,介绍如何在 AWS Trainium 上系统分析推理性能。
作者 Dan McAteer 介绍了 Claude Code 的 Claude Mods 机制,mod 是由 TypeScript 或 JavaScript 函数构成的插件,运行在 Claude Code 内,可响应提示词、工具调用和界面渲染等事件,改变 CLI 与桌面端的执行和渲染流程。
Simon Willison 用 Claude Code 做出 Command & Conquer 风格浏览器 RTS《Battle Drones》,经 12 个大版本、321 次编码智能体提交,支持手机与桌面游玩。
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调:基座模型在 50 例测试中仅 22% 用目标语言推理,英语 100%、法语和西班牙语 0%、德语 10%、意大利语 0%。实验表明 SFT 承担主要工作,GRPO 在存在提升空间时进一步优化,训练采用 LoRA,GPT-OSS 使用 4× ml.g6e.12xlarge。
Amazon Quick 与 Amazon Bedrock AgentCore 组合,让供应链管理者用自然语言跨系统查询并执行操作。演示中一次查询返回三项供应中断,其中 TechComp 停产事件涉及 23 笔订单、$750K 风险金额和三天库存。AgentCore 通过 MCP 工具层连接 ERP、监控、采购等系统,所有变更需指定人工审批。
Hamlet 借助 Databricks Lakebase Postgres 为每个 pull request 创建独立的生产数据分支,让工程师和 AI 编码智能体在不触碰生产环境的情况下用真实数据测试变更,且每次合并仍需人工批准。该平台索引并转写全美超过 7,200 个治理机构的会议,覆盖 19,000 个市政府、3,000 个县政府和约 80,000 个特殊区。
该教程演示以 Strategy Mosaic 作为语义层,在 Amazon Redshift 与 Amazon Aurora 上通过两个链接模型建模 C360 域,无需 ETL。
在 AWS 上可用 Denodo Platform 作为语义层,通过 Denodo MCP Server 将受治理视图暴露给托管在 Amazon Bedrock AgentCore 上的智能体,并以 VQL 查询。
三位拥有十余年 Java 经验的 Java Champion 分享了在生产与开源项目中使用 GitHub Copilot 的实践。Vlad Mihalcea 借助 Copilot 将 Hypersistence Optimizer 新功能开发从数周缩短至两天,并用 65 篇文章训练自定义技能模仿其写作风格。
AWS 博客演示以 AtScale 作为语义层、在 Amazon Redshift Serverless 上构建 Customer 360 智能体查询方案。
GitHub Copilot 应用中的会话可直接通过“Open in VS Code”在 VS Code 中打开,保留任务、计划和对话上下文,并沿用同一 worktree。用户可在 VS Code 中逐行审查 diff、手动修改代码、用集成终端运行测试并在本地验证,最后提交并推送到该会话关联的 pull request。
超过 3000 家组织在 Databricks 上运行 dbt,文章给出让 dbt 管道更便宜、更快、更易运维的实践。在 TPC-DI 基准中,把服务层全量重算改为物化视图带来 17x 加速;Predictive Optimization 可自动执行 OPTIMIZE、VACUUM 与统计收集,Liquid Clustering 替代分区设计。
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在基于 Amazon EC2 P5en 实例和 EFA 的 1P1D 部署上,该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
Lean Rada 介绍了一种利用 document.currentScript 属性实现内联渲染的技巧:定义 `$=(...n)=>document.currentScript.replaceWith(...n)` 这样的快捷函数后,就能在页面中嵌入极简的内联模板语言。该技巧基于 JavaScript 的 document.currentScript 属性,可将当前脚本节点直接替换为指定内容。
NVIDIA 的 Structured Data Models 库把 TabICLv2、KumoTabular 和 KumoRelational 等预训练表格基础模型统一到一个 PyTorch 接口下,无需训练即可通过上下文学习完成预测。
sparqlite 是一个 Rust 编写的 SQLite 可加载扩展,将 RDF 四元组存入普通 SQLite 表,并在 SQLite 进程内原生执行 SPARQL 1.1 查询与更新。
本教程演示如何用 Meta 的分配求解器 Rebalancer(C++ 核心 + Python 绑定)完成数据中心任务放置与优化,可添加约束与目标,并在本地搜索与精确混合整数求解器 HiGHS 之间切换。在 24 次求解中,有 14 次 solved 标志为 True 却仍出现内存超容,本地搜索的 HARD 策略返回违规起始状态且不报错,拼错的 spec 键被静默忽略。
LangChain 在 LangSmith 平台博客中解答了 Agent Evals 的常见问题,建议从阅读 trace 入手,先选一个关注的行为、用 10 到 20 个样例建数据集并跑出基线实验。
LangChain 官方博客介绍其开源 harness Deep Agents 如何用中间件缓解上下文膨胀,包括卸载、摘要、技能、子智能体和长期记忆五类技术。
推荐理由:LangChain 官方拆解 Deep Agents 五种上下文管理中间件的触发阈值与实现方式,可对照自身 Agent 的上下文膨胀问题。
基于 Amazon Bedrock AgentCore 构建的多智能体 IDP 系统,用 8 个专用智能体在两条图工作流中完成文档分类、提取、校验与自我学习,新文档类型无需手工配置模板,部署通常可在 20 分钟内完成。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中完成时间不到 90 秒。
Amazon SageMaker JumpStart 提供预训练模型目录,可通过 SageMaker Python SDK 部署模型、运行轻量可重复的性能测试,并在测试完成后删除端点。
在 AI Runtime 上微调 Qwen 3.8 27B 的训练时间从 7 小时 44 分钟降至 1 小时 17 分钟,提速 6 倍,训练吞吐从 9,396 tok/s 提升。
MarkTechPost 发布 2026 年 9 大 AI 网关排名,Bifrost 以 Go 二进制、Apache 2.0 许可和 5,000 RPS 下 11 µs 开销位列自托管性能第一,Portkey 以 MIT 许可、1,600+ 模型和内置护栏居次,LiteLLM 凭 53.8K GitHub stars 和 100+ 提供商覆盖最广。
Deep Agents SDK 通过卸载、摘要和文件系统抽象来管理长时 AI 任务的上下文,以防止上下文腐化。该 SDK 面向长时间运行的任务场景,将上下文管理拆解为 offloading、summarization 与 filesystem abstraction 三种手段。
Databricks 发布 2026 年实时分析实践指南,聚焦企业如何将分析负载从批处理转向实时处理。数据始终是业务决策的核心,而多数分析工作负载仍以批处理为主。
Amazon Bedrock 的托管授权支持从中心账户订阅 AWS Marketplace 私有定价优惠(MPPO),再向组织内多个账户分发模型访问权限。
AWS 发布 Ray LLM Deep Learning Containers,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离到不同节点并统一在一个 OpenAI 兼容端点后。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
Python 3.15 发布,Simon Willison 介绍了该版本的主要新特性,包括 PEP 810 显式惰性导入、推导式解包语法,以及标准库新增的采样分析器 Tachyon(profiling.sampling)。
GitHub Copilot 可通过四种方式定制项目上下文:用 .github/copilot-instructions.md 定义仓库级规范,用 .github/instructions 配合 applyTo 字段做路径级指引,用 .github/skills 下的 SKILL.md 封装可复用流程,用 .github/agents 创建专用自定义智能体。
The Verge 编辑在 M5 Ultra Mac Studio(256GB 统一内存)上安装开源 Hermes Agent,并选用 125B 参数、约 105GB 的 Qwen 3.8 Flash Next 本地模型,尝试用 Telegram bot 远程控制。他用它生成每日简报、整理 400 多款 Steam 游戏并做本地数据分析,但坦言面对空白提示框不知所措,本地 AI 仍令人兴奋又沮丧。
基于 Amazon Bedrock AgentCore、Amazon Nova 2.5 Sonic 与 Amazon Bedrock Knowledge Bases,可搭建一套航空语音旅行助手,让旅客通过语音查询行程、改座位、更新餐食偏好并转接人工客服。
Amazon SageMaker HyperPod 通过 SageMaker Unified Studio 连接项目后,需在组织、项目、集群、工作负载四层保留底层治理控制。集群的 IAM、Amazon EKS RBAC 或 Slurm 控制不会被项目连接取代,应集中在一个容量账户中管理加速器容量,并用 IAM 角色和资源策略控制对 Amazon S3、AWS KMS 等资源的访问。