用TensorRT-LLM加速大模型推理的5个技巧
最近我在公司折腾大模型推理加速，用了NVIDIA新出的TensorRT-LLM框架。这玩意儿真不是盖的，把原来跑得像蜗牛的模型一下子提速了好几倍。不过要玩转它也没那么容易，踩了不少坑才搞明白。
2025年04月28日
最近我在公司折腾大模型推理加速，用了NVIDIA新出的TensorRT-LLM框架。这玩意儿真不是盖的，把原来跑得像蜗牛的模型一下子提速了好几倍。不过要玩转它也没那么容易，踩了不少坑才搞明白。
2025年04月28日
4 月过半，RTX 5060 Ti 系列显卡终于是姗姗来迟，还在用 50、60 后缀老显卡的玩家估计已经在持币观望了。GeForce RTX 5060 Ti 显卡这次首发了 16GB GDDR7 的大显存版本，算是一步到位了。魔法般的 RTX DLSS 4 技术也极大拔高了大家对 RTX 5060 Ti 性能上限的期待。
那么，RTX 5060 Ti 系列显卡的表现究竟如何呢？IT之家将通过这张索泰 GeForce RTX 5060 Ti 16G XGAMING 显卡给你答案。
2025年04月28日
虽然RTX 5090 D/5080/5070 Ti的热潮已经袭过，但对于骨灰级玩家来说，OC版（即OverClock，超频的意思）显卡才是更值得入手的，毕竟价格没比公版规格贵多少，但能享受更高的核心频率或显存频率（或两者皆提升）。近日，索泰上线了GEFORCE RTX 5090 D 32GB SOLID OC显卡，以卓越的性能、豪华的散热设计以及创新的双BIOS技术，再次成为玩家们关注的焦点。
2025年04月28日
IT之家 4 月 25 日消息，科技媒体 marktechpost 今天（4 月 25 日）发布博文，报道称英伟达专为数学推理设计，发布 OpenMath-Nemotron-32B 和
OpenMath-Nemotron-14B-Kaggle 两款先进 AI 模型。
数学推理一直是 AI 领域的巨大挑战。传统的语言模型擅长生成流畅文本，却在解决复杂数学问题时显得力不从心，这些问题不仅需要理解抽象概念，还要求多步骤的逻辑推导。
2025年04月28日
腾讯微信是一款跨平台的通讯工具。支持通过手机网络发送语音、图片、视频和文字等。截至2021年6月，微信在全球拥有超过12亿活跃用户，是国内活跃用户最多的社交软件。
微信识物是一款主打物品识别的 AI 产品，通过相机拍摄物品，更高效、更智能地获取信息。2020 年，微信识物拓展了更多识别场景，上线了微信版的图片搜索。打开微信扫一扫，左滑切换到“识物”功能，对准想要了解的物品正面，可以获取对应的物品信息，包括物品百科、相关资讯、相关商品。
2025年04月28日
Tensor是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。