微博
加入微博一起分享新鲜事
登录
|
注册
140
使用 Skip Softmax 加速 NVIDIA TensorRT-LLM 中的长上下文推理 https://developer.nvidia.cn/blog/accelerating-long-context-inference-with-skip-softmax-in-nvidia-tensorrt-llm/
请登录并选择要私信的好友
300
使用 Skip Softmax 加速 NVIDIA TensorRT-LLM 中的长上下文推理 https://developer.nvidia.cn/blog/accelerating-long-context-inference-with-skip-softmax-in-nvidia-tensorrt-llm/
赞一下这个内容
公开
分享
获取分享按钮
正在发布微博，请稍候