📌 📄 内容摘要:
@Cimix 在 Intel Arc Alchemist架构（A770 / A750）运行Qwen 3.5并支持多模态之二 中发帖
继续上周的开源推广项目的记录，本篇不涉及推广内容，基本算是技术路线描述、性能统计和一点碎碎念，因此需要获取原项目的直接移步下面帖子里的Github链接即可
项目起始：
https://linux.do/t/topic/1829505
开源地址
周末主要做的工作就是写基于Pytorch 的 XPU 自定义算子。
只支持 XPU，限定了 query/key/value/z 同 dtype，支持 float16、bfloat16、float32。但内部把 beta、g、norm_weight 和递推状态统一提升到 float32 来算，状态张量 working_state 也统一 float32，这是为了数值稳定做出的妥协，降级的话总是遇到乱码问题。
对每个 head 的输出做 RMSNorm，再乘 norm_weight，最后乘 silu(z) 门控。
Qwen3GatedD...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1849761/1
─────────────────────────────
📢 来源：LINUX DO
