觀點網訊：10月21日，螞蟻集團與vLLM社區聯合開源Humming，一個通用、高性能的量化推理算子庫，定位為高性能、靈活的量化推理內核。

Humming在設備支持上覆蓋多種GPU，以及兼容CUDA編程的設備。

在量化支持方面，Humming通過統一架構支持Dense和MoE中豐富的權重與激活格式組合，覆蓋多種整數和浮點類型、位寬及縮放方式。

執行性能方面，Humming在多種典型負載中優於vLLM Marlin、FlashInfer和DeepGEMM等現有實現。