有考虑过 fp8 量化模型加速吗？

[sfyumi]

使用 trt 加速 llama 模型部分是，可以考虑 fp8 量化。