v100 优化方案
v100 其实是支持int8张量的,但方法跟图灵不一样,下面是说明文件https://github.com/ai-bond/flash-attention-v1
ubuntu安装forgeui  neo
forgeui 需要cuda 13,驱动需要安装580以上 版本,20系以上显卡确定能用。10系列试试开源https://github.com/Haoming0