使用 300 元的P4显卡推理 Qwen1.5-14B
一直以来模型推理成本对于想要使用大模型却又注重隐私的用户来说都是个难题,今天在这里探讨一下如何用尽可能低的成本去获得尽可能高的模型性能。曾经尝试过用 Tesla