11 用好开源模型节约成本

Hi， 大家好，我是茶桁。

直奔主题，我们来谈谈成本这件事。

大家应该都知道，ChatGPT 对免费用户是有 5 美元的 API 调用额度的，说是这么说，可是那是以前，现在新注册的小伙伴应该都发现自己的 API Key 根本无法调用 API，原因是这个免费额度似乎已经失效了。而我可以直接说，在我从第一节到第 10 节的课程中所用到的金额，已经超过这个数目了。也就是说，我这 10 节课 API 调用成本就已经超过了 40 元人民币。

看到这大家大概能理解我这个课程为什么改为付费课程了吧？

对于 ChatCompletion 的接口来说，为了更好地使用它，我们需要传入更多的上下文信息，以便更准确地进行文本生成。不过要注意的是，实际消耗的 Token 数量可能比我们感觉的要多。此外，除了费用之外，数据安全也是我们需要考虑的一个问题。由于每个国家的数据监管要求不同，不是所有的数据都适合通过 OpenAI 的 API 来处理。因此，我们需要寻找一个除 OpenAI 以外的解决方案。幸运的是，有一些开源的大语言模型可以帮助我们解决这个问题。通过利用这些开源的模型，中小型公司也可以轻松地获得更准确、更安全的文本生成服务。

在 Colab 中使用 GPU

在本课中，我们需要使用一些开源模型。但是，并不是所有人的电脑都配备了强劲的 NVIDIA GPU。因此，我建议您使用 Colab 运行相应的笔记本，并注意将运行环境设置为 GPU。

如下图，选择 代码执行程序->更改运行时类型,然后在硬件加速器上选择 GPU 就可以了。

由于本文在其他平台已经成为收费文章，为了避免损害付费会员权益，所以此处做删减处理。

希望继续观看的，请订阅我的公众号。