18. 根据垂直需求微调模型

大家好,我是茶桁。

最近事情太多,这一节课更新的有些晚了。

首先我们先了解一下我们本节课讲要讲一些什么,我们之前介绍过 llama-index 和 LangChain,学习了将大语言模型和自己的知识库组合来解决问题的方法。这个方法中,我们不需要调整我们使用的模型,而是使用嵌入向量索引我们的数据,并在需要时查询索引来解决问题。

然而,我们也可以完全利用自己的数据,创建一个新的模型来解决问题。这种方法是OpenAI提供的微调模型功能。这也是我们要探讨的大语言模型的最后一个主题。

如何微调模型

我们都知道,AI其实是建立在大语言模型之上的,而模型再如何补全,也没有办法全知全能。在很多时候,AI所回答的内容常常错漏百出,甚至于一些垂直领域可能完全词不达意。这些其实都是因为缺少了特定领域的训练数据,而我们要做的,就是要补全这一部分数据进行训练,为我们自己的需求微调出一个擅长本领域的模型。

由于本文在其他平台已经成为收费文章,为了避免损害付费会员权益,所以此处做删减处理。

希望继续观看的可进入专辑

请订阅我的公众号:

image-20240729162750245

作者

Hivan Du

发布于

2023-07-04

更新于

2024-07-29

许可协议

评论