https://hivan.me/categories/ai/Recent content in AI on 茶桁.MAMTHugoenFri, 24 Jul 2026 14:00:00 +0800https://hivan.me/posts/rag-vs-mcp%E9%A9%B1%E5%8A%A8%E7%8E%B0%E4%BB%A3-ai-%E7%B3%BB%E7%BB%9F%E7%9A%84%E9%9A%90%E7%A7%98%E4%B9%8B%E6%88%98/Fri, 24 Jul 2026 14:00:00 +0800https://hivan.me/posts/rag-vs-mcp%E9%A9%B1%E5%8A%A8%E7%8E%B0%E4%BB%A3-ai-%E7%B3%BB%E7%BB%9F%E7%9A%84%E9%9A%90%E7%A7%98%E4%B9%8B%E6%88%98/大多数开发者认为构建 AI 系统的核心在于选择模型，但真正的挑战在于理解何时让 AI 获取知识（RAG），何时让 AI 执行操作（MCP）。本文深入剖析两者的区别、互补性以及混合架构的未来。https://hivan.me/posts/%E9%93%B6%E8%A1%8C%E4%B8%9A%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E5%AE%B6%E7%9A%84-6-%E6%9D%A1%E7%BB%8F%E9%AA%8C%E6%95%99%E8%AE%AD/Tue, 24 Sep 2024 07:03:00 +0800https://hivan.me/posts/%E9%93%B6%E8%A1%8C%E4%B8%9A%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E5%AE%B6%E7%9A%84-6-%E6%9D%A1%E7%BB%8F%E9%AA%8C%E6%95%99%E8%AE%AD/<blockquote> <p>为什么我的第一份数据科学工作与我预期的不一样</p></blockquote>https://hivan.me/posts/%E5%88%86%E7%B1%BB%E7%89%B9%E5%BE%81%E7%9A%84-shap/Fri, 06 Sep 2024 07:03:00 +0800https://hivan.me/posts/%E5%88%86%E7%B1%BB%E7%89%B9%E5%BE%81%E7%9A%84-shap/<blockquote> <p>将经过One-Hot 编码转换的分类特征的 SHAP 值相加</p></blockquote>https://hivan.me/posts/%E4%BD%BF%E7%94%A8-pandas-%E6%89%B9%E9%87%8F%E5%A4%84%E7%90%86-22gb-%E4%BA%A4%E6%98%93%E6%95%B0%E6%8D%AE/Tue, 27 Aug 2024 07:03:00 +0800https://hivan.me/posts/%E4%BD%BF%E7%94%A8-pandas-%E6%89%B9%E9%87%8F%E5%A4%84%E7%90%86-22gb-%E4%BA%A4%E6%98%93%E6%95%B0%E6%8D%AE/<blockquote> <p>如何利用有限的计算资源来处理大型数据集</p></blockquote>https://hivan.me/posts/%E5%9B%9B%E4%B8%AA%E8%87%AA%E5%AE%9A%E4%B9%89-shap-%E5%9B%BE/Tue, 20 Aug 2024 07:03:00 +0800https://hivan.me/posts/%E5%9B%9B%E4%B8%AA%E8%87%AA%E5%AE%9A%E4%B9%89-shap-%E5%9B%BE/<blockquote> <p>超越 Python 包，创建 SHAP 值的定制可视化</p></blockquote>https://hivan.me/posts/python-%E4%B8%AD%E7%9A%84-shap-%E7%AE%80%E4%BB%8B/Fri, 16 Aug 2024 07:03:00 +0800https://hivan.me/posts/python-%E4%B8%AD%E7%9A%84-shap-%E7%AE%80%E4%BB%8B/<blockquote> <p>本文中有多篇计划文章，后期会补充相关链接。鉴于公众号内无法后期修改文章，请关注原文链接。 &gt; &gt; 如何创建和解释 SHAP 图：瀑布图、力图、平均 SHAP 图、蜂群图和依赖图</p></blockquote>https://hivan.me/posts/%E8%89%AF%E5%A5%BD%E5%8A%9F%E8%83%BD%E7%9A%84%E7%89%B9%E5%BE%81/Fri, 09 Aug 2024 07:03:00 +0800https://hivan.me/posts/%E8%89%AF%E5%A5%BD%E5%8A%9F%E8%83%BD%E7%9A%84%E7%89%B9%E5%BE%81/<blockquote> <p>为什么选择模型特征时预测能力并不是最重要的</p></blockquote>https://hivan.me/posts/%E6%9F%A5%E6%89%BE%E5%B9%B6%E5%8F%AF%E8%A7%86%E5%8C%96%E9%9D%9E%E7%BA%BF%E6%80%A7%E5%85%B3%E7%B3%BB/Tue, 06 Aug 2024 07:03:00 +0800https://hivan.me/posts/%E6%9F%A5%E6%89%BE%E5%B9%B6%E5%8F%AF%E8%A7%86%E5%8C%96%E9%9D%9E%E7%BA%BF%E6%80%A7%E5%85%B3%E7%B3%BB/<blockquote> <p>使用部分依赖图 (PDP)、互信息和特征重要性分析非线性关系</p></blockquote>https://hivan.me/posts/%E4%BB%80%E4%B9%88%E6%98%AF%E8%B4%9F%E8%B4%A3%E4%BB%BB%E7%9A%84%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/Fri, 02 Aug 2024 07:03:00 +0800https://hivan.me/posts/%E4%BB%80%E4%B9%88%E6%98%AF%E8%B4%9F%E8%B4%A3%E4%BB%BB%E7%9A%84%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/<blockquote> <p>拥有权利的同时也被赋予了重大的责任</p></blockquote>https://hivan.me/posts/giteval--%E9%A2%84%E6%B5%8B%E4%BD%A0%E7%9A%84-github-%E4%B8%AA%E4%BA%BA%E8%B5%84%E6%96%99%E7%9A%84%E8%B4%A8%E9%87%8F/Tue, 30 Jul 2024 07:03:00 +0800https://hivan.me/posts/giteval--%E9%A2%84%E6%B5%8B%E4%BD%A0%E7%9A%84-github-%E4%B8%AA%E4%BA%BA%E8%B5%84%E6%96%99%E7%9A%84%E8%B4%A8%E9%87%8F/<blockquote> <p>使用机器学习来预测你是否擅长编码</p></blockquote>https://hivan.me/posts/%E6%88%91%E4%B8%BA%E4%BD%95%E6%92%B0%E5%86%99%E6%9C%89%E5%85%B3%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%92%8C%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E7%9A%84%E6%96%87%E7%AB%A0/Sat, 27 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E6%88%91%E4%B8%BA%E4%BD%95%E6%92%B0%E5%86%99%E6%9C%89%E5%85%B3%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%92%8C%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E7%9A%84%E6%96%87%E7%AB%A0/<blockquote> <p>撰写人工智能文章的 6 大好处</p></blockquote>https://hivan.me/posts/%E4%BB%80%E4%B9%88%E6%98%AF%E6%A8%A1%E5%9E%8B%E6%97%A0%E5%85%B3%E6%96%B9%E6%B3%95/Fri, 26 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E4%BB%80%E4%B9%88%E6%98%AF%E6%A8%A1%E5%9E%8B%E6%97%A0%E5%85%B3%E6%96%B9%E6%B3%95/<blockquote> <p>可以与任何模型一起使用的所有强大方法</p></blockquote>https://hivan.me/posts/%E4%BB%80%E4%B9%88%E6%98%AF%E7%AE%97%E6%B3%95%E5%85%AC%E5%B9%B3%E6%80%A7/Tue, 23 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E4%BB%80%E4%B9%88%E6%98%AF%E7%AE%97%E6%B3%95%E5%85%AC%E5%B9%B3%E6%80%A7/<blockquote> <p>旨在理解和防止机器学习中不公平现象的领域的介绍</p></blockquote>https://hivan.me/posts/%E7%BA%A0%E6%AD%A3%E5%92%8C%E9%98%B2%E6%AD%A2%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E4%B8%8D%E5%85%AC%E5%B9%B3%E7%8E%B0%E8%B1%A1/Fri, 19 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E7%BA%A0%E6%AD%A3%E5%92%8C%E9%98%B2%E6%AD%A2%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E4%B8%8D%E5%85%AC%E5%B9%B3%E7%8E%B0%E8%B1%A1/<blockquote> <p>预处理、处理中、后处理方法和非定量方法</p></blockquote>https://hivan.me/posts/%E4%B8%8D%E5%85%AC%E5%B9%B3%E7%9A%84%E9%A2%84%E6%B5%8B%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84-5-%E7%A7%8D%E5%B8%B8%E8%A7%81%E5%81%8F%E8%A7%81%E6%9D%A5%E6%BA%90/Wed, 17 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E4%B8%8D%E5%85%AC%E5%B9%B3%E7%9A%84%E9%A2%84%E6%B5%8B%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84-5-%E7%A7%8D%E5%B8%B8%E8%A7%81%E5%81%8F%E8%A7%81%E6%9D%A5%E6%BA%90/<blockquote> <p>历史偏见、代理变量、不平衡数据集、算法选择和用户反馈循环如何导致不公平的模型</p></blockquote>https://hivan.me/posts/%E5%88%86%E6%9E%90%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%85%AC%E5%B9%B3%E6%80%A7/Mon, 15 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E5%88%86%E6%9E%90%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9A%84%E5%85%AC%E5%B9%B3%E6%80%A7/<blockquote> <p>进行探索性公平性分析，并使用平等机会、均等几率和不同影响来衡量公平性</p></blockquote>https://hivan.me/posts/%E4%BD%BF%E7%94%A8-python-%E5%88%9B%E5%BB%BA%E4%BD%A0%E7%9A%84%E7%AC%AC%E4%B8%80%E4%B8%AA%E6%83%85%E7%BB%AA%E5%88%86%E6%9E%90%E6%A8%A1%E5%9E%8B/Sat, 13 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E4%BD%BF%E7%94%A8-python-%E5%88%9B%E5%BB%BA%E4%BD%A0%E7%9A%84%E7%AC%AC%E4%B8%80%E4%B8%AA%E6%83%85%E7%BB%AA%E5%88%86%E6%9E%90%E6%A8%A1%E5%9E%8B/<strong>「AI秘籍」系列课程：</strong>https://hivan.me/posts/%E5%AF%BB%E6%89%BE%E5%B9%B6%E5%8F%AF%E8%A7%86%E5%8C%96%E4%BA%A4%E4%BA%92/Fri, 12 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E5%AF%BB%E6%89%BE%E5%B9%B6%E5%8F%AF%E8%A7%86%E5%8C%96%E4%BA%A4%E4%BA%92/<blockquote> <p>使用特征重要性、弗里德曼 H 统计量和 ICE 图分析相互作用 &gt; &gt; 本文中的代码需要安装 R 语言包</p></blockquote>https://hivan.me/posts/%E4%BD%BF%E7%94%A8-python-%E7%BB%98%E5%88%B6%E7%BE%8E%E5%9B%BD%E9%80%89%E4%B8%BE%E5%88%86%E7%BA%A7%E7%BB%9F%E8%AE%A1%E5%9B%BE/Thu, 11 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E4%BD%BF%E7%94%A8-python-%E7%BB%98%E5%88%B6%E7%BE%8E%E5%9B%BD%E9%80%89%E4%B8%BE%E5%88%86%E7%BA%A7%E7%BB%9F%E8%AE%A1%E5%9B%BE/<blockquote> <p>如何创建美国选举结果的时间序列分级统计图 &gt; &gt; 数据地址为源地址，如果失效请与我联系。</p></blockquote>https://hivan.me/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/Tue, 09 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7/<blockquote> <p>为什么我们需要了解模型如何进行预测</p></blockquote>https://hivan.me/posts/%E5%A4%AA%E5%A4%9A%E9%A1%B9%E4%BC%9A%E6%AF%81%E4%BA%86%E5%9B%9E%E5%BD%92/Mon, 08 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E5%A4%AA%E5%A4%9A%E9%A1%B9%E4%BC%9A%E6%AF%81%E4%BA%86%E5%9B%9E%E5%BD%92/<blockquote> <p>多项式回归的过度拟合及其避免方法</p></blockquote>https://hivan.me/posts/%E5%8F%AF%E8%A7%A3%E8%AF%BB%E4%B8%8E%E5%8F%AF%E8%A7%A3%E9%87%8A%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/Sat, 06 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E5%8F%AF%E8%A7%A3%E8%AF%BB%E4%B8%8E%E5%8F%AF%E8%A7%A3%E9%87%8A%E7%9A%84%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/<blockquote> <p>Interpretability 模型和 Explainability 模型之间的区别以及为什么它可能不那么重要</p></blockquote>https://hivan.me/posts/%E6%B7%B1%E5%BA%A6%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%AF%AD%E8%A8%80%E8%AF%86%E5%88%AB/Fri, 05 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E6%B7%B1%E5%BA%A6%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%AF%AD%E8%A8%80%E8%AF%86%E5%88%AB/<blockquote> <p>使用 DNN 和字符 n-gram 对一段文本的语言进行分类（附 Python 代码）</p></blockquote>https://hivan.me/posts/%E4%BD%BF%E7%94%A8-pca-%E5%8F%AF%E8%A7%86%E5%8C%96%E6%95%B0%E6%8D%AE%E7%9A%84%E5%88%86%E7%B1%BB%E8%83%BD%E5%8A%9B/Thu, 04 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E4%BD%BF%E7%94%A8-pca-%E5%8F%AF%E8%A7%86%E5%8C%96%E6%95%B0%E6%8D%AE%E7%9A%84%E5%88%86%E7%B1%BB%E8%83%BD%E5%8A%9B/<blockquote> <p>使用 PCA 探索数据分类的效果（使用 Python 代码）</p></blockquote>https://hivan.me/posts/%E4%BD%BF%E7%94%A8%E9%AB%98%E6%96%AF%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B%E8%AF%86%E5%88%AB%E9%A4%90%E5%8E%85%E7%83%AD%E7%82%B9/Tue, 02 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E4%BD%BF%E7%94%A8%E9%AB%98%E6%96%AF%E6%B7%B7%E5%90%88%E6%A8%A1%E5%9E%8B%E8%AF%86%E5%88%AB%E9%A4%90%E5%8E%85%E7%83%AD%E7%82%B9/<p>原文：https://towardsdatascience.com/identifying-restaurant-hotspots-with-a-gaussian-mixture-model-2a840ab0c782</p> <blockquote> <p>使用 GMM 识别加拿大多伦多的直观餐厅集群（附 Python 代码） 聚类算法（例如 GMM）是一种有用的工具，可帮助识别数据中的模式。它们使我们能够识别数据集中的子组，从而提高你的理解或增强预测模型。在本文中，借助 GMM，我们将尝试使用位置数据识别多伦多的餐厅集群。目标是找到在地理上合理但在其他特征（例如餐厅评级）方面具有不同特征的集群。我们将讨论关键代码，你可以在<a href="https://github.com/hivandu/public_articles">GitHub</a>[^5]上找到完整的项目。 <img alt="img" loading="lazy" src="https://cdn-images-1.readmedium.com/v2/resize:fit:800/1*JzEI1jMp1wcx5GU1RTfUvQ.png"></p></blockquote>https://hivan.me/posts/%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E7%9A%84%E5%8A%9B%E9%87%8F/Mon, 01 Jul 2024 07:03:00 +0800https://hivan.me/posts/%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B%E7%9A%84%E5%8A%9B%E9%87%8F/<p>原文：<a href="https://conorosullyds.medium.com/the-power-of-feature-engineering-b6f3bb7de39c?source=user_profile---------74----------------------------">The Power of Feature Engineering</a></p> <blockquote> <p>为什么你应该使用逻辑回归来建模非线性决策边界（使用 Python 代码） 作为一名大数据从业者，复杂的机器学习技术非常具有吸引力。使用一些深度神经网络 (DNN) 获得额外的 1% 准确率，并在此过程中启动 GPU 实例，这让人非常满意。然而，这些技术通常将思考留给计算机，让我们对模型的工作原理了解甚少。所以，我想回到基础知识。 <img alt="img" loading="lazy" src="https://cdn-images-1.readmedium.com/v2/resize:fit:800/1*qGkPni7n8kGxKcADasCNAQ.png"></p></blockquote>https://hivan.me/posts/%E6%B7%B1%E5%85%A5%E7%A0%94%E7%A9%B6-lime-%E7%9A%84%E6%9C%AC%E5%9C%B0%E8%A7%A3%E9%87%8A/Thu, 27 Jun 2024 07:03:00 +0800https://hivan.me/posts/%E6%B7%B1%E5%85%A5%E7%A0%94%E7%A9%B6-lime-%E7%9A%84%E6%9C%AC%E5%9C%B0%E8%A7%A3%E9%87%8A/<blockquote> <p>本地可解释模型&ndash;不可知论解释（LIME）的直觉、理论和代码 <img alt="img" loading="lazy" src="https://cdn-images-1.readmedium.com/v2/resize:fit:800/1*Zl6yhlbeV2W00kPua_FmTw.png"></p></blockquote>https://hivan.me/posts/%E5%A6%82%E4%BD%95%E5%B0%86-chatgpt-%E9%9B%86%E6%88%90%E5%88%B0%E4%BD%A0%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%AD/Fri, 21 Jun 2024 07:03:00 +0800https://hivan.me/posts/%E5%A6%82%E4%BD%95%E5%B0%86-chatgpt-%E9%9B%86%E6%88%90%E5%88%B0%E4%BD%A0%E7%9A%84%E5%BA%94%E7%94%A8%E4%B8%AD/在当今快速发展的技术环境中，将人工智能聊天解决方案集成到你的应用程序中可以显著提升用户体验和参与度。OpenAI 的 ChatGPT 以其对话能力和高级语言理解而闻名，对于希望在其应用程序中实现智能聊天功能的开发人员来说是一个绝佳的选择。那我们今天就来引导你完成将 ChatGPT 集成到你的应用程序中的步骤和最佳实践，为你的用户提供无缝和交互式的体验。 <img alt="图片-3" loading="lazy" src="https://www.datasciencecentral.com/wp-content/uploads/2024/06/image-3.png">https://hivan.me/posts/%E6%8E%8C%E6%8F%A1%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84-7-%E4%B8%AA%E5%9F%BA%E6%9C%AC%E6%AD%A5%E9%AA%A4/Thu, 20 Jun 2024 07:03:00 +0800https://hivan.me/posts/%E6%8E%8C%E6%8F%A1%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84-7-%E4%B8%AA%E5%9F%BA%E6%9C%AC%E6%AD%A5%E9%AA%A4/<h2 id="介绍-llms-正在改变我们今天与科技互动的方式这些人工智能程序能够理解和模仿人类语言它们可以应用于数据分析客户服务内容创作和其他领域但对于新手来说了解如何使用它们似乎很有挑战性本文将引导读者了解掌握大型语言模型的-7-个基本步骤">介绍 LLMs 正在改变我们今天与科技互动的方式。这些人工智能程序能够理解和模仿人类语言。它们可以应用于数据分析、客户服务、内容创作和其他领域。但对于新手来说，了解如何使用它们似乎很有挑战性。本文将引导读者了解掌握大型语言模型的 7 个基本步骤。</h2> <p>本文还旨在通过定义七个关键步骤来提供学习 LLM 的完整手册。即使是新手也可以通过将流程分解为易于完成的操作来掌握并有效利用LLM的强大功能。阅读本文后，读者将能够通过了解基础知识并知道如何调整和评估模型来将 LLM 用于各种目的。</p>https://hivan.me/posts/stable-diffusion-3-%E5%BC%80%E6%BA%90%E4%BA%86%E5%AE%8C%E5%85%A8%E4%B8%8D%E8%BE%93-midjourney/Sun, 16 Jun 2024 07:03:00 +0800https://hivan.me/posts/stable-diffusion-3-%E5%BC%80%E6%BA%90%E4%BA%86%E5%AE%8C%E5%85%A8%E4%B8%8D%E8%BE%93-midjourney/<img alt="sd3demo" loading="lazy" src="https://huggingface.co/stabilityai/stable-diffusion-3-medium/blob/main/sd3demo.jpg">https://hivan.me/posts/%E4%BD%BF%E7%94%A8-nsight-%E7%B3%BB%E7%BB%9F%E5%88%86%E6%9E%90-cudanumba-%E7%A4%BA%E4%BE%8B/Wed, 12 Jun 2024 07:03:00 +0800https://hivan.me/posts/%E4%BD%BF%E7%94%A8-nsight-%E7%B3%BB%E7%BB%9F%E5%88%86%E6%9E%90-cudanumba-%E7%A4%BA%E4%BE%8B/<blockquote> <p>通过检查 Nsight 系统中的并发和并行 Numba CUDA 代码了解性能分析。</p></blockquote> <h2 id="介绍">介绍</h2> <p>优化是编写高性能代码的关键部分，无论你是在编写 Web 服务器还是计算流体力学模拟软件。分析功能可让你对代码做出明智的决策。从某种意义上说，没有分析功能的优化就像盲目飞行：对于拥有专业知识和敏锐直觉的经验丰富的专业人士来说，这基本上没问题，但对于几乎所有其他人来说，这都是灾难的根源。 <img alt="image-20240605162936964" loading="lazy" src="https://cdn.jsdelivr.net/gh/hivandu/notes/img/202406051639257.png"></p>https://hivan.me/posts/numba-%E7%9A%84-cuda-%E7%A4%BA%E4%BE%8B4-4%E5%8E%9F%E5%AD%90%E5%92%8C%E4%BA%92%E6%96%A5/Sun, 09 Jun 2024 07:03:00 +0800https://hivan.me/posts/numba-%E7%9A%84-cuda-%E7%A4%BA%E4%BE%8B4-4%E5%8E%9F%E5%AD%90%E5%92%8C%E4%BA%92%E6%96%A5/<blockquote> <p>本教程为 <a href="https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzA4NzE4MDQzMg==&amp;action=getalbum&amp;album_id=3478311056533995521&amp;scene=21#wechat_redirect">Numba CUDA 示例</a> 第 4 部分。 &gt; &gt; 本系列第 4 部分总结了使用 Python 从头开始学习 CUDA 编程的旅程</p></blockquote> <h2 id="介绍">介绍</h2> <p>在本系列的前三部分（<a href="https://mp.weixin.qq.com/s/LdLEhntmiHewB5z2-NjAqg">第 1 部分</a>，<a href="https://mp.weixin.qq.com/s/w4qpHO7hVSZhgr0C6ZzDyQ">第 2 部分</a>，<a href="https://mp.weixin.qq.com/s/NJngSLe8CZ-IQ9sVOrA3fg">第 3 部分</a>）中，我们介绍了 CUDA 开发的大部分基础知识，例如启动内核来执行高度并行的任务、利用共享内存执行快速缩减、将可重用逻辑封装为设备功能，以及如何使用事件和流来组织和控制内核执行。 <img alt="图 3.0。使用“达利风格的原子心母亲专辑封面”运行<a href=\"https://replicate.com/stability-ai/stable-diffusion\">稳定扩散。</a>" loading="lazy" src="https://miro.medium.com/v2/resize:fit:700/1*ZKaQL6AiJxOPe9Cgmt6-gg.png"></p>https://hivan.me/posts/numba-%E7%9A%84-cuda-%E7%A4%BA%E4%BE%8B3-4%E6%B5%81%E5%92%8C%E4%BA%8B%E4%BB%B6/Wed, 05 Jun 2024 07:03:00 +0800https://hivan.me/posts/numba-%E7%9A%84-cuda-%E7%A4%BA%E4%BE%8B3-4%E6%B5%81%E5%92%8C%E4%BA%8B%E4%BB%B6/<blockquote> <p>本教程为 <a href="https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzA4NzE4MDQzMg==&amp;action=getalbum&amp;album_id=3478311056533995521&amp;scene=21#wechat_redirect">Numba CUDA 示例</a> 第 3 部分。 &gt; &gt; 按照本系列的第 3 部分，了解 Python CUDA 编程中的流和事件</p></blockquote> <h2 id="介绍">介绍</h2> <p>在本系列的前两部分（<a href="https://mp.weixin.qq.com/s/LdLEhntmiHewB5z2-NjAqg">第 1 部分</a>，<a href="https://mp.weixin.qq.com/s/w4qpHO7hVSZhgr0C6ZzDyQ">第 2 部分</a>）中，我们学习了如何使用 GPU 编程执行简单的任务，例如高度并行的任务、使用共享内存的缩减以及设备功能。我们还学习了如何从主机对函数进行计时 — 以及为什么这可能不是对代码进行计时的最佳方式。 <img alt="使用“墨西哥湾流多彩空间平静”运行" loading="lazy" src="https://miro.medium.com/v2/resize:fit:700/1*bC0prdsQmLoLoSSY2sWgmQ.png"></p>https://hivan.me/posts/numba-%E7%9A%84-cuda-%E7%A4%BA%E4%BE%8B-2-4%E7%A9%BF%E9%92%88%E5%BC%95%E7%BA%BF/Sun, 02 Jun 2024 07:03:00 +0800https://hivan.me/posts/numba-%E7%9A%84-cuda-%E7%A4%BA%E4%BE%8B-2-4%E7%A9%BF%E9%92%88%E5%BC%95%E7%BA%BF/<blockquote> <p>本教程为 <a href="https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzA4NzE4MDQzMg==&amp;action=getalbum&amp;album_id=3478311056533995521&amp;scene=21#wechat_redirect">Numba CUDA 示例</a> 第 2 部分。 &gt; &gt; 按照本系列从头开始使用 Python 学习 CUDA 编程</p></blockquote> <h2 id="介绍">介绍</h2> <p>在<a href="https://mp.weixin.qq.com/s/LdLEhntmiHewB5z2-NjAqg">本系列的第一部分</a>中，我们讨论了如何使用 GPU 运行高度并行算法。高度并行任务是指任务完全相互独立的任务，例如对两个数组求和或应用任何元素函数。 <img alt="使用“穿针引线赛博朋克”进行稳定扩散" loading="lazy" src="https://miro.medium.com/v2/resize:fit:700/1*giYSelu6J1NR8T3dbFLPhA.png"></p>https://hivan.me/posts/numba-%E7%9A%84-cuda-%E7%A4%BA%E4%BE%8B1-4%E8%B8%8F%E4%B8%8A%E5%B9%B6%E8%A1%8C%E4%B9%8B%E6%97%85/Wed, 29 May 2024 07:03:00 +0800https://hivan.me/posts/numba-%E7%9A%84-cuda-%E7%A4%BA%E4%BE%8B1-4%E8%B8%8F%E4%B8%8A%E5%B9%B6%E8%A1%8C%E4%B9%8B%E6%97%85/<blockquote> <p>按照本系列从头开始使用 Python 学习 CUDA 编程</p></blockquote> <h2 id="介绍">介绍</h2> <p>GPU（图形处理单元），顾名思义，最初是为计算机图形学开发的。从那时起，它们几乎在每个需要高计算吞吐量的领域都无处不在。这一进步得益于 GPGPU（通用 GPU）接口的发展，这些接口使我们能够对 GPU 进行编程以进行通用计算。这些接口中最常见的是CUDA，其次是OpenCL，最近的是 HIP。 <img alt="img" loading="lazy" src="https://miro.medium.com/v2/resize:fit:700/1*mQNpI1VA-yBsbmxPIaj3GA.png"></p>https://hivan.me/posts/%E5%A6%82%E4%BD%95%E5%A4%84%E7%90%86%E6%97%B6%E9%97%B4%E5%BA%8F%E5%88%97%E7%9A%84%E7%BC%BA%E5%A4%B1%E6%95%B0%E6%8D%AE/Sun, 26 May 2024 07:03:00 +0800https://hivan.me/posts/%E5%A6%82%E4%BD%95%E5%A4%84%E7%90%86%E6%97%B6%E9%97%B4%E5%BA%8F%E5%88%97%E7%9A%84%E7%BC%BA%E5%A4%B1%E6%95%B0%E6%8D%AE/<blockquote> <p>您是否应该删除、插入或估算？ <img alt="img" loading="lazy" src="https://cdn-images-1.readmedium.com/v2/resize:fit:800/0*-ndatVW0okmXOIS1"></p></blockquote>https://hivan.me/posts/%E6%9F%8F%E6%8B%89%E5%9B%BE%E5%BC%8F%E8%A1%A8%E5%BE%81%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E6%B7%B1%E5%BA%A6%E7%BD%91%E7%BB%9C%E6%A8%A1%E5%9E%8B%E6%98%AF%E5%90%A6%E8%B6%8B%E4%BA%8E%E4%B8%80%E8%87%B4/Fri, 24 May 2024 07:03:00 +0800https://hivan.me/posts/%E6%9F%8F%E6%8B%89%E5%9B%BE%E5%BC%8F%E8%A1%A8%E5%BE%81%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E6%B7%B1%E5%BA%A6%E7%BD%91%E7%BB%9C%E6%A8%A1%E5%9E%8B%E6%98%AF%E5%90%A6%E8%B6%8B%E4%BA%8E%E4%B8%80%E8%87%B4/人工智能模型是否正在向现实的统一表征演进？柏拉图表征假说认为，人工智能模型正在趋同。 麻省理工学院最近的一篇论文引起了我的注意，因为它提出了一个令人印象深刻的观点：人工智能模型正在趋同，甚至跨越了不同的模态&ndash;视觉和语言。&ldquo;我们认为，人工智能模型，尤其是深度网络中的表征正在趋同&rdquo;，这是 The Platonic Representation Hypothesis (<a href="https://arxiv.org/abs/2405.07987">https://arxiv.org/abs/2405.07987</a>)论文的开头。https://hivan.me/posts/lstm-%E5%8D%87%E7%BA%A7%E4%BA%86-xlstm-%E6%9D%A5%E6%8C%91%E6%88%98%E7%8E%B0%E7%8A%B6%E4%BA%86/Wed, 22 May 2024 07:03:00 +0800https://hivan.me/posts/lstm-%E5%8D%87%E7%BA%A7%E4%BA%86-xlstm-%E6%9D%A5%E6%8C%91%E6%88%98%E7%8E%B0%E7%8A%B6%E4%BA%86/多年来，一种名为长短期记忆（LSTM）的神经网络一直是处理文本等序列数据的主要模型。LSTM 早在 20 世纪 90 年代就已问世，它善于记忆长程模式，避免了早期递归网络所面临的 &ldquo;梯度消失&rdquo; 技术问题。这使得 LSTM 在语言建模、文本生成、语音识别等所有语言任务中都具有难以置信的价值。在相当长的一段时间里，LSTM 看起来势不可挡。https://hivan.me/posts/%E4%BD%BF%E7%94%A8-unsloth-%E5%BE%AE%E8%B0%83-google-gemma/Mon, 22 Apr 2024 07:03:00 +0800https://hivan.me/posts/%E4%BD%BF%E7%94%A8-unsloth-%E5%BE%AE%E8%B0%83-google-gemma/<h2 id="前言">前言</h2> <p>将自然语言查询转化为代码是 NLP 领域最艰巨的挑战之一。将一个简单的英语问题转换成复杂代码的能力为开发人员的工作效率和快速软件开发生命周期提供了多种可能性。这就是开源大语言模型 Google Gemma 发挥作用的地方。本指南将探讨如何使用 unsloth 微调 Google Gemma，以便从自然语言查询生成代码语句。</p>https://hivan.me/posts/%E5%A6%82%E4%BD%95%E5%9C%A8%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%90%8C%E6%97%B6%E5%AE%9E%E6%96%BD%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1%E5%92%8C%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B-llm/Sat, 20 Apr 2024 07:03:00 +0800https://hivan.me/posts/%E5%A6%82%E4%BD%95%E5%9C%A8%E4%BC%81%E4%B8%9A%E7%BA%A7%E5%90%8C%E6%97%B6%E5%AE%9E%E6%96%BD%E7%9F%A5%E8%AF%86%E5%9B%BE%E8%B0%B1%E5%92%8C%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B-llm/大型语言模型（LLM）和知识图谱（KG）是让更多人访问数据的不同方法。知识图谱使用语义学将数据集通过其含义（即它们所代表的实体）连接起来。LLM 使用向量和深度神经网络来预测自然语言。它们通常都以 &ldquo;解锁 &ldquo;数据为目标。对于实施 KGs 的企业来说，最终目标通常是建立数据市场、语义层、使数据 FAIR 化或使企业更加以数据为中心。这些都是不同的解决方案，但最终目标是相同的：让更多数据更快地提供给合适的人。对于实施 LLM 或其他类似 GenAI 解决方案的企业来说，其目标往往是相似的：为员工或客户提供一个 &ldquo;数字助理&rdquo;，以便更快地将正确的信息提供给正确的人。这种潜在的共生关系是显而易见的：LLM 的一些主要弱点，即它们是黑盒模型，难以处理事实知识，而这正是 KG 的一些最大优势。从本质上讲，KG 是事实的集合，而且完全可以解释。但是，在企业中，KGs 和 LLMs 究竟应该如何结合使用呢？https://hivan.me/posts/%E5%A6%82%E4%BD%95%E5%88%9B%E5%BB%BA%E8%87%AA%E5%B7%B1%E7%9A%84%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B9%A6%E7%AD%BE%E6%90%9C%E7%B4%A2%E5%8A%A9%E6%89%8B/Thu, 18 Apr 2024 07:03:00 +0800https://hivan.me/posts/%E5%A6%82%E4%BD%95%E5%88%9B%E5%BB%BA%E8%87%AA%E5%B7%B1%E7%9A%84%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B9%A6%E7%AD%BE%E6%90%9C%E7%B4%A2%E5%8A%A9%E6%89%8B/「基于 GPT 的书签自动搜索 pipeline 分步指南」 <img alt="img" loading="lazy" src="https://miro.medium.com/v2/resize:fit:700/1*bEPnFU7QPsJF-VkVx9FWgA.png">https://hivan.me/posts/%E8%A7%A3%E9%87%8A%E9%A2%84%E6%B5%8B%E7%9A%84%E8%89%BA%E6%9C%AF/Mon, 01 Jan 2024 00:00:00 +0800https://hivan.me/posts/%E8%A7%A3%E9%87%8A%E9%A2%84%E6%B5%8B%E7%9A%84%E8%89%BA%E6%9C%AF/<blockquote> <p>如何以人性化的方式解释你的模型</p></blockquote>https://hivan.me/posts/%E4%BB%8E%E9%9B%B6%E5%BC%80%E5%A7%8B%E6%8E%A5%E8%A7%A6%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9B%AE%E5%BD%95/Fri, 05 May 2023 07:03:00 +0800https://hivan.me/posts/%E4%BB%8E%E9%9B%B6%E5%BC%80%E5%A7%8B%E6%8E%A5%E8%A7%A6%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9B%AE%E5%BD%95/<blockquote> <p>AGI将成为我们生活中不可或缺的一部分，让我们共同期待并努力实现这一目标。</p></blockquote>