LSTM 升级了? xLSTM 来挑战现状了

多年来,一种名为长短期记忆(LSTM)的神经网络一直是处理文本等序列数据的主要模型。LSTM 早在 20 世纪 90 年代就已问世,它善于记忆长程模式,避免了早期递归网络所面临的 “梯度消失” 技术问题。这使得 LSTM 在语言建模、文本生成、语音识别等所有语言任务中都具有难以置信的价值。在相当长的一段时间里,LSTM 看起来势不可挡。

May 22, 2024 · 2 min · Hivan Du

使用 Unsloth 微调 Google Gemma

前言 将自然语言查询转化为代码是 NLP 领域最艰巨的挑战之一。将一个简单的英语问题转换成复杂代码的能力为开发人员的工作效率和快速软件开发生命周期提供了多种可能性。这就是开源大语言模型 Google Gemma 发挥作用的地方。本指南将探讨如何使用 unsloth 微调 Google Gemma,以便从自然语言查询生成代码语句。

April 22, 2024 · 5 min · Hivan Du

如何在企业级同时实施知识图谱 (KG) 和大型语言模型 (LLM)

大型语言模型(LLM)和知识图谱(KG)是让更多人访问数据的不同方法。知识图谱使用语义学将数据集通过其含义(即它们所代表的实体)连接起来。LLM 使用向量和深度神经网络来预测自然语言。它们通常都以 “解锁 “数据为目标。对于实施 KGs 的企业来说,最终目标通常是建立数据市场、语义层、使数据 FAIR 化或使企业更加以数据为中心。这些都是不同的解决方案,但最终目标是相同的:让更多数据更快地提供给合适的人。对于实施 LLM 或其他类似 GenAI 解决方案的企业来说,其目标往往是相似的:为员工或客户提供一个 “数字助理”,以便更快地将正确的信息提供给正确的人。这种潜在的共生关系是显而易见的:LLM 的一些主要弱点,即它们是黑盒模型,难以处理事实知识,而这正是 KG 的一些最大优势。从本质上讲,KG 是事实的集合,而且完全可以解释。但是,在企业中,KGs 和 LLMs 究竟应该如何结合使用呢?

April 20, 2024 · 2 min · Hivan Du

如何创建自己的人工智能书签搜索助手?

「基于 GPT 的书签自动搜索 pipeline 分步指南」

April 18, 2024 · 2 min · Hivan Du

CnBloggerCon 2012

一年一度的中文网志年会与今晨八点开始,不过没想到的是昨晚就已经完成了开幕式。在 Google+上由Isaac Mao主持开幕 Hangout 视频。可惜我没有看到!

January 1, 2024 · 1 min · Hivan Du

enlight VS snapseed2

![image][1] [本文知乎专栏地址][2] 在 Enlight 出来之前,Snapseed 曾经是我最主要的修图工具。 当然,Enlight 确实是大而全的一款 App,但是使用中,却让我有了无法忍受的一点。那就是丢失部分图片信息。 导出的时候,Enlight 导出所用的格式是 PNG,而 Snapseed 仍然是 jpg 导出。自然大家都知道 PNG 图片所用的格式是无损的,这就是说,Snapseed 导出的图像相比 Enlight 要小很多,因为 iPhone 默认拍照所保存的都是 jpg 格式,所以即便再导出 PNG 格式,那所增加的部分应该是软件通过算法添加进去的。 而,Enlight 在导出的 PNG 格式图片里,却丢失了相机信息,地理位置信息和更重要的拍照时间信息。照片的时间被导出的时间所代替。

January 1, 2024 · 1 min · Hivan Du

FREEDOM

许很多的影片我都应该从新温习一遍。不只是因为我学的就是这个,更重要的是每次看一遍都能理解一些新的东西。

January 1, 2024 · 1 min · Hivan Du

King of pop 2014

I MISS U.

January 1, 2024 · 0 min · Hivan Du

Knock 升级 -- 快速输入管理员密码

本文知乎专栏 还记得之前介绍过的 Knock 么?只需要敲击两下就能快速解锁 Mac 的 app。 ...

January 1, 2024 · 1 min · Hivan Du

M1 安装 Homebrew(ARM)

?> 详情可见作者说明 安装 ARM 版本 Homebrew 必须安装在/opt/homebrew路径下 cd /opt sudo mkdir homebrew sudo curl -L https://github.com/Homebrew/brew/tarball/master | tar xz --strip 1 -C homebrew 如果不进行 sudo 授权,则会报错; 环境变量 本人使用zsh, 所以编辑文件~/.zshrc. 添加如下内容: path=('/opt/homebrew/bin' $path) export PATH ?> 如果是使用bash,请修改~/.bashrc 在终端内执行: source ~/.zshrc 现在可以试试执行brew install graphviz试试看能否正常安装回归树可视化模块; 软件包和迁徙 软件包依然需要使用 X86 版 Homebrew arch -x86_64 启用一个 X86 模式中端,之后运行的命令都在 X86 模式下运行,再次安装 Homebrew /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" !> 注意:要将 ARM 版本 Homebrew 环境变量设置到最前面,此时两个版本共存时会有限启动 ARM 版本,需要运行 X86 版本时,需要手动输入完整路径arch -x86_64 /usr/local/bin/brew ...

January 1, 2024 · 1 min · Hivan Du