网站备案撤销再备案湖北住房城乡建设厅网站

网站备案撤销再备案,湖北住房城乡建设厅网站,wordpress 微信图标,沈阳网络科技公司排名Embedding (词向量) 是大语言模型把“人类语言”翻译成“计算机能懂的数学语言” 的那个关键步骤。在计算机的世界里#xff0c;它根本不知道什么是“苹果”#xff0c;什么是“悲伤”。它只认识数字。Embedding 的作用#xff0c;就是把每一个字、每一个词#xff0c;变成…Embedding (词向量)是大语言模型把“人类语言”翻译成“计算机能懂的数学语言”的那个关键步骤。在计算机的世界里它根本不知道什么是“苹果”什么是“悲伤”。它只认识数字。Embedding 的作用就是把每一个字、每一个词变成一串神秘的数字列表向量。但这串数字不是乱编的它包含了一个惊人的魔法数字之间的距离代表了词与词之间含义的距离。1.️ 核心比喻语言的 GPS 坐标想象一下我们把世界上所有的词语都扔进一个巨大的多维空间里。Embedding就是给每一个词分配一个坐标。原则意思相近的词坐标必须靠得近意思无关的词坐标要离得远。 举个例子苹果 (Apple)的坐标可能是[0.9, 0.1, -0.5]香蕉 (Banana)的坐标可能是[0.8, 0.2, -0.4]汽车 (Car)的坐标可能是[-0.8, 0.5, 0.9]计算机一算距离“苹果”和“香蕉”的坐标数字很像距离近所以计算机懂了“这俩是一类东西。”“苹果”和“汽车”的坐标差很远计算机懂了“这俩没关系。”这就是 Embedding 的本质将语义 (Meaning) 转化为几何距离 (Distance)。2. 著名的数学魔法King - Man Woman ?Embedding 最让人震惊的特性是它能进行语义加减法。经典的例子是如果你拿出 “国王 (King)” 的坐标向量减去 “男人 (Man)” 的坐标向量再加上 “女人 (Woman)” 的坐标向量结果会惊人地接近 “女王 (Queen)” 的坐标向量。King - Man Woman ≈ Queen这意味着模型不仅仅是死记硬背了这些词它真正理解了性别和地位这种抽象的概念关系。3. 维度 (Dimensions)更复杂的意义刚才我们用的坐标是 3 个数字3维。但在真实的 LLM如 GPT-4中一个词的 Embedding 向量可能有1536 维甚至更多。第 1 维可能代表“是否有生命”第 2 维可能代表“颜色”第 3 维可能代表“情绪色彩”...第 1536 维可能代表某种人类都说不清的微妙语感。维度越高模型对这个词的理解就越细腻。4. Embedding 在哪里用RAG 的核心现在市面上RAG (检索增强生成)十分流行而Embedding 就是 RAG 的心脏。为什么传统的关键词搜索Keyword Search不好用用户搜“怎么去油渍”数据库里有一篇文章叫“如何去除衣服上的污点。”传统搜索找不到。因为“去”和“去除”字不一样“油渍”和“污点”字不一样。Embedding 搜索向量搜索 /VectorSearch怎么做把用户的搜索词变成向量。把数据库里的文章标题也变成向量。计算向量距离。结果虽然字不一样但因为“去油渍”和“去除污点”在语义空间里靠得很近AI 瞬间就能把这篇文章找出来。这就是为什么现在的 AI 搜索如 Perplexity那么聪明因为它懂的是意思而不是字面。总结Embedding (词向量)是 AI 世界的“罗塞塔石碑”。它把文字变成了坐标。它把思考变成了计算计算距离。没有 Embedding大模型就无法理解我们说的话而有了 Embedding计算机终于可以通过数学公式来推演人类语言中那些微妙的爱恨情仇。