会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 怎么运用LLM树立职业KG(知识图)!

怎么运用LLM树立职业KG(知识图)

时间:2025-05-22 18:45:42 来源:锐评时讯 作者:人文 阅读:259次

本文引证地址:

1   KG与LLM完美结合。

大言语模型(LLM)在各种运用范畴中现已取得了明显的成功,可是它常常无法捕捉和把握最新的实际常识。而另一方面,常识图(Knowledge Graph,简称:KG)则具有丰厚的专家常识和实际常识,但它很难以构建,又又不足以处理实际世界常识图谱的动态改变性质和因果推论功用等。因此,自但是然地将KG 和LLM结合起来,各自发挥优势,相得益彰,缔造完美组合。

2   KG帮忙LLM:下降LLM错觉。

我们都知道,LLM 常有错觉(Hallucination)现象,这是源于LLM 缺少:精确性、可解释性和可控性。那么,怎么才干有用下降LLM 的错觉危险呢?其间,常识图(Knowledge Graph,简称:KG)与LLM 的结合,藉由KG 来树立的职业或企业的数据地图,来将各数据与其涵意(Semantics)连结起来,化解上述LLM 的三项缺陷,因此有用削减LLM 的错觉现象。

LLM 天然生成十分善解文句和人意,能够简化常识图中的杂乱数据的查询或检索。因为常识图是实体(Entity)彼此相关的描绘的调集,供给了有关常识图中数据的重要上下文(Context)和内容涵意,以便增强其呼应速度和精确性。因此让LLM 发生更精确、精确且与上下文相关的输出,一起避免成见和错觉。

其典型的途径是:运用RAG(检索增强生成)技能。亦即,LLM 运用RAG 先检索KG 来找到与用户查询最相关的常识。也可透过 根据图的查找(Graph Traversal) 或根据图的嵌入检索(Graph Embedding Retrieval) 来检索KG内的信息。然后,把检索到的KG常识作为上下文,反馈给LLM,所以LLM 就完成根据企业(或职业)内常识而生成呼应了,有用降LLM错觉,进步AI在企业运用的可信度。

3   LLM 帮忙KG:加快建构KG。

方才提到了,KG 是清晰贮存丰厚实际常识的数据结构,但是KG 的构建是吃力又耗时的作业。所以,运用AI 模型(含LLM 等)来帮忙和加快树立KG,是一项高效的战略。例如,运用BERTopic 模型来从自在文本(Text)中萃取主题(Topic)作为候选实体(Entity);接着,运用 LLM(如ChatGPT)来抽取实体之间的联系(Links)。这种战略是充分运用LLM 的强壮上下文了解能力来辨认实体之间的语义联系,尤其在无监督式学习或少数标示数据的情况下,其作用特别好。

4 LLM加快建构KG的典范。

典型的KG建构流程如下:

Step-1:辨认实体(Entity)运用预练习的AI 模型(例如BERTopic 等)从文本中辨认出实体,例如食材、菜品、供货商、烹饪办法等。尤其在缺少足够的标示数据的运用情境中,BERTopic这种无监督式学习的模型能够主动从文本中开掘隐含的语义结构。而且BERTopic 结合了Transformer 编码器和聚类算法,更有利于捕捉文本中的语义联系,来生成较具可解释性的主题,其更能够映像到事务中具有代表性的概念或实体。经由AI 模型萃取出的候选实体只需求少量的人工审阅,来保证候选实体契合事务需求,让KG的建构更简单、更高效。简而言之,此过程的使命是,运用BERTopic 预练习模型来提取种子实体列表,以辅导KG 最相关的实体。这些种子实体保证了实体提取的高相关性,并为后续的三元组提取供给了较高精确度。

Step-2:抽取联系(Link)。

LLM(如ChatGPT)具有强壮上下文了解能力,能够精准辨认出实体之间的语义联系。所以,LLM 很拿手根据上下文,而抽取实体之间的联系。例如:< 菜品包括某种食材> 或< 供货商供给特定食材> 等。所以,运用LLM 来抽取实体之间的联系是可行且有用的,但为了提高精确度,能够规划提示词(Prompt)限制联系类别,来提高精确性。还能够运用LoRA 等微调技能来让LLM 更合适于企业(或职业)运用情境。此战略特别合适运用于企业KG 的构建,例如餐饮业的食材常识图谱,能帮忙企业从很多文本中主动化开掘菜品、食材、供货商、烹饪办法等联系,然后提高数据结构化与运用价值。简而言之,此过程的使命是,运用LLM 进行候选三元组撷取。

Step-3:建构KG。

接着,将抽取出的实体和联系转化为常识图谱的节点(Node)与边(Edge),构成开始的KG。也能够考虑运用图数据库(如Neo4j)来存储和查询它。简而言之,此过程的使命是,进一步收拾并存储萃取的三元组,而且运用图数据库(如 Neo4j)来查询和可视化。

Step-4:KG交融。

接着,将抽取出的实体和联系转化为常识图谱的节点(Node)与边(Edge),构成开始的KG。也能够考虑运用图数据库(如Neo4j)来存储和查询它。最终,针对不同数据来历中同一实体的重复或歧义问题,需求运用实体对齐技能进行交融,保证常识图谱的精确性和一致性。两个实体之间提取的联系可能是抵触的、多样化的或不正确的,这需求透过交融过程來处理的。交融办法有助于谐和抵触联系,有用地整合不同或不正确的联系,例如针对相同实体的不同表达进行交融和标准化,例如「西红柿」和「西红柿」归为同一食材。而且可考虑与外部常识库(如企业内部库)衔接,进行实体消歧或补全。简而言之,此过程的使命是,规划了新颖的交融模块,该模块供给了提取的常识的大局视图,优化三元组、提高KG 质量。

5   结语。

本文阐明运用LLM 来帮忙建构KG 的意图及其典型的流程。例如,从自在文本(如食谱)中主动构建KG,包括:

●   实体(Entities):运用 BERTopic 萃取候选实体(Entities)。主动从文本中发现中心概念,例如食材、菜品称号、烹饪办法等。

●   联系(Links):运用LLM 萃取联系(Links)。根据文本上下文,让LLM主动辨认实体间的联系。例如,食材与菜品的联系、烹饪办法与食材的联系等。

●   三元组(Triples):收拾并存储萃取的三元组(实体1,联系,实体2),构建KG,并运用图数据库来查询和可视化。

综上所述,运用BERTopic 来从无标示的文本主动提取主题,作为候选实体,能大幅削减人工本钱。接着,LLM 来透过上下文了解来主动抽取联系,也削减手动标示需求。这种AI 模型的组合战略,能适用于建构不同范畴的KG,如餐饮、医疗、供给链等。也具有可扩展性,若需求增加新类型的实体或联系,只需调整LLM 的提示词或进行微调即可,也能够节约模型的练习本钱。所以,这是一种颇具有本钱效益的AI 模型组合战略。

内容来源:https://bachduy.com/app-1/judi24,http://chatbotjud.saude.mg.gov.br/app-1/acompanhantes

(责任编辑:人文)

    系统发生错误

    系统发生错误

    您可以选择 [ 重试 ] [ 返回 ] 或者 [ 回到首页 ]

    [ 错误信息 ]

    页面发生异常错误,系统设置开启调试模式后,刷新本页查看具体错误!