查阅将所需的有效信息进行提取,再把这些信息标记在论文资源上供人们定位和使用。这就要求负责这项工作的人具有相当专业的知识,世界各地,各行各业,每天都会产生大量文章,信息提取的效率相当重要,怎么才能避免资源浪费,就是一个待解决的问题。随着大语言模型的兴起,诞生了检索增强生成技术,它从大量的文本数据中提取出有用的信息,并对这些信息进行分析和处理,为用户提供更全面、更准确的信息服务。基于此,选取检索增强生成技术来对大量文献进行信息提取,相较于先前的人工查阅降本增效,安全性高。我选择的数据对象是,电力行业LcA英文文献。第二部分我将介绍我本次研究最核心的关键技术。检索增强生成技术。大语言模型的知识包括,自己本身的知识,用户的前置输入,和联网或者检索专业的知识库所获取的知识,将这三部分结合,便是检索增强生成所包含的内容。说的再直白一点,就是让大语言模型外挂一个知识库,或联网搜索,去抽取到相关知识,是检索。把专业的知识和提问一起,送给大语言模型归纳生成,生成一个更准确的答案,是增强,最后返回给用户,即为检索增强生成。第三部分则是我的系统介绍。针对我的研究题目:基于大语言模型(LLm)的英文文献解析,我将我的研究系统分为了三个模块。数据处理模块主要包括对电力LcA这个特定领域的英文文献进行选择和初步处理,而后将有关数据全部转化成结构化数据。知识库构建模块主要是将数据向量化并构建向量知识库。chatbot构建分为功能部分和前端部分,功能包括基于openAI的大语言模型基座调用、知识库检索、在线检索;前端部分为web可视化以及UI设计。首先是数据处理模块。数据的范围,我选择了常见的五种发电方式,火力,水力,太阳能,核能,风能。确定每个主题的关键词和大主题生命周期评价后记录所有可能出现的形式,比如说,生命周期评价出现在论文里,可能是LcA,也可能是lifecycle assessment,罗列所有可能性,做到不遗漏数据。
关注一个产业或行业的生命周期评价(LcA)具有重要的作用和意义,通过全面评估其在整个
生命周期中与环境和资源相关的影响,LcA 能够帮助识别影响源和热点,并为制定环境政策、管理
措施和产品设计提供科学依据,推动行业向着更加环保和可持续的方向发展,同时也有助于提高消
费者和企业对可持续生产和消费模式的认识和推广。
对于电力行业而言,关注 LcA,不仅有助于推动电力行业朝着更加环保和可持续的方向发展,
而且对电力企业的生产和管理方式进行优化,降低环境负担,提高资源利用效率。此外,电力行业
的 LcA 结果还能引导政府制定能源政策和支持环保技术发展,增强企业和消费者对可持续发展的意
识,促进清洁能源转型和技术创新。综合而言,电力行业的生命周期评价不仅对行业发展产生重要
影响,还有助于推动整个社会迈向更加可持续的未来。
鉴于此,本文选取有关于电力行业的 LcA 的英文文献作为数据,对其中的结构化数据和非结构
化数据进行解析,来帮助大语言模型为决策者提供帮助,更高效地为电力行业的发展和管理提高决
策支持。
1.2 研究目的与意义
1.2.1 研究目的
本论文研究目标为,将有关电力行业 LcA 的英文文献进行解析,提取其中文本、表、图等不同
格式化与非格式化信息,构建向量数据库,提高电力行业 LcA 信息提取准确性,从而帮助研究人员
快速获取论文的主要内容、创新点、研究方法、数据来源等信息,以及论文的贡献、局限和未来研
究方向,并基于实际数据进行测评。具体研究目标如下:
(1)通过文件装载分割以及元数据获取的方法,对电力行业 LcA 的英文文献中不同格式数据进
行解析,将文献大致分区,便于分类和文本提取,提高解析准确性。
(2)通过对电力行业 LcA 的英文文献的解析,构建向量数据库,通过调用该向量数据库,提升
大模型回答关于电力行业 LcA 时效性问题与专业性问题的能力,增强大语言模型对于电力行业 LcA
问题分析的能力。
(3)通过实际数据对该数据库进行测评,分析该数据库回答专业性问题与时效性问题的能力。
1.2.2 研究意义
大语言模型处理论文具有重要的理论意义,一方面促进了语言理解与生成研究,推动了对语言
模型和语言生成算法的深入探索;另一方面,通过