摘 要
近期,以ChatGPT为代表的人工智能大语言模型应用快速发展,引发了金融行业对大语言模型及其场景应用的广泛讨论和探索。本文主要从ChatGPT的优势与不足、应用场景等方面进行梳理总结,分析了应用ChatGPT等大语言模型的潜在风险及技术研发面临的挑战,并提出应对措施。
关键词
ChatGPT 大语言模型 应用场景 人工标注
ChatGPT发展概述
(一)ChatGPT是一款人工智能驱动的自然语言处理工具
2022年11月30日,美国开放人工智能(OpenAI)公司推出对话式通用人工智能工具——ChatGPT。因具备出色的语言能力,ChatGPT在上线后很快受到广大用户追捧,在推出后2个月内,活跃用户突破1亿人,成为历史上增长速度最快的消费者应用程序,并引起业界轰动。2023年3月15日,OpenAI发布多模态预训练大语言模型1GPT-4,可接受图像和文本输入,多方面性能实现提升。3月22日,企业级Azure OpenAI GPT-4(国际预览版)服务发布。
ChatGPT是一款通用的大参数预训练自然语言生成模型,其中GPT是“生成式预训练转换器”(Generative Pre-trained Transformer)的缩写。GPT模型经由庞大的互联网语料库训练后,可根据用户输入的文字内容生成对应文字回答,也就是实现常见的聊天问答模式。ChatGPT是GPT模型在改进中诞生的产品,基于GPT-3.5系列模型进行微调而成。GPT系列模型经过多次迭代,模型量级得以提升。从初代GPT到GPT-3,模型参数量从1.17亿个到1750亿个,训练数据量从5GB增加到45TB。ChatGPT强大的功能源于机器学习、神经网络模型及Transformer架构等多种技术模型的积累,在以往模型的基础上具备更大的语料库、更强的计算能力、更通用的预训练、更强的自我学习能力等,具有“敢于质疑”“承认无知”“支持连续多轮对话”“主动承认错误”等优势和特点。
(二)ChatGPT在智能问答、内容创作、翻译等方面能力较强
ChatGPT的问世之所以得到如此强烈的反响,很大程度上是因为其语言能力显著提升,完成了从“人工智障”到“有趣”的转变。相比其他聊天机器人,ChatGPT能给用户带来很强的智能感。
1.对于用户实际意图的理解有明显提升,用户体验良好
AI系统首次具备了思维链能力,即实现了从现象到原理的逻辑推演,能完成各概念间的逻辑推理,具备更强的知识理解能力和上下文学习能力。用户可以通过追加提问的方式,让其不断改进回答内容。通过多轮有效沟通,最终生成的内容重点清晰、有逻辑、有条理。
2.具有较强的文本生成和写作能力
ChatGPT具有按照指令完成任务的能力,在文艺创作类、特定风格类的文本生成方面表现良好。此外,ChatGPT在面对超长篇幅的写作任务时可生成提纲,提纲有先后逻辑、编号顺序、层级标题等。
3.具有优异的机器翻译和跨语种交互能力
ChatGPT翻译结果的流畅程度远超已有的任何机器翻译算法,跨语种交流过程更自然,可实现“以A语种提出问题、以B语种输出结果”,并在各语种俚语、暗喻等复杂语义的理解和转化方面表现出色。
4.具有一定的编程能力
ChatGPT兼容海量知识且富含逻辑的能力特征与编程要求高度契合。ChatGPT可实现辅助编程和代码管理功能,助力软件开发、提高编码效率。
(三)ChatGPT在特定方面仍存在局限性
尽管ChatGPT能力强大,受到广泛欢迎,但由于在数据、模型、标注策略等方面存在局限,其还无法令人完全满意。
1.ChatGPT生成内容的准确性难以保证
ChatGPT并非像搜索引擎一样搜索答案并按算法排序,而是直接生成答案,会输出看似有道理但事实上错误的内容,且用户难以纠正。同时,ChatGPT不能提供合理证据进行可信性验证,导致其不能进行逻辑严密的数学推理。此外,ChatGPT更倾向于生成模糊性对话或不确定回复,在追求唯一事实性答案的情形下并不完全适用。
2.模型的可解释性弱,且可能生成具有偏好性的答案
ChatGPT所使用的Transformer架构属于神经网络模型的范畴,神经网络模型的可解释性较弱,对于ChatGPT生成的答案及其不确定性难以进行合理解释。此外,模型预训练依赖人工标注,且ChatGPT引入了基于人类反馈的强化学习,以使模型的结果更符合人类预期,这导致模型的输出结果在一定程度上反映了标注人员的行为和偏好。比如,模型可能会生成带有偏见或政治敏感性的答案,或更加冗长但全面的答案。
3.ChatGPT无法处理复杂的、专业领域的语言结构
目前,ChatGPT模型的训练数据来自互联网的公开语料,而非某个专业领域的知识库。因此,对于来自数学、金融、医学等某个特定领域的专业问题,ChatGPT生成的回答专业度不足,准确性和可信度难以保证。
ChatGPT的应用分析
(一)ChatGPT在众多场景中有广阔的应用空间
ChatGPT以其强大的语言能力掀起了AI领域的技术巨浪,给各行各业带来巨大机遇。未来,以ChatGPT为代表的人工智能生成技术(AI Generated Content, AIGC)的商业化应用将进一步成熟,在部分内容需求丰富的行业中有望取得积极进展。目前,ChatGPT相关技术的应用场景及产品主要如下。
1.交互式客户服务
ChatGPT可以快速回答用户提出的问题,24小时无间断提供对话聊天、信息检索等服务。ChatGPT能结合上下文进行连续对话,提供个性化回复,与检索型问答机器人相比,用户体验更胜一筹。依托高质量的文本生成能力,ChatGPT可基于用户画像生成营销文案,有针对性地提供营销策略、个性化推荐方案等。
部分保险公司已在内部测试类ChatGPT应用,让AI机器人以文本或语音形式独立完成保险营销等简单工作,比如向客户介绍条款相对简单的短期保险产品、解答客户提出的问题等。某电商计划将AIGC和ChatGPT相关技术应用于用户售前咨询和产品基础信息展示等。未来有望通过ChatGPT技术实现类似真人的交互式对话,丰富商品卖点的内容与形式。
2.智能化投研风控管理
ChatGPT可以整合各类数据源并进行文本分析。比如,使用ChatGPT获取社交媒体、新闻报道等内容,对市场舆情和投资者情绪进行分析,挖掘潜在投资机会或风险点,生成投研报告,提出投资建议或进行风险预警。ChatGPT还可应用于信贷评估、欺诈检测、投资决策辅助等领域。
部分银行尝试将ChatGPT技术融入风险评估、精准营销等领域,从而更迅速地满足客户在不同场景下的金融需求。如某互联网券商推出AI投资助手,将其内置于交易平台,为用户提供智能的全球投资决策支持。
3.自动化文本及数据处理
ChatGPT可识别多种语言,实现快速翻译、语法检查、文本改进等功能,并可根据指令提示生成表格、图片。同时,ChatGPT能根据要求制作表格,如增加行列、进行表内计算等。经进一步提示后,ChatGPT可给出计算公式或应用程序自动化任务执行宏语言(Visual Basic for Applications, VBA)代码,帮助用户在表格处理软件Excel中实现复杂的计算功能。
已有互联网公司探索大语言模型在文案自动创作与生成、个人办公助理、图文视频创作,以及音乐创作、音乐推荐和搜索等领域的应用。目前,OpenAI的投资方微软(Microsoft)已将ChatGPT内嵌到其搜索引擎中,并在浏览器整合AI绘图功能。微软旗下语音识别子公司推出AI临床笔记软件,用于快速自动生成病人临床笔记草稿。此外,微软推出人工智能驱动的办公(Office)助手Microsoft 365 Copilot,以及为网络安全专业人士量身定制的GPT-4 AI助手Security Copilot,助力实现智能、高效的办公环境和网络安全管理。国内也有研究团队推出“职场神器”ChatExcel。
4.辅助编程及代码管理
ChatGPT可生成代码框架、编写代码片段和测试案例、辅助进行代码调试。此外,还可辅助生成程序文档,解释代码功能,添加代码注释,进行代码语法错误检查和智能优化,完成代码审计等。例如,在智能生成结构化查询语言(SQL)方面,用户可使用ChatGPT编写SQL语句、调试SQL代码、提供SQL语法信息和优化提示等。
部分银行尝试运用ChatGPT技术提高软件开发生产力。银行科技人员通过与ChatGPT进行交互问答,让ChatGPT给出简单的演示模型,并确定代码的基本编写方案。科技人员还可通过ChatGPT编写代码的基本框架,经由代码生成模型Codex2得到代码,通过人工润色与审查后,完成整体代码的编写。
(二)GPT模型有望成为债券领域的科技化赋能工具
国内多家券商尝试开发类ChatGPT产品,探索相关技术在证券业务中的应用场景。未来通过使用债券领域相关语料库对GPT模型进行针对性训练,有望使GPT模型在智能客服、债券投顾、风险控制、报告撰写等债券业务场景中应用落地,推动债券业务智能化发展。
1.AI客服
聊天机器人是金融机构常见的客户服务形式,目前通常为基于规则或预定义脚本的自动化程序,只能执行特定的任务。金融机构结合专业、规范的金融知识库,利用GPT模型优秀的自然语言理解能力和连续对话功能,可以进一步升级智能客服系统,为客户提供债券业务咨询服务,如解答政策法规、查询债券信息、问询业务流程,还可作为线上路演助理推荐债券产品、解答投资者疑问等。
2.AI投资研究及风险控制
通过插件授予GPT模型访问第三方数据库及网络的权限,GPT模型可查询实时的债券信息、经济指标、新闻舆情等数据。在此基础上,GPT模型可对所获取数据进行分析,提供债券领域的研究参考,通过人机合作完成宏观策略研究、行业研究、动态追踪、舆情监测等报告。此外,GPT模型通过获取企业财务信息、资信情况、舆情信息等内容,可以进一步在债券业务的尽职调查、存续期管理、风险预警等环节发挥支持作用,实现智能化风险识别与管理。
3.智能化投行业务
投行从业者需要撰写大量固定格式的文档材料,如债券募集说明书、尽职调查报告等,人工撰写往往耗时费力。可利用GPT模型在文本自动化生成方面的优势,训练GPT模型从相关基础材料中提取有效信息,并按照固定格式生成所需文档。在此基础上,可使用GPT模型对生成文档内容进行校对检查,降低人工操作风险,促进投行业务提质增效。
4.AI培训
可以将GPT模型应用于债券市场从业者学习培训中,借助GPT模型为不同背景的受训人员定制个性化课程教案和培训计划,解答培训过程中的问题。特别是针对以网络培训为主要形式的债券业务培训,可探索增加线上智能互动问答,通过互动式的学习方式实时为学员提供难点分析、问题解答等相关支持。
关于ChatGPT的思考
以ChatGPT为代表的人工智能技术的持续、快速发展将对许多领域产生广泛而深远的影响。同时也应意识到,大语言模型的局限性为ChatGPT等产品的应用带来潜在风险,相关技术的研发也面临挑战。
(一)使用ChatGPT存在潜在风险,需要积极采取应对措施
1.应用ChatGPT的潜在风险
因ChatGPT本身的工作原理及程序漏洞,其已在世界范围内曝出多起敏感数据泄密事件。美国技术伦理组织要求美国联邦贸易委员会阻止OpenAI发布新的GPT商用版本,并对OpenAI展开调查。意大利、德国、加拿大、西班牙、法国等多国相关部门宣布对OpenAI展开调查,甚至禁止使用ChatGPT。2023年4月5日,OpenAI发布题为《我们的人工智能安全方法》(Our Approach to AI Safety)的文章,介绍该公司为确保AI模型安全性所进行的部署。OpenAI表示,其努力在可行的情况下从训练数据集中删除个人信息、微调模型,以拒绝对私人信息的请求,并且响应用户从OpenAI系统中删除个人信息的请求。
在此背景下,本文将应用ChatGPT相关技术的潜在问题与风险总结如下。
一是ChatGPT相关应用暂未在中国开放。国内用户需以国外IP地址访问ChatGPT方可体验相关服务。使用未获合法许可的国外网络服务将违反《中华人民共和国计算机信息网络国际联网管理暂行规定》。
二是产生误导性内容或不当信息。使用ChatGPT生成的内容可能不准确或具有误导性,或涉及人身攻击、诽谤、恐吓等不当行为,从而导致使用ChatGPT的服务提供方承担相应的法律风险。
三是隐私泄露风险。若用户输入了个人数据或商业秘密等信息,ChatGPT在进一步训练和扩展模型时可能将其纳入自身语料库,从而产生隐私泄露的风险。
四是侵害知识产权风险。ChatGPT的可解释性较弱,属于黑箱模型,无法给出问答结果所依据的具体知识和信息来源,生成的内容可能会产生侵犯商标权、专利权等知识产权的风险。
五是可能面临监管风险。ChatGPT作为新兴技术,在与具体场景结合的过程中有可能出现风险事件,进而导致监管部门对技术应用给予关注,出台限制性规定。
2.应对潜在风险的措施
ChatGPT广泛的应用场景令使用者面临较大的合规风险与合规责任。对于金融行业,ChatGPT可能带来的上述风险不容忽视。一旦发生客户隐私和数据泄露,或传播误导性信息,将可能影响金融市场的稳健运行,危害国家金融安全。2023年4月10日,中国支付清算协会发布《关于支付行业从业人员谨慎使用ChatGPT等工具的倡议》,要求支付行业从业人员在使用ChatGPT等工具时,严格遵守国家及行业相关法律法规要求,不上传国家及金融行业涉密文件及数据、本公司非公开的材料及数据、客户资料、支付清算基础设施或系统核心代码等。
在开展类ChatGPT产品的研究及应用时,建议积极采取风险应对措施。一是充分研究相关法律法规,以审慎态度应对风险。我国对于AI的监管走在世界前列,于2023年1月10日施行的《互联网信息服务深度合成管理规定》是对ChatGPT及类似项目最核心的监管法规。4月11日,《生成式人工智能服务管理办法(征求意见稿)》向社会公开征求意见。AI产品的研发应用应在相关法律框架下建立数据隐私保护、内容过滤、内容审查、知识产权保护、责任认定等方面的实施规范。二是需深入AI系统的全生命周期进行审查,建立每个具体环节的管理制度,包括制定语料库的筛选标准、培训人工标注人员、考察开发者价值观、教育使用者等。三是探索场景化和精细化的数据及算法治理机制,充分考虑算法决策的主体类型和作用类别。四是加强对AI的伦理规制,将伦理道德纳入AI研发和应用的全过程,增强伦理意识和行为自觉,对参与研发的人员进行规范性培训和积极引导。
(二)大语言模型在金融领域的应用挑战与机遇并存
随着大语言模型在对话式知识库、智能客服等场景的落地,其在金融领域的应用前景愈发广阔。如何应对ChatGPT相关技术带来的机遇和挑战是金融机构面临的重要课题。
1.大语言模型在金融领域的落地仍有诸多挑战
一是技术难度大、配套产品要求多。大语言模型涉及深度学习框架支撑、模型训练、数据收集清洗标注、算力调度、分布式训练等诸多技术,对金融机构配套基础设施的要求较高。
二是大语言模型技术选型难。该项技术发展迅猛、迭代速度快,短短数月内已有十余款大语言模型发布,在模型效果评估、本地化部署运行、二次训练效果评估、对基础设施要求等方面,选型评估难度较大。
三是合规使用难。金融行业对合规使用要求高,但大语言模型基于概率推理,难以保证结果的准确性,且知识更新依赖模型训练,成本高、效率低,在模型公平、数据安全、隐私保护等方面的合规应用还需持续探索。
四是数据处理和算力成本高。金融行业数据和场景具有敏感性,使用大语言模型需进行本地化部署运行,甚至本地化模型训练,以上过程均需要庞大的图形处理器(GPU)算力资源作为支撑,并进行大量的数据收集、清洗、标注等工作,资源投入较大。
2.对应用大语言模型的相关建议
一是加强人才队伍建设。技术变革促进行业发展,同时带来对人才队伍补充和新建的需求。金融行业应重视AI人才队伍的建设,补充高水平、高层次、关键岗位人才。
二是夯实新技术基础设施的建设,推动云平台、数据采集标注、模型训练工具等AI工程化平台工具和技术基础设施的搭建与升级,为大语言模型的训练和运行提供基础支持。
三是保持技术的开放性,吸收商业模型和开源模型相关经验,提升大语言模型的插件化服务能力,保持技术架构良好的扩展性和兼容性。同时,形成一套大语言模型评估方法,结合实际需求进行模型选型评估。
四是探索增强使用的可信性。金融机构可在预训练基础模型的基础上添加自身数据进行二次训练,增强模型的可信性。此类探索要求使用高质量的金融数据,在应用场景侧做好风险管控,提升应用规范性及对大语言模型应用的风险认知,防控业务应用风险。
注:
1.大语言模型(LLM)是一种人工智能模型,旨在理解和生成人类语言。该模型基于大量的文本数据进行训练,可以执行广泛的任务,包括文本理解、翻译、情感分析等。GPT模型所使用的Transformer框架为目前流行的大语言模型之一。
2.Codex是OpenAI研发的一个拥有人类自然语言模型编程能力的人工智能接口,可以将人类自然语言翻译成对应的编程语言,帮助程序员更加轻松、高效地完成编码工作。
◇ 本文原载《债券》2023年6月刊
◇ 作者:中央结算公司深圳分公司 李紫菡
中央结算公司深圳分公司 周双双
中央结算公司深圳分公司 唐国恒
中央结算公司深圳分公司 沈英格
金科公司人工智能课题组 高兰兰
◇ 编辑:涂晓枫 刘颖
推荐阅读
中债研报
权威报告
特别策划
中债品牌活动
联系我们