大語(yǔ)言模型在商業(yè)銀行的應(yīng)用｜金融與科技
分類(lèi): 最新資訊
育兒詞典
編輯 : 育兒知識(shí)
發(fā)布 : 02-23
閱讀 :215
文/中國(guó)銀行企業(yè)級(jí)架構(gòu)建設(shè)辦公室資深經(jīng)理宋首文隨著以ChatGPT為代表的生成式人工智能的爆發(fā)式發(fā)展，針對(duì)大語(yǔ)言模型的研究和產(chǎn)業(yè)應(yīng)用成為科技界的熱點(diǎn)領(lǐng)域。在金融業(yè)，大語(yǔ)言模型能夠應(yīng)用在智能客服、智能營(yíng)銷(xiāo)、智能投顧、智能辦公、智能風(fēng)控等諸多場(chǎng)景，從而為銀行轉(zhuǎn)變管理模式、提升服務(wù)質(zhì)效提供有效助力，也已成為未來(lái)銀行數(shù)字化轉(zhuǎn)型的路徑依賴(lài)。同時(shí)應(yīng)用大語(yǔ)言模型過(guò)程中，也要對(duì)其中可能蘊(yùn)含的數(shù)據(jù)風(fēng)險(xiǎn)、模型風(fēng)險(xiǎn)和決策風(fēng)險(xiǎn)等潛在風(fēng)險(xiǎn)因素保持清醒認(rèn)識(shí)，并采取合理措施予以防控。引言黨的二十大報(bào)告提出，要實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略，開(kāi)辟發(fā)展新領(lǐng)域新賽道，不斷塑造發(fā)展新動(dòng)能新優(yōu)勢(shì)，構(gòu)建包括人工智能技術(shù)在內(nèi)的一批新增長(zhǎng)引擎。近期召開(kāi)的中央金融工作會(huì)議強(qiáng)調(diào)，要做好五篇金融大文章，其中包括科技金融與數(shù)字金融。金融業(yè)因其信息豐富、數(shù)據(jù)龐雜、知識(shí)專(zhuān)業(yè)、人才密集等天然特征，擁有與大模型深度結(jié)合的基因，因而成為大模型應(yīng)用落地的重要場(chǎng)景。2022年11月30日，OpenAI推出ChatGPT，引發(fā)了全球范圍內(nèi)的新一輪AI狂潮，科技巨頭紛紛涌入賽道加速布局。隨著微軟率先將GPT-4應(yīng)用于搜索引擎，國(guó)內(nèi)科技領(lǐng)軍企業(yè)百度、華為、阿里等也加快了大模型的開(kāi)發(fā)和應(yīng)用，先后推出了文心一言、盤(pán)古、通義千問(wèn)等大模型產(chǎn)品。今年3月，彭博推出了應(yīng)用于金融業(yè)的大語(yǔ)言模型BloombergGPT，引發(fā)了市場(chǎng)對(duì)金融領(lǐng)域大模型的關(guān)注。大模型技術(shù)發(fā)展帶來(lái)的產(chǎn)業(yè)變革將成為科技金融、數(shù)字金融發(fā)展的重要推動(dòng)力。目前，銀行業(yè)正加速推進(jìn)數(shù)字化轉(zhuǎn)型。數(shù)字化轉(zhuǎn)型的愿景就是要利用數(shù)字化手段提升企業(yè)管理和服務(wù)水平，強(qiáng)化創(chuàng)新能力，發(fā)展新業(yè)務(wù)模式。國(guó)內(nèi)多家銀行已積極探索大模型應(yīng)用場(chǎng)景。如農(nóng)業(yè)銀行推出了ChatABC大模型，工商銀行在遠(yuǎn)程銀行、智慧辦公、研發(fā)等企業(yè)內(nèi)部場(chǎng)景進(jìn)行了大模型應(yīng)用的初步探索，招商銀行重點(diǎn)應(yīng)用于全流程財(cái)富管理，投產(chǎn)了FinGPT創(chuàng)意中心等。大模型的發(fā)展及特點(diǎn)大語(yǔ)言模型（后續(xù)簡(jiǎn)稱(chēng)大模型）是大規(guī)模語(yǔ)言模型（Large Language Model）的簡(jiǎn)稱(chēng)，是一種網(wǎng)絡(luò)參數(shù)規(guī)模達(dá)到億級(jí)以上的深度學(xué)習(xí)復(fù)雜神經(jīng)網(wǎng)絡(luò)算法，能夠自動(dòng)從大量的非結(jié)構(gòu)化數(shù)據(jù)中學(xué)習(xí)、處理數(shù)據(jù)和生成結(jié)果，具有解決復(fù)雜問(wèn)題的理解能力，向用戶輸出個(gè)性化內(nèi)容。與過(guò)去自然語(yǔ)言處理（NLP）領(lǐng)域常見(jiàn)的算法和模型不同，大模型能夠充分挖掘海量未標(biāo)注數(shù)據(jù)蘊(yùn)含的信息，這為大模型帶來(lái)了突破性的語(yǔ)義理解和泛化輸出能力。以ChatGPT為代表的大模型在許多復(fù)雜的NLP任務(wù)上給出了前所未有的出色表現(xiàn)。在ChatGPT火爆出圈之后，許多其他領(lǐng)域的生成式人工智能產(chǎn)品也相繼涌現(xiàn)，如自動(dòng)編程輔助工具CopilotX、AI繪畫(huà)生成工具Stable Diffusion、智能視頻生成工具pika等，這些產(chǎn)品正在深刻地改變?nèi)藗児ぷ骱蜕畹姆绞?，也將?duì)未來(lái)許多行業(yè)的商業(yè)模式帶來(lái)深遠(yuǎn)影響。大模型的發(fā)展歷程作為NLP領(lǐng)域的前沿技術(shù)，大模型的發(fā)展史與人類(lèi)探尋機(jī)器處理語(yǔ)言的歷程密不可分。在NLP發(fā)展過(guò)程中，其基本思路由以人為設(shè)定的規(guī)則為主，逐步演化為基于統(tǒng)計(jì)歸納和深度學(xué)習(xí)的模型處理?？傮w來(lái)看，大模型的發(fā)展經(jīng)歷了如下幾個(gè)階段：萌芽期（1950—2005）：以CNN為代表的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型階段。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡(jiǎn)稱(chēng)CNN）是一類(lèi)包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一。CNN通過(guò)卷積操作來(lái)提取輸入數(shù)據(jù)的局部特征，并通過(guò)池化層減小數(shù)據(jù)的空間尺寸，最終通過(guò)全連接層實(shí)現(xiàn)分類(lèi)，主要應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域，如圖像識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)奠定了深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)等領(lǐng)域的基礎(chǔ)，為后續(xù)大模型的發(fā)展提供了關(guān)鍵的技術(shù)經(jīng)驗(yàn)支持。成長(zhǎng)期（2006—2019）：以Transformer為代表的全新神經(jīng)網(wǎng)絡(luò)模型階段。在這一階段，Word2Vec模型和GAN（對(duì)抗式生成網(wǎng)絡(luò)）相繼誕生，深度學(xué)習(xí)進(jìn)入了生成模型研究的新階段。2017年，Transformer架構(gòu)是由Google創(chuàng)造性地提出的。這是一種基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不再依賴(lài)于卷積或循環(huán)結(jié)構(gòu)，而是通過(guò)自注意力機(jī)制來(lái)處理輸入序列，用于自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等方面，并由此奠定了大模型的算法架構(gòu)基礎(chǔ)。爆發(fā)期（2020年至今）：以GPT為代表的預(yù)訓(xùn)練大模型階段。生成式預(yù)訓(xùn)練轉(zhuǎn)換器（Generative Pre-trained Transformer，簡(jiǎn)稱(chēng)GPT）是一種基于Transformer架構(gòu)的生成式預(yù)訓(xùn)練模型，經(jīng)由龐大的語(yǔ)料庫(kù)訓(xùn)練后，可根據(jù)用戶輸入的文字內(nèi)容生成對(duì)應(yīng)文字回答。隨著模型規(guī)模的增加，GPT具有更強(qiáng)大的學(xué)習(xí)和生成能力。2022年11月，OPENAI推出ChatGPT3.5，在智能問(wèn)答、內(nèi)容創(chuàng)作、翻譯等方面的能力顯著提升。GPT模型在自然語(yǔ)言處理領(lǐng)域取得了重大的突破，推動(dòng)了預(yù)訓(xùn)練大模型在人工智能領(lǐng)域的快速發(fā)展。2023年12月，谷歌公司發(fā)布人工智能大模型Gemini。它包括三個(gè)版本：功能最強(qiáng)的Gemini Ultra被定位為GPT-4的競(jìng)爭(zhēng)對(duì)手；Gemini Pro是中端版本，適用于多任務(wù)處理；而Gemini Nano則用于特定任務(wù)和移動(dòng)端設(shè)備。目前，Gemini Pro版本已率先上線并實(shí)裝至谷歌聊天機(jī)器人Bard中。在官方發(fā)布的演示中，通過(guò)合理輸入提示詞，Gemini表現(xiàn)出較強(qiáng)的邏輯推理、互動(dòng)、創(chuàng)作和解決問(wèn)題的能力，包括跟蹤游戲內(nèi)容、識(shí)別手勢(shì)、給出正確的行星排列順序等。且由于Gemini是原生多模態(tài)大模型，即強(qiáng)調(diào)訓(xùn)練過(guò)程中就采用多模態(tài)數(shù)據(jù)輸入，因此其在處理多模態(tài)任務(wù)方面相較于GPT-4版本具有優(yōu)勢(shì)，例如可基于大量論文數(shù)據(jù)生成對(duì)比分析圖表等。Gemini的發(fā)布標(biāo)志著生成式人工智能領(lǐng)域進(jìn)入了谷歌與OpenAI兩大陣營(yíng)兩強(qiáng)“軍備競(jìng)賽”的階段，將有助于大模型整體的多元化創(chuàng)新發(fā)展，行業(yè)的頭部效應(yīng)也將更加明顯。大模型基本邏輯及技術(shù)特點(diǎn)以GPT為代表的大模型在處理文本時(shí)的基本邏輯是采用自回歸的預(yù)測(cè)方式，基于前一個(gè)語(yǔ)句的單詞來(lái)生成下一個(gè)詞，它通過(guò)在大規(guī)模文本數(shù)據(jù)集上進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練來(lái)掌握語(yǔ)言的統(tǒng)計(jì)特征和語(yǔ)義表示，學(xué)習(xí)單詞之間的關(guān)系、句子的語(yǔ)法信息和文本的上下文語(yǔ)義。GPT是基于Transformer架構(gòu)建立的，自2017年被Google提出后，Transformer已成為了BERT、GPT等預(yù)訓(xùn)練模型的核心結(jié)構(gòu)。Transformer架構(gòu)相較于過(guò)去運(yùn)用較多的LSTM等模型，能夠在處理長(zhǎng)文本時(shí)更好地捕捉間隔較長(zhǎng)的語(yǔ)義關(guān)聯(lián)，同時(shí)，它能夠高效利用GPU進(jìn)行分布式訓(xùn)練，顯著提升建模效率。至此，Transformer架構(gòu)已成為NLP領(lǐng)域最主流、應(yīng)用最廣泛的架構(gòu)。典型的Transformer架構(gòu)包含一個(gè)編碼器（Encoder）和一個(gè)解碼器（Decoder）。其中，編碼器用于學(xué)習(xí)輸入序列的表示，解碼器用于生成輸出序列。對(duì)于輸入的文本，Transformer架構(gòu)首先會(huì)對(duì)其進(jìn)行轉(zhuǎn)換，將其編碼為詞向量和位置信息，使模型獲取輸入的每個(gè)單詞和其在整個(gè)序列中的位置。隨后，編碼器會(huì)對(duì)編碼后的數(shù)據(jù)采用專(zhuān)注力機(jī)制進(jìn)行處理，計(jì)算輸入序列中每個(gè)位置與其他位置之間的關(guān)聯(lián)程度，從而為每個(gè)位置分配不同的權(quán)重。這些權(quán)重信息體現(xiàn)了不同語(yǔ)句元素的重要性，代表了模型所捕捉到的序列中的關(guān)聯(lián)信息。而在解碼器模塊，會(huì)再次通過(guò)專(zhuān)注力機(jī)制，并經(jīng)過(guò)多層神經(jīng)網(wǎng)絡(luò)的計(jì)算，給出最終的輸出詞預(yù)測(cè)概率。相較于傳統(tǒng)的NLP模型，基于Transformer架構(gòu)的大模型具有如下顯著特征：海量磅礴的數(shù)據(jù)規(guī)模盡管對(duì)何種規(guī)模的模型稱(chēng)其為“大”，還沒(méi)有官方的定義，早期的大模型參數(shù)一般在百萬(wàn)、千萬(wàn)級(jí)別，而目前NLP領(lǐng)域的大模型具有的參數(shù)往往在數(shù)十億數(shù)量級(jí)之上。以GPT-3版本為例，其擁有的參數(shù)達(dá)到1750億個(gè)，為完成訓(xùn)練所需要的語(yǔ)料庫(kù)數(shù)據(jù)量達(dá)到45TB之巨。大模型帶來(lái)的卓越性能表現(xiàn)離不開(kāi)海量基礎(chǔ)數(shù)據(jù)的積累和強(qiáng)大基礎(chǔ)計(jì)算資源的支撐。智能強(qiáng)大的涌現(xiàn)能力在模型規(guī)模不斷拓展過(guò)程中，一旦突破某個(gè)閾值，其在語(yǔ)義理解、邏輯推理等復(fù)雜任務(wù)上的性能表現(xiàn)就會(huì)顯著提升，這類(lèi)帶來(lái)“質(zhì)變”的能力被稱(chēng)為“涌現(xiàn)能力”。大模型所體現(xiàn)出的涌現(xiàn)能力主要包括強(qiáng)大的上下文學(xué)習(xí)能力和知識(shí)推理能力等，ChatGPT在很多場(chǎng)景下表現(xiàn)出很高的“理解”的智慧。跨語(yǔ)言跨領(lǐng)域的泛化能力對(duì)機(jī)器學(xué)習(xí)模型而言，泛化能力是指將學(xué)習(xí)到的知識(shí)、經(jīng)驗(yàn)和策略應(yīng)用到新領(lǐng)域、新場(chǎng)景下的能力，這也是人們始終追求的通用人工智能的關(guān)鍵能力。大模型在處理與訓(xùn)練數(shù)據(jù)集不同的主題或風(fēng)格的內(nèi)容時(shí)能給出良好的表現(xiàn)，可以在未經(jīng)過(guò)直接訓(xùn)練的語(yǔ)言上較好地執(zhí)行任務(wù)，也能夠應(yīng)對(duì)各種不同的場(chǎng)景，如文本摘要、文本生成、機(jī)器翻譯和智能問(wèn)答等。大模型的發(fā)展趨勢(shì)目前，大模型所引發(fā)的技術(shù)變革正如火如荼，各大科技公司都在理論研究、模型構(gòu)建和產(chǎn)業(yè)應(yīng)用等方面積極布局。未來(lái)，大模型領(lǐng)域前景廣闊潛力巨大，隨著探索的不斷深入，大模型的發(fā)展必將呈現(xiàn)出多元化的發(fā)展趨勢(shì)，主要如下：大小模型協(xié)同并進(jìn)：大模型發(fā)展迅速，但是在模型部署、資源損耗、數(shù)據(jù)標(biāo)注等方面面臨非常大的挑戰(zhàn)。大型模型能力的提升，關(guān)鍵在于高質(zhì)量真實(shí)數(shù)據(jù)的投喂。通過(guò)模型量化、蒸餾等方式，將大模型沉淀的知識(shí)與能力向小模型輸出，由小模型執(zhí)行實(shí)際任務(wù)，然后將執(zhí)行結(jié)果反饋給大模型。通過(guò)這種迭代閉環(huán)的數(shù)據(jù)循環(huán)，大模型能力持續(xù)強(qiáng)化，形成有機(jī)循環(huán)的智能體系。行業(yè)領(lǐng)域垂直滲透：目前，許多企業(yè)級(jí)場(chǎng)景在落地大模型會(huì)面臨缺乏行業(yè)深度、不懂企業(yè)、無(wú)法保證所有權(quán)等問(wèn)題，這是由于通用大模型缺乏專(zhuān)業(yè)領(lǐng)域訓(xùn)練語(yǔ)料以及缺少產(chǎn)品設(shè)計(jì)考慮。未來(lái)，垂直大模型是重要的發(fā)展方向，通用模型會(huì)和各領(lǐng)域的專(zhuān)有知識(shí)深度融合滲透，在模型訓(xùn)練和優(yōu)化中使用特定領(lǐng)域的數(shù)據(jù)，以確保模型更好地理解和適應(yīng)該領(lǐng)域的語(yǔ)境和特點(diǎn)，從而創(chuàng)造更高的價(jià)值。多種模態(tài)深度融合：多模態(tài)是指能夠?qū)⒉煌?lèi)型的數(shù)據(jù)，如圖像、文字、視頻、語(yǔ)音等，結(jié)合起來(lái)進(jìn)行準(zhǔn)確處理，更接近于人類(lèi)的認(rèn)知模式。通過(guò)不同類(lèi)型的數(shù)據(jù)之間的相互關(guān)聯(lián)和結(jié)合，能夠進(jìn)一步提高模型的準(zhǔn)確性和魯棒性，展現(xiàn)出更高的性能和智能。多模態(tài)大模型的跨感知理解能力和生成能力為大模型應(yīng)用提供了廣闊的新領(lǐng)域，可以高效賦能于各領(lǐng)域場(chǎng)景。公有私用專(zhuān)業(yè)對(duì)接：隨著許多開(kāi)源大模型的呈現(xiàn)，以及相關(guān)廠商大模型的逐步商業(yè)化，大模型在純應(yīng)用端的發(fā)展也在提速迭代。小型企業(yè)、專(zhuān)業(yè)化公司雖然不具備豐富的人工智能算法和模型知識(shí)等基礎(chǔ)設(shè)施和人才，但也能使用大模型提供的在線接口和服務(wù)，結(jié)合自身的專(zhuān)業(yè)背景和行業(yè)實(shí)踐，通過(guò)合理選擇應(yīng)用切入方向，比如通過(guò)為大模型設(shè)置有效提示詞等方式，也能打造具備強(qiáng)大功能的專(zhuān)屬應(yīng)用。大模型在商業(yè)銀行的應(yīng)用從ChatGPT等大模型所展現(xiàn)的應(yīng)用場(chǎng)景和價(jià)值來(lái)看，大模型在商業(yè)銀行的應(yīng)用前景十分廣闊，從前臺(tái)到中后臺(tái)的各業(yè)務(wù)條線，都可以深入挖掘大模型的應(yīng)用潛力，有效助力銀行拓展挖掘細(xì)分市場(chǎng)，優(yōu)化金融服務(wù)水平，提升內(nèi)部管理效能，降低自身運(yùn)營(yíng)成本。在發(fā)展大模型應(yīng)用的過(guò)程中，銀行要先行先試、循序漸進(jìn)，綜合平衡成本收益，著眼于可落地性，深入挖掘?qū)嶋H需求，在探索中不斷積累完善，穩(wěn)步提升客戶的獲得感和內(nèi)部用戶的便捷感知。現(xiàn)階段，大模型在商業(yè)銀行的主要應(yīng)用場(chǎng)景可包括智能客服、智能營(yíng)銷(xiāo)、智能投顧、智能辦公和智能風(fēng)控等方面。智能客服使用機(jī)器客服替代部分人工服務(wù)的場(chǎng)景，已在銀行業(yè)廣泛應(yīng)用。但是，許多銀行智能客服數(shù)字化程度不高，存在知識(shí)庫(kù)問(wèn)題匹配不精確、提問(wèn)語(yǔ)義解析不準(zhǔn)確、上下文理解不充分、答案抽取能力不高等問(wèn)題。而大模型在內(nèi)容生成和語(yǔ)義理解方面有突出優(yōu)勢(shì)，因此，許多銀行寄望于借助大模型技術(shù)來(lái)提高客戶服務(wù)的質(zhì)量和效率，具體體現(xiàn)在以下三個(gè)方面：第一，準(zhǔn)確識(shí)別客戶意圖?；诖竽Ｐ图映值闹悄芸头?，橫跨多個(gè)知識(shí)庫(kù)條目，精準(zhǔn)定位關(guān)鍵知識(shí)點(diǎn)，能夠回溯多輪對(duì)話，更好地理解上下文。在通用大模型的基礎(chǔ)上，疊加金融客服領(lǐng)域的數(shù)據(jù)和專(zhuān)業(yè)經(jīng)驗(yàn)，進(jìn)行垂直領(lǐng)域定向訓(xùn)練，客服機(jī)器人可以綜合考慮用戶提示語(yǔ)和用戶習(xí)慣，準(zhǔn)確識(shí)別客戶意圖。為避免錯(cuò)誤話術(shù)納入大模型訓(xùn)練范疇，銀行須對(duì)海量數(shù)據(jù)進(jìn)行合規(guī)方面的AI核查。第二，改善提升對(duì)話體驗(yàn)。大模型的多模態(tài)感知與多維表達(dá)能力讓智能客服提升了客戶情緒識(shí)別效果，使溝通更具情感色彩，通過(guò)更加擬人化、富有個(gè)性的表達(dá)方式，增強(qiáng)用戶對(duì)人機(jī)對(duì)話的接受度和意愿度。高質(zhì)量的對(duì)話體驗(yàn)可以拉近人和機(jī)器的距離，降低轉(zhuǎn)人工率，提升客服支持的效率與服務(wù)滿意度......本文僅代表個(gè)人觀點(diǎn)，不代表所在單位意見(jiàn)。付費(fèi)￥5閱讀全文文章來(lái)源丨《清華金融評(píng)論》2024年2月刊總第123期本文編輯丨王茅責(zé)編丨丁開(kāi)艷校對(duì)丨蘭銀帆初審丨徐蘭英終審丨張偉Review of Past Articles -0102
