當前,大模型技術在金融領域的應用加速推進,為金融服務提質增效注入新動能。作為我國重要金融基礎設施,中國銀聯高度重視人工智能引領的新一輪科技革命和產業變革,積極探索應用實踐。作為集團科技創新的重要力量,子公司北京銀聯金卡科技有限公司(銀行卡檢測中心BCTC,國家金融IC卡安全檢測中心,國家金融科技測評中心,以下簡稱銀聯金卡)持續推進大模型金融應用測評服務,推動前沿技術在金融行業規范發展、落地見效。
金融大模型應用面臨的痛點和挑戰
當我們在銀行APP上咨詢智能客服辦理貸款,或是通過理財平臺獲取個性化投資建議時,背后可能都有大模型技術在提供支撐。但如果這些服務背后的大模型存在短板,比如計算貸款利息時出現數學邏輯錯誤,理解用戶理財需求時因金融意圖識別能力弱而給出偏離的建議,甚至在涉及敏感話題時未能規范回應,就可能給用戶帶來困擾。
這些看似具體的用戶體驗問題,實則折射出大模型技術在金融領域規模化應用中潛藏的共性挑戰——模型幻覺、算法黑箱、數據安全風險、科技倫理隱患等痛點問題逐漸顯現。這些問題造成了金融機構對大模型“想用而不敢用”的困局,制約了數智化創新發展的進程。通過構建全面、精準、有效的大模型應用測評服務,可為金融機構和產業相關方推進大模型在各類場景的應用提供“把脈問診”,及時發現可能存在的不足和安全隱患,支持相關機構加強大模型應用的功能與安全,從而為大模型在垂域場景更廣泛深入的應用提供支撐,因此構建全面、專業的大模型測評體系已成為行業的迫切需求。
推進大模型測評技術攻關 協助解決大模型應用能用與好用的問題
面對市場需求與行業痛點,銀聯金卡秉持“創新驅動、標準引領、生態共贏”的發展理念,依托多年來在金融行業安全服務方面的豐富經驗,圍繞測評方案建設、核心測評技術突破、產業生態協同三個方面,積極開展大模型金融應用測評技術研究,推出大模型金融應用測評業務,從安全與功能角度聚焦解決模型“能不能用”與“好不好用”的問題,為客戶提供專業第三方測評服務。
在能力建設方面,銀聯金卡牽頭聯合多家金融機構、科技公司及科研院所,共同開展大模型金融應用安全威脅分析和基礎測評技術研發工作。作為第三方專業測評機構深度參與多項人工智能大模型相關技術標準的研制工作,為大模型金融安全應用理論體系提供技術支撐。
在技術體系層面,銀聯金卡構建大模型金融應用測評體系,系統化解決“測什么”“用什么”“怎么測”三大問題。該體系包含測評標準、測評數據集、測評工具、測評流程等核心部分,測評范圍涵蓋通用知識與能力、金融邏輯、金融認知、安全合規、內容生成、金融知識、安全要求、性能要求等多個維度,可有效解決金融領域客戶在模型選型決策、再訓練效果評估、場景適配能力差距分析等關鍵問題,從而保障大模型技術的安全可靠應用。此外,銀聯金卡自主研發的“離朱”大模型自動化測評平臺,能夠高效管理測評所需數據集資源,靈活調用客戶模型接口,支持測評人員快速響應客戶需求,提升測評工作的效率與準確性。
在生態協同方面,銀聯金卡以標準為紐帶,聯合人工智能領域頭部科技企業攻關測評能力技術框架,結合對大中小型金融機構個性化需求的調研,持續拓展測評數據維度,深化大模型技術產品棧的整體測評能力建設,確保測評服務與市場需求同步發展。
實踐驗證價值 助力行業安全升級
自測評體系建成以來,銀聯金卡已和阿里云、百度、螞蟻、百川等頭部科技公司探索開展測評技術攻關、自動化平臺調用、測評體系建設及場景應用等方面的合作,其中場景應用工作涵蓋評估模型的用戶交互準確性與適應性、5類31種內容安全風險、金融領域應用效能以及運行效率與功耗等關鍵內容和指標,持續完善提升相關模型能力。同時,銀聯金卡協同中國銀聯人工智能領域戰略布局,積極參與金融大模型技術路線規劃與標準制定工作,與銀聯及成員機構共同探索大模型金融應用合規落地路徑。
未來,銀聯金卡將以“提升金融場景大模型測評的精準度、效率與場景覆蓋度”為目標,持續提升測評體系的精準度、智能化水平和覆蓋范圍,構建優質的金融領域測評數據資源,助力金融機構和產業上下游企業共同推進大模型技術在金融行業的安全、合規與高效地應用。