2024-12-03 21:07 浙江
智谱AI举办「2024 金融行业 · 大模型挑战赛」，以进一步推进大模型在金融行业的广泛应用。
近年来，大型语言模型（LLM）在金融领域的应用取得显著进展。继「2023 金融行业·大模型挑战赛」之后，我们将举办「2024 金融行业 · 大模型挑战赛」，以期进一步推进大模型在金融行业的广泛应用。
为确保比赛内容紧贴实际应用，我们整合了所有公开的金融数据，打造了符合金融场景需求的多轮问答评测赛题——金融多轮问答数据集。比赛将提供完整的基础数据表供选手使用。
参赛选手需采用 GLM-4 系列模型 API 进行比赛。选手可运用多种技术手段，如代理方法（agentic）、文本到API（text2api）、文本到SQL（text2sql）和信息检索等，以完成赛题。
赛题设有中文和英文两个测试集，选手可根据个人偏好选择其一进行优化和提升。
主办单位：清华大学基础模型研究中心
支持单位：智谱、博时基金、安硕信息、恒生聚源
社区支持：魔搭社区，WaytoAGI，ZLead硅谷委员会，Huggingface
模型支持：BigModel.cn
数据支持：恒生聚源、安硕信息、博时基金
赛题内容
参赛选手需利用GLM-4模型API以及比赛提供的金融数据，开发一个能够处理多轮问答的系统，旨在回答用户提出的金融相关问题。
本赛题涉及多轮问答，并包含中文及英文两种语言。
根据难度和复杂度，赛题分为初级、中级、高级三个等级，描述如下：
初级：数据基本查询（30分）
通过SQL或API等方式可查询结果，如：「某公司（或某股票代码）2022年11月2日的涨跌幅为多少？」
中级：数据统计分析查询（40分）
在初级阶段的基础上，使用基础数据完成金融数据的统计分析、关联指标查询、公式计算等，如：「MACD即将金叉，中小板，近半年涨停次数超过10次的股票有多少家？分别是谁？」
高级：复杂问题（30分）
股价回测、财务分析等，如：「每年的4月叠加上市公司年报和一季报。理论上新闻频次会达到了一年最高。帮我验证下，2021年在A股有多少比例的上市公司符合这个假设?」
数据结构
本次赛题数据主要分为两大类：结构化数据和非结构化数据。
结构化数据包括以下几部分：
A股上市公司数据：涵盖500家A股公司（2019-2021年），包括公司基本资料（如LC_StockArchives），公司名称变更（LC_NameChange），以及公司业务信息（LC_Business）。
股东及股权信息：包括股东类型分类（LC_SHTypeClassifi）、股东名单（LC_MainSHListNew）、公司实际控制人（LC_ActualController）等信息，涉及股东持股统计、股权变动、股权冻结与质押等内容。
公司财务与经营状况：包括资产负债表（LC_BalanceSheetAll）、利润表（LC_IncomeStatementAll）、现金流量表（LC_CashFlowStatementAll）、主营业务构成（LC_MainOperIncome）以及审计意见（LC_AuditOpinion）。
行业及概念板块：包含行业分类（LC_ExgIndustry）、行业估值指标（LC_IndustryValuation）、行业财务指标（LC_IndFinIndicators）及概念板块信息（LC_COConcept）。
股票市场数据：如A股交易数据（日行情表QT_DailyQuote）、股票技术指标（CS_TurnoverVolTecIndex）及停牌复牌信息（LC_SuspendResumption）。
基金数据：涉及管理人前10家，每家50只基金（2019-2021年），包括基金概况（MF_FundArchives）、基金管理人信息（MF_InvestAdvisorOutline）及基金分红（MF_Dividend）。
港股和美股数据：涵盖20家港股公司及20家美股公司（2019-2021年），包括公司概况、员工数量变动、日行情等信息。
指数数据：包含沪深三百、中证500、中证1000、创业板指数、上证指数的基本情况（LC_IndexBasicInfo）及其成份（LC_IndexComponent）。
舆情数据：针对500家A股公司（2019-2021年）的舆情信息（PS_NewsSecurity），以及相关事件体系指引（PS_EventStru）。
非结构化数据主要涉及：
报告：年度报告、季度报告等公司财务报告。
公告：董事会公告、监事会公告、股东大会公告等。
上市资料：如招股说明书等公司上市相关文件。
赛事日程
? 初赛阶段（2024/12/3 - 2025/2/10）
A榜（2024/12/3 - 2025/2/6）：每日报名队伍有3次提交机会，实时评测，展示历史最佳成绩。
B榜（2025/2/7 - 2025/2/10）：评测标准与A榜相同，赛题难度提升。
初赛成绩：A榜（30%）+ B榜（70%）加权得出。
? 复赛阶段（2025/2/17 - 2025/3/9）
A榜（2025/2/17 - 2025/3/6）：每天5次提交机会，实时评测与排名更新。
B榜（2025/3/7 - 2025/3/9）：评测标准与A榜相同，赛题难度调整，挑战极限。
复赛成绩：A榜（30%）+ B榜（70%）加权得出。前15名晋级决赛。
? 决赛答辩（2025年3月底）
决赛将以线上或线下答辩形式进行，晋级队伍需准备答辩PPT、参赛总结和核心代码。
最终成绩：复赛成绩（60%）+ 答辩成绩（40%）。
奖项设置
本次大赛赛题奖金总额为20万元人民币。具体奖金分布如下（所有奖金均为税前）：
冠军（1名）：60000元人民币现金奖金，颁发获奖证书。
亚军（2名）：30000元人民币现金奖金，颁发获奖证书。
季军（5名）：10000元人民币现金奖金，颁发获奖证书。
Baseline奖励（15名）：2000元人民币现金奖金。
加入比赛
报名时间：2024年12月02日至2025年02月06日
报名通道：
https://competitions.zhipuai.cn/match
大赛官方交流群：
