智能问数项目的数据库与数据从何而来?
未标记
考查重点:数据来源、范围与真实性。选一张实际使用表说明由谁提供或如何生成、字段与时段;若为模拟订单,给出分布和关联的构造办法,明确尚未验证哪些真实查询或业务现象
本题目录
参考答案
本答案基于相关资料,由 AI 辅助编写,供学习与面试准备参考。如有疏漏,欢迎反馈指正。
核心回答
下面是一种自建模拟电商库的示例答法,可按实际项目调整:
我的问数项目用 MySQL 保存模拟订单和商品、客户、地区、日期等维度,订单由生成脚本构造,不来自真实客户交易。数据用于验证自然语言问题能否映射到正确字段、指标和查询结果。
建库时先确定表的粒度、主键和关联,再按固定种子生成满足这些关系的数据。验证时用人工写定的参考 SQL 核对按地区、商品和时间聚合的结果,并补充退款、跨月和无匹配记录等边界情况;生成规则、数据快照和校验结果一起保存,便于复现。
这套数据能验证字段映射、连接和指标计算;真实用户问法、交易分布和生产负载还需要另一组代表性数据来验证。
生成与导入怎样校验
订单关联已有商品和地区,金额、数量与状态遵守预先定义的规则,日期落在固定时段。生成结果导出成 CSV 后导入,检查表头、日期格式、空值、金额单位和关联键,让同一份快照可以重复生成和查询。
重复主键或失效关联这类无效输入单独用于检查导入是否拒绝,不作为合法订单混进分析结果。模型可见的元数据、字段样例与执行结果也沿用同一授权范围,不能因接通数据库就默认全部可见。
数据来源变化后,哪些信息一起交代
采用公开数据集时,记录原始地址、版本与许可,以及类型转换、去重和缺失值处理;采用经授权的业务数据时,说明允许披露的来源类别和使用范围。数据集本身、处理脚本和元数据各保留版本,避免把“成功导入”误当成字段含义与业务口径都正确。
来源之外,还要区分数据库引擎、表结构和记录内容:使用 MySQL 说明存储与查询方式,星型模型说明表怎样关联,数据究竟来自生成脚本、公开样本还是业务同步,则是另一项需要单独说明的事实。
对应教程
- 《实战项目-电商问数/1-项目概述与数仓基础》:第3.2、4.2节说明用
MySQL模拟教学数仓及订单事实、维度表的关系;本文提供自建模拟数据的条件化答法。
参考资料
- 国内:飞致云:数据源概览:采用数据源、字段与关联信息的管理方式,组织数据库来源和结构说明。
- 国内:飞致云:配置Excel/CSV数据:采用表头、日期、百分比和缺失值等导入注意项,解释数据加工边界。
- 国内:香港大学等/BIRD团队:Can LLM Already Serve as A Database Interface? BIRD:参考数据库来源、许可与描述文件的整理;同时保留自造数据与真实分布的差别。
- 国内:阿里云:DMS权限:采用查询、导出及细粒度授权的区分,说明获得数据与可向模型披露并非同一权限。
- 国外:Yale University:Spider: A Large-Scale Human-Labeled Dataset:参考关系结构、字段含义与人工核对的建库过程,组织可复现的表和参考查询。
- 国外:PostgreSQL:Row Security Policies (PostgreSQL 18):采用执行账户与数据范围独立约束的原则,避免数据接入后默认全部可见。
