正版新书]AIGC辅数据分析与挖掘:基于CHATGPT的方法与实践宋天

序<br />前言<br />部  AIGC基础知识<br />章  AIGC赋能数据分析与挖掘2<br />1.1  探索主流的AIGC产品2<br />1.1.1  ChatGPT：AIGC的行业标杆2<br />1.1.2  New Bing Chat：Bing聊天手3<br />1.1.3  GitHub Copilot：智能编程伙伴3<br />1.1.4  Microsoft 365 Copilot：Microsoft一站式办公AI4<br />1.1.5  Azure OpenAI：Azure云平台服务4<br />1.1.6  Claude：Anthropic AI工具5<br />1.1.7  Google Bard：Google AI对话工具5<br />1.1.8  文心一言：百度AI工具6<br />1.1.9  通义千问：阿里AI工具6<br />1.2  选择适合数据工作的AIGC产品6<br />1.2.1  产品选择攻略：应用场景与关键要素6<br />1.2.2  应用集成AIGC：一站式AI手7<br />1..  SaaS模式AIGC：灵活的AI as a Service 7<br />1.2.4  私有化部署AIGC：企业定制版AI 9<br />1.3  ChatGPT实操指南9<br />1.3.1  ChatGPT的常用技巧9<br />1.3.2  ChatGPT的高级功能12<br />1.4  New Bing Chat实操指南14<br />1.4.1  New Bing Chat的常用技巧14<br />1.4.2  New Bing Chat的高级功能15<br />1.5  AIGC驱动数据分析与挖掘变革18<br />1.5.1  技能要求：数据从业者的技能演进18<br />1.5.2  应用场景：数据工作的加速器19<br />1.5.3  人机协作：数据工作的新范式19<br />1.6  AIGC在数据工作中的注意事项20<br />1.6.1  基于近期新知识的推理20<br />1.6.2  “一致”观点的挑战20<br />1.6.3  数据结果审查与验21<br />1.6.4  数据安全、数据隐私与合规问题21<br />1.6.5  知识产权及版权问题22<br />1.6.6  社会认知偏差影响数据推理22<br />1.6.7  难以解决大型任务的统筹与复杂依赖问题22<br />1.6.8  垂直领域数据和知识缺失问题22<br />1.6.9  上下文数据容量<br />1.6.10  多模态语境的输入<br />1.6.11  编造事实24<br />1.6.12  合理设置AIGC使用期望24<br />第2章  构建高质量Prompt的科学方法与很好实践25<br />2.1  Prompt的基本概念25<br />2.2  Prompt对AIGC的影响和价值25<br />2.2.1  模型的输入来源25<br />2.2.2  控制模型复杂度26<br />2..  提高内容生成质量26<br />2.2.4  个化体验和内容定制27<br />.  Prompt输入的规则27<br />..1  信息类型的27<br />..2  数据格式的约束规则27<br />..  内容长度的合理28<br />..4  对话主题的原则28<br />..5  语法和语义的严格28<br />2.4  高质量Prompt的基本结构29<br />2.4.1  角色设定：明确AI角色与工作的定位29<br />2.4.2  任务类型：明确AI任务的类别与质29<br />2.4.3  细节定义：准确定义期望AI返回的输出30<br />2.4.4  上下文：让AI了解更多背景信息30<br />2.4.5  约束条件：AI返回的内容31<br />2.4.6  参考示例：优质示例的参考借鉴31<br />2.5  提升Prompt质量的关键要素32<br />2.5.1  指令动词：准确引导模型行动32<br />2.5.2  数量词：明确量化任务要求33<br />2.5.3  函数和公式：运用数学逻辑的威力34<br />2.5.4  标记符号：有效提示引用信息34<br />2.5.5  条件表达：准确限定输出条件35<br />2.5.6  地理名词：地理位置信息的界定35<br />2.5.7  日期和时间词：数据周期的明确表达36<br />2.5.8  比较词：准确比较与对比要求36<br />2.5.9  参考示例词：基于样板输出内容36<br />2.5.10  语言设置：设定合适的输出语言37<br />2.5.11  否定提示词：反向界定与排除歧义37<br />2.6  构建Prompt的很好实践38<br />2.6.1  明确目标和场景：精准设定任务目标38<br />2.6.2  任务分解：拆解大型、复杂任务39<br />2.6.3  交互反馈：基于正负向反馈的优化40<br />2.6.4  让AI提问：引导模型主动提问41<br />2.6.5  控制上下文：合理管理对话信息量41<br />2.6.6  引导、追问和连续追问：优化对话交互42<br />2.6.7  语言简明扼要：语言表达精炼43<br />2.6.8  使用英文Prompt：借英文提升质量43<br />2.6.9  输入结构化数据：让AI充分理解数据44<br />2.6.10  提供参考信息：确保信息完整44<br />2.6.11  增加：避免输出宽泛内容45<br />2.6.12  明确告知AI：不知道时请回答“不知道”45<br />2.7  精调Prompt示例：引爆AIGC优质内容46<br />2.7.1  逐步启发和引导式的Prompt精调46<br />2.7.2  从广泛到收缩的Prompt精调47<br />2.7.3  利用反转角色的Prompt精调48<br />2.7.4  基于少样本的先验知识的Prompt精调49<br />2.7.5  基于调整模型温度参数的Prompt精调50<br />2.7.6  基于关键问题的Prompt精调51<br />2.8  Prompt构建工具：轻松撰写提示词52<br />2.8.1  Prompt构建工具简介52<br />2.8.2  New Bing Chat的提示词构建和引导功能52<br />2.8.3  ChatGPT第三方客户端工具的Prompt模板53<br />2.8.4  ChatGPT Prompt Generator：AI驱动的Prompt构建工具56<br />2.9  常见问题56<br />2.9.1  为什么Prompt相同AIGC却不一样56<br />2.9.2  会写Prompt就能做数据分析与挖掘吗57<br />2.9.3  如何避免Prompt的内部和矛盾57<br />2.9.4  如何避免Prompt的内部歧义和模糊5<br />2.9.5  在New Bing Chat中如何选用合适的对话风格来适应不同的数据分析与挖掘场景59<br />2.9.6  如何积累高质量Prompt并形成知识库59<br />第二部分  AIGC辅Excel数据分析与挖掘<br />第3章  AIGC辅Excel数据分析与挖掘的方法62<br />3.1  利用AIGC提升数据分析师的Excel技能62<br />3.1.1  利用AI指导Excel操作62<br />3.1.2  利用AI辅VBA自定义编程63<br />3.1.3  利用Office AI在Excel中实现对话式数据分析65<br />3.1.4  利用Copilot或AI插件Excel功能65<br />3.1.5  利用第三方工具扩展Excel应用65<br />3.2  Excel应用中的Prompt核心要素66<br />3.2.1  明确Excel版本环境：确保兼容66<br />3.2.2  确定数据文件和工作簿来源：导入数据67<br />3..  描述数据字段和格式：规范数据结构67<br />3.2.4  指定确切的数据范围：有效数据引用68<br />3.2.5  提供具有代表的数据样例：建立引用样本69<br />3.2.6  描述确切的处理逻辑：清晰定义需求69<br />3.2.7  确定清晰的输出规范：定制输出结果70<br />3.3  AIGC辅生成数据集70<br />3.3.1  AIGC直接生成数据集71<br />3.3.2  AIGC辅Excel随机数发生器生成数据集72<br />3.3.3  AIGC辅Excel函数生成数据集72<br />3.4  数据高效管理：AIGC力数据整合与拆分73<br />3.4.1  数据合并：按行批量追加并合并数据73<br />3.4.2  数据合并：按业务逻辑关联整合75<br />3.4.3  数据拆分：按业务逻辑分割并保存文件78<br />3.5  数据处理手：AIGC让Excel数据清洗更智能81<br />3.5.1  多条件的数据替换与填充81<br />3.5.2  按条件查找和匹配值82<br />3.5.3  字符串的查找、提取、分割与组合83<br />3.5.4  日期的转换、解析与计算85<br />3.5.5  复杂数据类型的抽样87<br />3.5.6  多条件的数据筛选88<br />3.5.7  数据替换与缺失值填充89<br />3.5.8  多条件自定义排序91<br />3.6  AI驱动的数据分析：Excel用户的洞察利器92<br />3.6.1  输出并解读描述统计分析结果92<br />3.6.2  按条件汇总数据94<br />3.6.3  利用数据透视表汇总所有数据95<br />3.6.4  计算不同记录之间的相似度96<br />3.6.5  不需要汇总的合并计算97<br />3.6.6  预测工作表：自动趋势预测99<br />3.6.7  规划求解：优化数据决策100<br />3.6.8  方案管理器：方案效果对比与分析102<br />3.7  数据展现魔法：AIGC力Excel数据展示105<br />3.7.1  图形化展示：信息传达利器105<br />3.7.2  插入迷你图：数据一目了然108<br />3.7.3  条件格式化：数据美观有序112<br />3.8  常见问题115<br />3.8.1  如何实现AIGC自动化操作Excel115<br />3.8.2  能否将Excel数据直接复制到AIGC的提示中116<br />3.8.3  如何解决输入和输出表格数据过长的问题116<br />3.8.4  如何实现Excel与Markdown表格数据转换116<br />3.8.5  AIGC能否完成数据计算、分析或建模117<br />3.8.6  能否将所有数据输入AIGC进行处理118<br />第4章  AIGC辅Excel数据分析与挖掘的实践119<br />4.1  AIGC+Excel RFM分析与营销落地：提升客户生命周期价值119<br />4.1.1  RFM模型初探119<br />4.1.2  准备用户交易的原始数据120<br />4.1.3  转换订单时间：从字符串类型转换为日期类型121<br />4.1.4  计算消频、消费金额和近一次消费时间122<br />4.1.5  确定RFM分级标准以及分级实现122<br />4.1.6  基于R、F、M分级形成RFM组合1<br />4.1.7  解决RFM数据记录重复问题124<br />4.1.8  RFM洞察与营销应用126<br />4.1.9  跟踪分析用户个体的RFM变化127<br />4.1.10  跟踪分析用户群体的RFM变化129<br />4.1.11  案例小结130<br />4.2  AIGC+Excel时间序列分析的妙用：发掘用户增长规律131<br />4.2.1  时间序列分析基础131<br />4.2.2  准备用户增长数据132<br />4..  完善时间序列业务分析思维132<br />4.2.4  完善时间序列Excel分析思维133<br />4.2.5  用户增长趋势分析、模型解读与优化尝试134<br />4.2.6  用户增长周期波动分析136<br />4.2.7  用户增长异常数据分析138<br />4.2.8  用户增长预测及结果解读141<br />4.2.9  案例小结144<br />4.3  AIGC + Excel相关分析与热力图展示：揭示KPI指标的隐秘联系145<br />4.3.1  相关分析概览145<br />4.3.2  准备KPI数据146<br />4.3.3  在一个散点图中绘制21组变量关系146<br />4.3.4  输出7个变量的相关得分矩阵149<br />4.3.5  使用热力图强化相关分析结果149<br />4.3.6  相关判断及相关结果解读150<br />4.3.7  相关分析的业务应用151<br />4.3.8  案例小结152<br />第三部分  AIGC辅SL数据分析与挖掘<br />第5章  AIGC辅SL数据分析与挖掘的方法154<br />5.1  利用AIGC提升SL数据分析与挖掘能力154<br />5.1.1  利用AI辅SL语句编写与调试154<br />5.1.2  利用AI辅SL客户端使用155<br />5.1.3  利用E集成SL Copilot/AI工具156<br />5.1.4  使用基于ChatGPT的第三方SL集成工具或插件156<br />5.2  SL数据库应用中的Prompt核心要素158<br />5.2.1  说明数据库环境信息158<br />5.2.2  提供数据库表的Schema159<br />5..  描述SL功能需求160<br />5.2.4  确定SL输出规范161<br />5.2.5  输入完整代码段161<br />5.2.6  反馈详细的报错信息161<br />5.3  AIGC辅数据库构建：轻松完成环境准备162<br />5.3.1  选择合适的数据库类型162<br />5.3.2  下载、安装和配置MariaDB数据库163<br />5.3.3  加载和导入数据164<br />5.3.4  将数据库数据导出为普通文件166<br />5.3.5  获取数据库Schema信息167<br />5.4  AIGC解决SL复杂数据查询之谜169<br />5.4.1  示例1：跨表关联查询169<br />5.4.2  示例2：条件判断与过滤171<br />5.4.3  示例3：标量子查询、子查询和子查询嵌套174<br />5.4.4  示例4：带有窗口函数的排名、首行、末行查询175<br />5.4.5  示例5：分组、聚合查询和多重排序177<br />5.4.6  示例6：使用临时查询表、视图等方法简化查询过程179<br />5.4.7  示例7：使用CTE的WITH语句组织复杂查询逻辑181<br />5.4.8  示例8：将查询结果写入新表、增量写入或更新现有表182<br />5.5  AIGC实现SL高效数据清洗和转换184<br />5.5.1  数据格式与类型转换184<br />5.5.2  字符串拆分、组合与正则提取186<br />5.5.3  空值、异常值的判断与处理187<br />5.5.4  数据去重188<br />5.5.5  数据归一化和标准化189<br />5.5.6  多行数据聚合为一行190<br />5.5.7  多个查询结果的合并192<br />5.6  AIGC力高阶数据分析：SL数据分析大师193<br />5.6.1  描述数据统计分析194<br />5.6.2  数据透视表分析195<br />5.6.3  排名、分组排名197<br />5.6.4  自定义欧氏距离实现相似度分析199<br />5.6.5  基于均值、同比、环比和加权规则的简单预测分析201<br />5.7  AIGC化解SL困局：SL解释、转换、排错、能优化203<br />5.7.1  SL解释和逻辑说明203<br />5.7.2  跨异构数据库的SL转换206<br />5.7.3  SL排错和问题修复208<br />5.7.4  SL查询能优化210<br />5.8  常见问题212<br />5.8.1  本章的知识和内容适用于不同数据库212<br />5.8.2  为什么通过关键数据进行逻辑验必不可少212<br />5.8.3  如何将AIGC生成的SL语句嵌入Python等程序中214<br />5.8.4  数据库可以实现所有的数据分析和数据挖掘功能215<br />5.8.5  为何选择在数据库内执行数据挖掘任务而非使用第三方工具216<br />第6章  AIGC辅SL数据分析与挖掘的实践217<br />6.1  AIGC优化广告渠道评估：构建客观、全面的评估体系217<br />6.1.1  广告渠道效果评估概述218<br />6.1.2  构建完整的广告渠道效果指标体系218<br />6.1.3  广告渠道数据的收集和准备220<br />6.1.4  合理剔除高度共线指标222<br />6.1.5  科学确定指标权重224<br />6.1.6  对转化成本字段缺失值的处理226<br />6.1.7  数据归一化和加权汇总计算228<br />6.1.8  广告渠道评估报表的分析和应用1<br />6.1.9  案例小结2<br />6.2  AIGC复现归因报表：揭示真实转化贡献<br />6.2.1  转化归因概述<br />6.2.2  准备广告渠道数据4<br />6..  基于订单构建转化周期5<br />6.2.4  基于末次归因计算广告渠道订单贡献<br />6.2.5  基于首次归因计算广告渠道订单贡献<br />6.2.6  基于线归因计算广告渠道订单贡献<br />6.2.7  基于位置归因计算广告渠道订单贡献240<br />6.2.8  归因报表的对比分析和应用242<br />6.2.9  案例小结243<br />6.3  AIGC构建留存报表：发现用户增长的关键244<br />6.3.1  用户留存报表概述244<br />6.3.2  用户留存和留存率的定义244<br />6.3.3  用户数据的收集和准备245<br />6.3.4  基于AIGC生成日留存率报表245<br />6.3.5  用户留存报表的数据验和质量检查247<br />6.3.6  用户留存报表的分析和解读248<br />6.3.7  案例小结249<br />第四部分  AIGC辅Python数据分析与挖掘<br />第7章  AIGC辅Python数据分析与挖掘的方法252<br />7.1  利用AIGC提升Python数据分析与挖掘能力252<br />7.1.1  利用AI生成与调试Python代码252<br />7.1.2  利用Copilot/AI工具Python编程能力252<br />7.1.3  在Notebook中直接与AI交互254<br />7.1.4  通过ChatGPT Code Interpreter<br />    和Pandas AI实现对话式数据分析256<br />7.2  Python应用中的Prompt核心要素257<br />7.2.1  准确描述Python环境和版本257<br />7.2.2  完整陈述代码任务需求258<br />7..  界定代码输出格式和规范258<br />7.2.4  提交完整的Python代码片段259<br />7.2.5  提供清晰详尽的错误反馈259<br />7.3  AIGC智能化环境构建：轻松搞定Python环境260<br />7.3.1  一键安装Python数据分析环境260<br />7.3.2  设置第三方库安装源261<br />7.3.3  安装和管理第三方库262<br />7.3.4  自定义Jupyter默认工作路径263<br />7.3.5  安装Chrome插件ChatGPT-Jupyter-AI Assistant264<br />7.4  AIGC驱动的智能数据探索：数据洞察的新途径266<br />7.4.1  自动输出数据探索报告266<br />7.4.2  整体数据质量评估268<br />7.4.3  异常数据初步解读270<br />7.4.4  变量高相关分析272<br />7.4.5  数据偏斜分布问题274<br />7.4.6  重复值和缺失值问题277<br />7.5  AIGC驱动的自动化数据处理：简化数据准备过程278<br />7.5.1  智能输出预处理方案278<br />7.5.2  使用链式方法批量实现预处理279<br />7.5.3  利用New Bing Chat上传截图调试代码281<br />7.5.4  管道式特征工程处理及特征解读282<br />7.6  AIGC+AutoML：智能自动化机器学习新纪元284<br />7.6.1  AIGC+AutoML重塑机器学习全流程284<br />7.6.2  7个常用的AutoML库285<br />7.6.3  开箱即用的AutoML应用示范287<br />7.6.4  基于AI的AutoML调优策略288<br />7.6.5  AI调优AutoML代码290<br />7.6.6  使用AutoML预测新数据293<br />7.7  利用AIGC解析机器学习：原理、机制与底层逻辑294<br />7.7.1  AI辅算法学习：探索不同算法的特与应场景295<br />7.7.2  AI辅特征解读：可视化特征与目标的关系297<br />7.7.3  AI解析分类模型指标：掌握分类模型效果评估基准301<br />7.7.4  AI解析回归模型指标：掌握回归模型效果评估基准302<br />7.8  常见问题303<br />7.8.1  有哪些标准的数据挖掘工作流程303<br />7.8.2  AIGC能够协不具备编程经验的个体成功完成整个数据分析与挖掘过程304<br />7.8.3  为何没有一种算法能够在所有情境下都表现很好304<br />7.8.4  需要订阅付费的OpenAI服务才能执行Python智能任务305<br />7.8.5  Code Interpreter：对ChatGPT数据分析的延伸还是变革305<br />第8章  AIGC辅Python数据分析与挖掘的实践307<br />8.1  AIGC+Python 广告预测：基于回归模型的广告效果预测307<br />8.1.1  回归模型在广告效果预测中的应用概述307<br />8.1.2  正确标识和追踪广告渠道308<br />8.1.3  识别和排除广告效果中的噪声和异常信息309<br />8.1.4  数据准备：整理广告效果数据311<br />8.1.5  利用AI+AutoML实现广告回归建模312<br />8.1.6  基于不同广告预算预估广告效果313<br />8.1.7  AI以营销经理的身份提供广告预算建议314<br />8.1.8  通过人工反馈纠正AI的错误决策315<br />8.1.9  案例小结316<br />8.2  AIGC+Python商品分析：基于多维指标的波士顿矩阵分析316<br />8.2.1  利用波士顿矩阵进行商品分析概述316<br />8.2.2  波士顿矩阵分析的四维指标317<br />8..  商品数据准备与归一化处理317<br />8.2.4  商品指标加权策略设计318<br />8.2.5  商品指标加权代码设计319<br />8.2.6  基于品类的权重汇总计算320<br />8.2.7  波士顿矩阵结果的图形可视化321<br />8.2.8  波士顿矩阵分析的落地应用325<br />8.2.9  案例小结327<br />8.3  AIGC+Python KPI监控：基于时间序列的异常检测328<br />8.3.1  时间序列在KPI异常检测中的应用概述328<br />8.3.2  时间序列识别KPI异常的挑战与应对策略329<br />8.3.3  数据准备和异常识别329<br />8.3.4  时间序列中的异常值处理331<br />8.3.5  利用AI实现时间序列模型训练331<br />8.3.6  利用New Bing Chat上传截图调试代码333<br />8.3.7  利用自定义回归特征改进时间序列模型334<br />8.3.8  利用时间序列模型检测KPI异常状态336<br />8.3.9  利用ChatGPT-Jupyter-AI Assistant调试代码337<br />8.3.10  异常检测信息的部署应用与告警通知339<br />8.3.11  案例小结340

（1）作者背景：作者是触脉咨询合伙人，前Webtrekk（德国优选在线数据分析服务提供商）中国区前技术和咨询负责人，中国商业联合会数据分析专业委员会专家组成员。
（2）作者经验丰富：作者有15年数据分析相关工作经验，是AIGC领域的布道者，为SHEIN、联合利华、顺丰优选等企业提供服务。
（3）覆盖流行AI工具：本书所使用的AI工具均是免费的且是当下流行的，包括ChatGPT、Bing Copilot及第三方插件，突出这些工具的强大能力、易用等特点。
（4）覆盖核心数据分析工具：本书同时讲解了如何用ChatGPT等AIGC工具辅Excel、SL和Python这3种数据分析工具来进行数据分析与挖掘。
（5）多元 AI 交互方法：全面介绍多种与 AI 交互的方法，涵盖高效提示词撰写、AI 交互反馈、多模态信息交互、个化参数设定等，保了AIGC 知识的完整和实。
（6）以案例为核心：通过大量综合案例展示如何与 AI 交互并解决实际工作中的问题。
（7）强调人的地位：突出人在 AI 应用中的作用，强调在交互过程中如何充分利用人类的智慧、经验和能力达到预期的输出结果，进一步突出了数据工作者的工作价值。
（8）丰富的学习资源：本书提供了丰富的辅学资源，包括数据、图表、代码、提示词等，同时强调互动，鼓励读者积极分享。