AI分析师

01 实操 人工

公司需要开发了一个XX系统，在文件夹中包含了XX.csv，其中每一行表示一个XX样本，最后一列为每个样本的标签，现需要设计模型与系统，请按照以下要求完成算法测试。根据要求完成以下任务，将完成的任务（包括但不限于截图、文档、程序等）保存：

（1）打开“XXXX.ipynb”；

（2）编写代码补全其中神经网络模型的设计部分；具体要求如下：一共3层神经网络（L1、L2、L3）；前两层都要完成线性计算、BatchNorm（B1、B2）、激活函数relu的计算，神经元数量分别为128和256；最后一层只需完成线性计。截取代码命名为”保存；

02 实操2 dw分类训练

模型生成 

03 实操基础理论 数据增强

（1）图像数据增强方法

• 几何变换类：平移（将图像在平面内沿水平或垂直方向移动一定距离）、旋转（绕图像中心旋转一定角度，如 90°、180° 等）、缩放（按比例放大或缩小图像尺寸 ）。

• 颜色变换类：亮度调整（增加或降低图像整体亮度 ）、对比度调整（增大或减小图像像素间的对比度 ）、色彩抖动（随机改变图像的色调、饱和度和明度 ）。

• 其它类：噪声添加（向图像中加入高斯噪声、椒盐噪声等 ）、模糊处理（如高斯模糊、均值模糊 ）、裁剪（随机裁剪图像的部分区域 ）。

（2）流程图基本概念

• ①处：判断文件是否为图像文件。

• ②处：判断图像文件是否为.jpg 类型。

• ③处：判断图像文件是否为 RGB 模型。

（3）容易出现的问题：严格筛选致数据丢失、误筛。改进：添加格式转换，兼读文件头信息与色彩模式标识，精准判断格式和模型。

04 实操理论2 数据采集培训要求

数据采集培训大纲（以下为参考，自己要修改，与下面一致的会造成雷同）

1. 基础认知：明晰数据采集概念、重要性与应用场景。
2. 方法技巧：讲授多种采集方式，涵盖网络、传感器等，分享实操窍门。
3. 工具运用：熟练掌握 Excel、Python 等工具用于数据获取与整理。

常见问题及解决方法（选2条背）

1. 目标不明确

   • 问题：未清晰界定采集数据的用途与范围，导致收集大量无关数据，遗漏关键信息。比如市场调研时，不清楚要分析用户哪类消费行为，盲目收集。

   • 解决方法：项目启动前，组织跨部门会议，与业务、分析团队深入沟通，基于业务需求和分析目的，详细梳理数据需求清单，明确数据用途、范围、字段及预期成果。

2. 样本偏差

   • 问题：选取样本缺乏代表性，如调查城市居民出行方式，仅在高档社区采样，无法反映整体情况。

   • 解决方法：运用科学抽样方法，像分层抽样，按城市区域、收入水平等分层后随机抽取；扩大样本覆盖范围，涵盖不同特征群体，必要时用统计方法评估样本代表性。

3. 数据来源不可靠

   • 问题：采用劣质数据源，像某些非官方网站数据，可能存在错误、过时或被篡改，影响数据质量。

   • 解决方法：优先选用官方机构、权威数据库等可靠数据源；对新数据源，先小范围验证数据准确性，对比多个来源数据，分析差异。

4. 采集方法不当

   • 问题：不匹配数据特性与采集手段，如用访谈收集大规模用户行为数据，效率低且易有主观误差。

   • 解决方法：依据数据类型（结构化、非结构化等）和规模，合理选择采集方法，如大规模行为数据用埋点技术，文本数据用网络爬虫；结合多种方法交叉验证数据。

5. 技术故障

   • 问题：采集工具或系统出现故障，如网络爬虫被网站反爬机制阻断，导致数据中断或丢失。

   • 解决方法：定期维护采集工具和系统，升级软件版本；针对爬虫被阻，采用 IP 代理池、模拟人类浏览行为等策略绕过反爬；设置数据备份机制，实时或定时备份采集数据。

6. 数据重复采集

   • 问题：缺乏统一规划，不同部门或环节重复收集相同数据，浪费资源。

   • 解决方法：建立企业级数据管理平台，梳理各部门数据需求，绘制数据地图，明确各数据归属与采集责任；制定数据共享规范，促进部门间数据流通。

7. 隐私与合规问题

   • 问题：采集敏感个人信息未获授权，或违反行业法规，面临法律风险。

   • 解决方法：设立数据合规官，负责解读法规政策；采集前向用户明确告知数据用途、范围、存储方式，获用户同意；加密敏感数据，遵循 “最小必要” 原则采集。

05 实操3 （完成） 背的以下代码即可

1.判断是否以png结尾  （根据实际情况调整）

if filename.endswith('.png'):

2.筛选 通道

基础知识

• RGB 通道：这是最常见的色彩模式，用于表示彩色图像。R（红色）、G（绿色）、B（蓝色）三个通道分别存储了图像中对应颜色的强度信息，通过这三个通道的不同组合，可以呈现出丰富多彩的颜色。
• RGBA 通道：在 RGB 的基础上增加了 A（透明度）通道，用于表示图像的透明度信息。A 通道的值范围从 0 到 255，0 表示完全透明，255 表示完全不透明。
• 灰度通道：也称为 L 通道，图像只有一个通道，存储的是灰度值，表示图像的亮度信息。灰度值范围通常从 0（黑色）到 255（白色），可以用来表示黑白图像或彩色图像的亮度分量。
• CMYK 通道：C（青色）、M（洋红色）、Y（黄色）、K（黑色）四个通道，常用于印刷领域。与 RGB 通道不同，CMYK 是一种减色模式，通过这四种颜色的油墨混合来产生各种颜色。

筛选 通道的语句  if img.mode == 'XXXX':     （注意最后有封号,XXXX是通道的值）