当前位置: 首页 > news >正文

大数据实验三

Python and anaconda

实验三数据预处理和轨迹聚类参考地址:

https://www.hifleet.com/wp/communities/data/hangyundashujujishukechengshiyanzhinanshujuyuchulijiguijijuleichixugengxinzhong#post-2212
https://www.hifleet.com/wp/communities/data/hangyundashujujishukechengshiyanzhinanshujuyuchulijiguijijuleichixugengxinzhong#post-2025

相关anaconda以及python环境配置

https://blog.csdn.net/hold_time/article/details/144631254?spm=1001.2014.3001.5501

1.Python环境配置

1.1下载anaconda,Pycharm

1.2Pycharm虚拟环境创建

在这里插入图片描述
在这里插入图片描述
到这里anaconda环境已经创建好了,并且能够在终端环境下进行conda。可以看到的是已经pycharm终端已经为anaconda环境了,python解释器也是默认到该虚拟环境下的python.exe解释器

1.3 conda基本操作

1.3.1 信息查看

conda info -e

在这里插入图片描述

1.3.2 下载源修改为清华源

修改镜像源为下图所示,不然下载速度很慢:
这个可以查看conda的镜像源

conda config --show channels

在这里插入图片描述
给conda添加国内镜像源

  conda config --add channels   https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/proconda config --add channels   https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/freeconda config --add channels   https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2conda config --add channels   https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/rconda config --add channels   https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/mainconda config --add channels   https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/condaconda config --add channels  forge/conda config --add channels   https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --add channels   https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

1.3.3 虚拟环境创建,开启,关闭

在base的conda虚拟环境中可以创建虚拟conda环境

conda create -n yolov11

这边也可以修改为指定位置创建
注意win11默认生成的虚拟环境在C:\Users\Admin.conda\envs
如果想要创建虚拟环境再指定的文件位置,使用以下命令,比如我想在D盘中的.conda/envs路径下创建虚拟环境

conda create --prefix=D:/.conda/envs/yolov11 python=3.9
或者
conda create --p D:/.conda/envs/yolov11 python=3.9

激活conda环境

conda activate D:/.conda/envs/yolov11

移除conda 环境

conda remove --p D:/.conda/envs/yolov11 --all

这是时候环境名就是这个路径D:/.conda/envs/yolov11

虚拟环境开启与关系

conda activate anaconda_env_foryolov11

在这里插入图片描述
虚拟环境关闭

conda deactivate

虚拟环境移除
移除conda 环境

conda remove yolov11

2.数据预处理

AIS数据,584,463行,涉及1000个不同航次下的298条船的轨迹数据,,除了表提供的动态字段,还包含voyage_id和length,
分别是航次编号和船舶长度
在这里插入图片描述
通过QGIS显示去噪前显示,通过QGIS进行Point to path,依照这个船舶的id,voyage_id进行连接成线,如下图所示
在这里插入图片描述
再Clean.py下面增加以下代码

if __name__ == "__main__":sample_ais_path="sample_ais_15.csv"sample_ais=pd.read_csv(sample_ais_path,usecols=["mmsi","updatetime","lon","lat","course","speed","length","voyage_id"])#print(sample_ais)sample_ais["updatetime"]=pd.to_datetime(sample_ais["updatetime"])#把ais中的updatetime列读取过来的数据转换成datatime格式preprocess_lst=[]#预处理为空for name,group in sample_ais.groupby("voyage_id"):#按照船舶的id进行分组排序#其中name是组的值,也就是voyage_id,group是书每组的数据帧group = group.reset_index(drop=True)#移除重复行group = group.drop_duplicates(subset=["lon","lat","course","speed"],keep="last").reset_index(drop=True)#速度speed明显异常的数据超过30标记为nangroup.loc[group[group["speed"] > 30].index, "speed"] = np.nan# group["speed"] = group.groupby("voyage_id")["speed"].transform(lambda x: x.fillna(method="ffill"))group["speed"] = group.groupby("voyage_id")["speed"].transform(lambda x: x.ffill())preprocess_lst.append(group)preprocess_ais=pd.concat(preprocess_lst).reset_index(drop=True)preprocess_ais.to_csv('preprocess_ais.csv', index=False)

处理后为584,139行

2.1 轨迹分段

在这里插入图片描述
分段前
在这里插入图片描述
分段后

在这里插入图片描述

2.2 去噪

去噪后

2.3 压缩

在这里插入图片描述

3.聚类

聚类族

"voyage_id" ||'_'||"label"

在这里插入图片描述

regexp_substr("group",'_([a-z]+)')

在这里插入图片描述
在这里插入图片描述
效果如图所示
在这里插入图片描述


http://www.mrgr.cn/news/81221.html

相关文章:

  • HCIA-Access V2.5_6_3_GPON关键技术
  • 概率论 期末 笔记
  • css让按钮放在最右侧
  • Mybatis分页插件的使用问题记录
  • sqlite3,一个轻量级的 C++ 数据库库!
  • openjdk17 从C++视角看 String的intern的jni方法JVM_InternString方法被gcc编译器连接
  • 重温设计模式--组合模式
  • 百度慧眼百度热力图数据处理,可直接用于论文
  • 如何与AI对话,写好Prompt
  • 重温设计模式--观察者模式
  • Vulhub靶场Apache漏洞
  • 华为实训课笔记 2024 1223-1224
  • nginx—rewrite功能
  • NS3学习——队列管理机制
  • 题解 洛谷 Luogu P1135 奇怪的电梯 广度优先搜索 BFS C/C++
  • Debian环境安装Docker Engine
  • 重温设计模式--迭代器模式
  • redis 缓存使用
  • 使用GPT进行SCI论文润色常用语句
  • 重温设计模式--模板方法模式
  • vue前端实现同步发送请求,可设置并发数量【已封装】
  • 重温设计模式--外观模式
  • 网络编程(王铭东老师)笔记
  • 重温设计模式--适配器模式
  • 重温设计模式--设计模式七大原则
  • 解决 Curl 自签名证书验证失败的实用指南