(进阶)002 - AWS DeepRacer分析log

原创 已于 2022-05-25 04:33:20 修改 · 1.5k 阅读 · 8 ·
CC 4.0 BY-SA版权
本文为博主原创文章，转载请注明出处，认为写得好请点赞加评论。
文章标签：

#ai #python

于 2021-10-10 03:26:32 首次发布
本文介绍了如何使用Notepad++工具提取和处理Log数据，通过正则表达式操作数据，并在Excel中进行数据可视化。作者分析了赛道常量如track_length和waypoints，以及变量数据如steps和is_offtrack，通过数据分列和散点图展示了训练过程中的轨迹变化。最后，提出了使用Python绘图库进一步分析和比较不同图层的可能性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Log 数据提取

使用Notepad++ 工具将log提取出来

提取常量

  1. 使用自定义的log开始标签reward_constant_Log，搜索所有的行
    在这里插入图片描述
数据处理
  1. 将上述结果copy到新的文件中
    提取出来的数据可以看到 track_length 赛道总长是一个始终不变的量，17.709159380834848m
    在这里插入图片描述
    waypoints赛道定点也是一个始终不变的list量，里面是119个tuple，实际上每一个tuple就是一个(x,y)点，对应的是赛道上的点。
    在这里插入图片描述
  2. 通过Notepad++正则替换，将数据换行
    这里细心看的话可以看到第一个点和最后一个点坐标是一样的。因此实际只有118个点，而不是119个点。
    在这里插入图片描述
  3. 通过Excel 的文本分列功能将数据导入
    在这里插入图片描述
  4. 给数据加一个列名
    在这里插入图片描述
数据可视化
通过Excel 插入散点图可以将赛道点连接成曲线，根据这些赛点图很容易看出赛道就是`re:Invent 2018`

在这里插入图片描述

提取变量

  1. 使用自定义的log开始标签reward_var_Log，搜索所有的行
    在这里插入图片描述
数据处理
  1. 将上述的数据copy到新的文件，然后再通过正则替换
    在这里插入图片描述
    替换之后的数据
    在这里插入图片描述
  2. 数据导入到excel
    使用Excel的分列功能将数据分列，然后添加列名
    在这里插入图片描述
  3. 数据分析
    通过steps可知，每一次is_offtrack为True是表示本次回合结束，重新再开始计步，可以添加一个辅助列，表明哪些数据属于同一个回合。
    在这里插入图片描述
数据可视化
所有数据可视化

将所有点都绘制到图中，可以看到training时，小车的尝试轨迹
在这里插入图片描述

选择部分点可视化

在这里插入图片描述

总结

通过分析log可以对整个赛道数据有一个全面的认知，可以根据数据计算弯道大小以及通过的最大速度，由于本人对Excel多线绘图这一块不是很精通，后面将会使用python的绘图库将赛道图、训练图和评估图放到一张图上进行比较，可以更具体看到一些差异，总结出更全面的规律。

资源下载链接

可视化Excel表

下载下来的原始log压缩包

AWS相关笔记：将EC2内的log文件同步至AWS CloudWatch Logs
weixin_45109984的博客
01-17 1499
一、安装awslogs Amazon Linux的情况，可以直接使用以下命令安装 sudo yum update -y sudo yum install -y awslogs 由于使用了CentOS 7，上面的命令无法使用，因此要自己手动下载安装 curl https://s3.amazonaws.com/aws-cloudwatch/downloads/latest/awslogs-agent...
awslogviewer:客户端 AWS Cloudwatch 日志查看器
06-01
AWS Log Viewer 是一个基于客户端的应用程序，用于查看和搜索 AWS CloudWatch 日志。 Web 应用程序：[ 日志查看器） 来源： : 推特： 快速开始 转到应用网址 输入 AWS 凭证 选择 AWS 区域 选择日志组 获取日志 特征 HTML5 适用于 Javascript 的 AWS 开发工具包 浏览器支持 Chrome（最新 2） 火狐（最新 2） 这并不意味着 AWS Log Viewer 不能在旧浏览器中使用，只是我们将确保与上述浏览器兼容。 文档 目前没有文档。 贡献 欢迎任何人和每个人，但是，如果您决定参与其中，请花点时间查看： 执照 该代码在Apache 许可版本 2.0下可用。
(进阶)003 - AWS DeepRacer分析log
Rainbow
10-31 1205
文章目录下载 Evaluation log解压log，找到 `0-iteration.csv`log 可视化分析对各个维度进行分析对速度低于 `1.5` 的点进行筛选对赛道范围的进行筛选 下载 Evaluation log 解压log，找到 0-iteration.csv log 可视化分析 import os import numpy as np import pandas as pd from math import exp from matplotlib.collections import Line
探索AWS CloudWatch日志的强大工具：awslogs
gitblog_00449的博客
10-10 648
探索AWS CloudWatch日志的强大工具：awslogs 项目介绍 awslogs 是一个简单易用的命令行工具，专为查询和管理 Amazon CloudWatch 日志而设计。无论你是需要查看日志组、日志流，还是实时监控日志事件，awslogs 都能轻松满足你的需求。通过其强大的功能，你可以轻松地从多个日志流中聚合日志，并使用你喜欢的工具（如 grep）进行进一步分析。 项目技术分析 aws...
(进阶)001 - AWS DeepRacer获取log
Rainbow
10-10 1183
文章目录如何获取log一个打印log的代码示例下载logtraining log 文件结构Evaluation log文件结构 如何获取log 在reward_function 中通过print可以将params入口参数打印到log中，然后通过控制台Download logs可以获取自定义的log格式 一个打印log的代码示例 def reward_function(params): ''' Env: re:Invent 2018 ''' x = params['x']
探索亚马逊云观察能力的利器：awslogs
gitblog_00073的博客
05-11 484
探索亚马逊云观察能力的利器：awslogs 项目介绍 awslogs 是一个简单易用的命令行工具，它让你能够轻松地从亚马逊云观测（Amazon CloudWatch）日志服务中查询、获取和分析数据。这个项目由 Jorge Bastida 开发，提供了强大的实时日志查询功能，可以帮助开发者在不离开终端的情况下监控和处理云中的日志信息。 项目技术分析 awslogs 基于 Python 编写，充分利用...
deepracer-race-data:AWS DeepRacer League虚拟竞赛的历史数据
03-17
AWS DeepRacer社区竞赛数据存储库 竞赛数据存储库包含AWS DeepRacer服务API提供的数据的快照。 每小时更新一次，以最新的排行榜和曲目更新为准。 可能的用例是： 跟踪一段时间内的提交（在虚拟联赛中有多少人提交...
terraform-aws-cloudwatch-log-group:AWS CW日志组Terraform模块
04-10
terraform-aws-cloudwatch-log-group 创建简单的单个aws_cloudwatch_log_group 要求 名称 版本 > = 0.14.0 > = 3.35.0 提供者 名称 版本 > = 3.35.0 模组 没有模块。 资源 名称 类型 资源 输入项 名称 描述 类型...
hadoop-aws-2.7.3.jar
10-13
hadoop-aws-2.7.3.jar，hadoop，spark查询oss对象存储包
configure-aws-credentials:配置AWS凭证环境变量以在其他GitHub操作中使用
05-11
uses : aws-actions/configure-aws-credentials@v1 with : aws-access-key-id : ${{ secrets.AWS_ACCESS_KEY_ID }} aws-secret-access-key : ${{ secrets.AWS_SECRET_ACCESS_KEY }} # aws-session-token: ${{ ...
log4j-aws-appenders:写入AWS目标的Log4J 1.2.x，Log4J 2.x和Logback的Appender
05-09
log4j-aws-appenders ， 和Appender写入了各种AWS目标： ：AWS本地集中式日志管理，提供关键字和时间范围搜索。 ：这是向和其他分析目标提供数据的第一步。 ：用于实时错误通知。 除了基本的日志输出外，该库还...
翻译：使用 AWS Deep Racer 的日志分析工具
AI架构师易筋
09-26 1074
1. 介绍 我尝试与公司人员一起使用 AWS 提供的 AWS DeepRacer 日志分析工具。日志分析工具以笔记本格式发布在 GitHub 上的 AWS DeepRacer Workshop 下面。 https://github.com/aws-samples/aws-deepracer-workshops 警告 以下内容针对截至 2019 年 6 月 6 日的示例笔记本。 它可能不适用于其他版本的笔记本电脑。 2. 安装程序 2.1 创建策略 将以下策略附加到您的 Jupyter Notebook 实例
AWS CloudWatch Logs 项目常见问题解决方案
最新发布
gitblog_00185的博客
11-13 778
AWS CloudWatch Logs 项目常见问题解决方案 项目基础介绍 awslogs 是一个用于查询 Amazon CloudWatch 日志的简单命令行工具。它旨在为人类提供友好的界面，支持从多个流中聚合日志，并使用常见的工具（如 grep）进行实时查询。该项目的主要编程语言是 Python。 新手使用注意事项及解决方案 1. 安装问题：pip install awslogs 失败 问题描...
(实战)[re:Invent 2018]-001:赛道分析-(致敬1024)
Rainbow
10-24 2229
打印log
如何抓取log
qq_45727950的博客
03-14 3913
Catcher是MTK提供的功能机上一个功能比较强大的一个log工具。
Bat脚本-在文件中查找多个字符串
qq_36836950的博客
05-07 5765
概述 本文讲述的是对文本的内容进行检索，找到需要匹配的字符串并挑出对应字符串输出到新的文本中，实现文本内容过滤的效果。 背景 本人在开发的过程中，经常会打印一些 log 数据来监测系统是否运行正常，但是有时候 log 数据特别大，且有时候会有一些 log 和当前问题不相关，需要过滤掉，所以想写一个可以提取出我所需要信息的脚本来完成log 数据的提取。 需求 1、可以提取多个字符串内容； 2、可以输出到另外的文本中，不对原文件进行修改； 需求分析 根据这个需求，可以有多个方法实现，其实简单的就是对文本的内容进
[C++] Log文件遍历与关键词提取
Murphy_CoolCoder的博客
07-02 2428
程序员日常工作中少不了要debug，根据Log来分析code。 然而在大型项目中常常有log模块，我们根据自己的需要加入特定的log即可, 然后分析。由于LOG里面内容太多，我通常都会在Log时加上一个特定的字符串，这样得到log以后便于自己查找。但是往往log文件通常很多，为了看Log方便，特意编写了一个小程序，可以将多个相同格式的文件,如 .txt, 或者.log， 根据关键词索引提取到一个相...
使用python提取log文件数据，写入csv文档
浮生说-分享个人成长和笔记
12-03 3416
该脚本的难度在于如何正确匹配到数据，并且按照特定的顺序写到csv文档，比较考验编码人员的思维逻辑（绞尽脑汁）和使用正则的熟练度，其实只要根据需求，抓住关键点，多思考多实践，当再次面对类似的编码需求时，就已经有解决的思路，加油 少年！PS.脚本是帮同事编写，用于测试数据批量获取。
lammps软件_一个可以批量读取log文件信息的软件（适合LAMMPS新手）
weixin_39710966的博客
12-03 2374
注：本文中提及的软件有中科院物理所极端4组的刘松灵同学制作~此软件适合刚入手LAMMPS的同学，帮助提取log文件中的信息（例如看体系温度或能量随时间或者步数的变化情况等），这个软件可以读取单个log文件也可以批量读取log文件信息：使用须知：在使用时，请务必保证：1.log文件的后缀文件名为.log。2.log的第一列和第二列为Step Temp在使用中，如果出现闪退，请注意是否出现了无效的lo...
AWS DeepRacer进阶日志分析教程与实例
资源摘要信息:"AWS DeepRacer分析log-002" AWS DeepRacer是亚马逊网络服务(AWS)提供的一个平台，旨在通过模拟和实际的赛车竞赛来教育开发者如何使用强化学习技术。强化学习是一种机器学习方法，其中智能体通过与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Rambo.Fan

码字不易，打赏有动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值