【大数据新手上路】“零基础”系列课程--日志服务（Log Service）采集 ECS 日志数据到 MaxCompute实验目的和前期说明实验前的准备工作通过 Logtail 实时采集日志MaxCompute 目标表准备投递日志到 MaxCompute

随着公司业务的增多，云服务器 ecs 上的日志数据越来越多，存储开销越来越大，受限于日志的大小和格式，分析的速度非常缓慢，导致海量数据在沉睡，不知道发挥作用，如何能将这些数据进行归集、提炼和智能化的处理始终是一个困扰。通过日志服务投递日志数据到maxcompute便可以让用户按照不同的场景和需求、以不同的方式复用数据，充分发挥日志数据的价值。

使用日志服务投递日志数据到maxcompute具有如下优势：

使用非常简单。用户只需要完成2步配置即可以把日志服务logstore的日志数据迁移到maxcompute中。

避免重复收集工作。由于日志服务的日志收集过程已经完成不同机器上的日志集中化，无需重复在不同机器上收集一遍日志数据后再导入到maxcompute。

充分复用日志服务内的日志分类管理工作。用户可让日志服务中不同类型的日志（存在不同logstore中）、不同project的日志自动投递到不同的maxcompute表格，方便管理及分析maxcompute内的日志数据。

备注：大部分情况下日志数据在写入logstore后的0.5~1个小时导入到maxcompute，用户可以在控制台“投递任务管理”查看导入状态。导入成功后用户即可在maxcompute内查看到相关日志数据。

下面介绍一个适用于中小企业用户，高效率低成本的日志采集存储方案：

对于云服务器 ecs 上的日志，可以通过日志服务进行收集，然后投递至 maxcompute 进行存储与分析，流程图如下：

实验目的：

通过 log service 采集 ecs 日志并投递到 maxcompute 上。

前期说明：

用户拥有阿里云官网实名认证账号，并且创建好账号 access key ；

用户拥有一定的开发经验。

3 . 单击页面右侧下方的 立即购买，确认订单并付款 。

连接 windows 实例

连接 windows 实例的方式有三种：远程桌面连接、管理控制台连接和手机连接，本教程以远程桌面连接作为示例，具体操作如下：

1 . 单击 开始 图标 > 远程桌面连接；

2 . 在 远程桌面连接 对话框中，输入实例的公网 ip 地址，单击 显示选项；

3 . 输入用户名，默认为 administrator，如果您希望以后连接时不再手动输入密码，可以勾选 允许我保存凭据 。如果不需要再做其它设置，可以直接单击 连接按钮；

4 . 单击 本地资源 选项卡进行设置，选择 剪贴板 后，点击 详细信息，选择 驱动器，然后选择文件存放的盘符 。如下图所示：

备注：通过以上设置可以方便地将本地文件拷贝到实例中 。

准备离线日志文件

在 ecs 服务器中创建日志文件，举例一条数据如下：

备注： 2 . 日志左侧的 ip、status、thread、time、url、user-agent 等是日志服务数据的字段名称，需在下方配置中用到。

准备密钥对

创建项目

注意：项目名称创建后不能修改 。

2 . 单击右上角的 创建 project；

3 . 填写 project 名称 和 所属地域，单击 确认 。

创建日志库

创建完项目后，系统会提示您创建日志库，单击 创建，配置如下图所示：

1 . 下载安装包

2 . 按机器网络环境和日志服务所在 region 进行安装

解压缩 <code>logtail.zip</code> 到当前目录，以管理员身份运行 cmd 进入 <code>logtail_installer</code> 目录 ，输入安装命令 <code>logtail_installer.exe install cn_beijing</code> 进行安装，如下图所示：

创建完 logstore 后，系统会提示您创建 logtail 配置收集日志数据，点击 创建 logtail 配置；

选择数据源，如下图所示：

指定日志的目录结构

注意：一个文件只能被一个配置收集 。

指定收集模式为分隔符模式

输入日志样例；

选择分隔符为 制表符；

为提取字段命名（设定对于字段的 key）；

设置使用系统时间；

根据自身需求设置高级选项（可选）。

设置完成后，单击 下一步 。

勾选需要的机器组并单击 应用到机器组 。

如果您未创建机器组，需单击页面中的 创建机器组 进行创建，如图所示：

完成上述配置后，日志服务即可收集日志 。您可在 logstore 列表 页面，选择要查看的日志库并单击日志消费列下的 预览 进行查看，如下图所示：

maxcompute 列名

maxcompute 列类型

日志服务字段名

日志服务字段类型

log_source

string

_source_

系统保留字段

log_time

_time_

log_topic

_topic_

time

日志内容字段

ip

thread

log_extract_others

_extract_others_

log_partition_time

_partition_time__

status

2 . 创建项目 。进入控制台页面后导航至 大数据开发套件-&gt;项目列表，点击 创建项目，如图所示：

在弹出框中选择 i/o 后付费的付费方式，输入项目名称：

创建完项目后，点击项目列表下对应项目操作栏中的 进入工作区，进入数据开发页面，如下图所示：

新建脚本文件 。点击上图中的“新建脚本”任务框，编辑建表语句，如下所示：

点击运行，确认建表成功 。

开启投递后跳转至 loghub —— 数据投递 页面，在该页面需要配置投递大数据计算服务 maxcompute（原 odps）的相关内容：

任务投递状态显示为 成功 后，可进入大数据开发套件管理控制台，查询 maxcompute 表中是否有数据写入，如下图所示：

通过以上操作将云服务器 ecs 的日志成功投递到 maxcompute 后，您还可以对日志数据进行分析与应用，详情请参见以下文章：