随着公司业务的增多，云服务器 ECS 上的日志数据越来越多，存储开销越来越大，受限于日志的大小和格式，分析的速度非常缓慢，导致海量数据在沉睡，不知道发挥作用，如何能将这些数据进行归集、提炼和智能化的处理始终是一个困扰。通过日志服务投递日志数据到MaxCompute便可以让用户按照不同的场景和需求、以不同的方式复用数据，充分发挥日志数据的价值。

使用日志服务投递日志数据到MaxCompute具有如下优势：

使用非常简单。用户只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。避免重复收集工作。由于日志服务的日志收集过程已经完成不同机器上的日志集中化，无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。充分复用日志服务内的日志分类管理工作。用户可让日志服务中不同类型的日志（存在不同Logstore中）、不同Project的日志自动投递到不同的MaxCompute表格，方便管理及分析MaxCompute内的日志数据。

备注：大部分情况下日志数据在写入Logstore后的0.5~1个小时导入到MaxCompute，用户可以在控制台“投递任务管理”查看导入状态。导入成功后用户即可在MaxCompute内查看到相关日志数据。

下面介绍一个适用于中小企业用户，高效率低成本的日志采集存储方案：

对于云服务器 ECS 上的日志，可以通过日志服务进行收集，然后投递至 MaxCompute 进行存储与分析，流程图如下：

ECS：云服务器 ECS 是一种简单高效、可以弹性伸缩的计算服务；

日志服务（Log Service）：针对日志类数据的一站式服务，用户无需开发便可快速完成数据采集、消费、投递以及查询分析等功能；

MaxCompute：原名 ODPS，是由阿里云自主研发的一款服务，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，它适用于海量数据的存储、计算，商业智能等领域。

实验目的和前期说明

实验目的：通过 Log Service 采集 ECS 日志并投递到 MaxCompute 上。

前期说明：

本实验在 Windows 环境下操作； （拥有 Linux 环境的用户在准备 ECS 日志数据时请参见：Linux 实例 进行操作）用户拥有阿里云官网实名认证账号，并且创建好账号 Access Key ；用户拥有一定的开发经验。

实验前的准备工作

开通MaxCompute

阿里云实名认证账号访问 https://www.aliyun.com/product/odps ，开通 MaxCompute，选择按量付费进行购买 。

准备 ECS 日志数据

购买云服务器 ECS 并创建 Windows 实例

1 . 进入 云服务器 ECS 产品页，点击 立即购买；

2 . 根据自身需求对弹出框中的计费方式、地域、网络、实例、带宽、镜像、存储和购买量进行配置，更为详细的步骤说明请参见：创建 Windows 实例；

3 . 单击页面右侧下方的 立即购买，确认订单并付款 。

您可进入 云服务器管理控制台 单击实例 ID 或者 管理，进入 实例详情 页面查看实例的相关信息 。

连接 windows 实例并准备日志数据

连接 Windows 实例连接 Windows 实例的方式有三种：远程桌面连接、管理控制台连接和手机连接，本教程以远程桌面连接作为示例，具体操作如下：

注意：采用这种方式登录，请确保实例能访问公网 。如果在创建实例时没有购买带宽，则不能使用远程桌面连接 。如果您需要通过其他方式连接实例，请参见：连接 Windows 实例 进行操作 。

1 . 单击 开始 图标 > 远程桌面连接；

2 . 在 远程桌面连接 对话框中，输入实例的公网 IP 地址，单击 显示选项；

3 . 输入用户名，默认为 Administrator，如果您希望以后连接时不再手动输入密码，可以勾选 允许我保存凭据 。如果不需要再做其它设置，可以直接单击 连接按钮；

备注：如果您未设置或忘记实例的登录密码（不是管理终端的密码），请 重置密码 。

4 . 单击 本地资源 选项卡进行设置，选择 剪贴板 后，点击 详细信息，选择 驱动器，然后选择文件存放的盘符 。如下图所示：

备注：通过以上设置可以方便地将本地文件拷贝到实例中 。

准备离线日志文件在 ECS 服务器中创建日志文件，举例一条数据如下：

ip:10.200.98.220 status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0UjpekFQOVJW45A&Date=Fri, 28 Jun 2013 06:53:30 GMT&Topic=raw&Signature=pD12XYLmGxKQ+mkd6x7hAgQ7b1c= HTTP/1.1 user-agent:aliyun-sdk-java

备注：

1 . 以上仅为数据示例，日志源数据见：logstore；

2 . 日志左侧的 ip、status、thread、time、url、user-agent 等是日志服务数据的字段名称，需在下方配置中用到。

开通日志服务

使用注册成功的阿里云账号登录 日志服务产品页，单击 立即开通 。

准备密钥对

在 日志服务管理控制台，将鼠标移至页面右上角您的用户名上方，在显示的菜单中单击 accesskeys ，确认 Access Key 的状态为“启用”。如下图所示：

注意：Access Key 是 logtail 收集日志数据的必要条件，如果一旦没有启用，请参见： 创建密钥对 来进行创建 。

创建项目

注意：项目名称创建后不能修改 。

1 . 登录 日志服务管理控制台；

2 . 单击右上角的 创建 Project；

3 . 填写 Project 名称 和 所属地域，单击 确认 。

创建日志库

创建完项目后，系统会提示您创建日志库，单击 创建，配置如下图所示：

备注：您若想要了解日志库各项配置信息的详情，请参见：创建日志库。

安装 Logtail

1 . 下载安装包

在云服务器 ECS 中下载 Logtail 安装包，下载地址：http://logtail-release.oss-cn-hangzhou.aliyuncs.com/win/logtail_installer.zip 。

2 . 按机器网络环境和日志服务所在 Region 进行安装

解压缩 logtail.zip 到当前目录，以管理员身份运行 cmd 进入 logtail_installer 目录 ，输入安装命令 logtail_installer.exe install cn_beijing 进行安装，如下图所示：

备注：您需按照自己的机器网络环境和日志服务所在 Region 输入相应的安装命令 ，详情请参见：安装命令，此处以华北 2（北京）的 ECS 经典网络为例 。

通过 Logtail 实时采集日志

创建 Logtail 配置

创建完 logstore 后，系统会提示您创建 Logtail 配置收集日志数据，点击 创建 Logtail 配置；

选择数据源

选择数据源，如下图所示：

指定收集模式

指定日志的目录结构

注意：一个文件只能被一个配置收集 。

指定收集模式为分隔符模式

输入日志样例；

选择分隔符为 制表符；为提取字段命名（设定对于字段的 Key）；

设置使用系统时间；根据自身需求设置高级选项（可选）。

设置完成后，单击 下一步 。

应用到机器组

勾选需要的机器组并单击 应用到机器组 。

如果您未创建机器组，需单击页面中的 创建机器组 进行创建，如图所示：

备注：云服务器的实例内网 IP 可到 云服务器 ECS 管理控制台 进行查看 。

查看收集的日志

完成上述配置后，日志服务即可收集日志 。您可在 LogStore 列表 页面，选择要查看的日志库并单击日志消费列下的 预览 进行查看，如下图所示：

MaxCompute 目标表准备

数据类型映射

MaxCompute 列名MaxCompute 列类型日志服务字段名日志服务字段类型log_sourcestring_source_系统保留字段log_timestring_time_系统保留字段log_topicstring_topic_系统保留字段timestringtime日志内容字段ipstringip日志内容字段threadstringthread日志内容字段log_extract_othersstring_extract_others_ 系统保留字段log_partition_timestring_partition_time__系统保留字段statusstringstatus日志内容字段

创建 MaxCompute 项目

1 . 导航至 产品->大数据（数加）-> MaxCompute 页面， 点击管理控制台；

2 . 创建项目 。进入控制台页面后导航至 大数据开发套件->项目列表，点击 创建项目，如图所示：

在弹出框中选择 I/O 后付费的付费方式，输入项目名称：

创建 MaxCompute 目标表

创建完项目后，点击项目列表下对应项目操作栏中的 进入工作区，进入数据开发页面，如下图所示：

新建脚本文件 。点击上图中的“新建脚本”任务框，编辑建表语句，如下所示：

DROP TABLE IF EXISTS tmall; CREATE TABLE tmall ( log_source string, log_time bigint, log_topic string, time string, ip string, thread string, log_extract_others string ) PARTITIONED BY ( log_partition_time STRING , status string );

点击运行，确认建表成功 。

投递日志到 MaxCompute

开启投递

进入 LogStore 列表 页面，点击对应 LogStore 后的 ODPS，进入投递管理页面，点击 开启投递，如下图所示：

投递配置

开启投递后跳转至 LogHub —— 数据投递 页面，在该页面需要配置投递大数据计算服务 MaxCompute（原 ODPS）的相关内容：

备注：__source__、__time__、__topic__、__extract_others__和__partition_time__是日志服务的系统保留字段,建议使用 。对于映射配置的限制详情请参见： 日志数据投递到 MaxCompute。

投递任务管理

成功配置数据投递后点击 确定，可返回 MaxCompute (原 ODPS)投递管理 投递管理") 页面查看任务投递状态，如下图所示：

检查 MaxCompute 表数据

任务投递状态显示为 成功 后，可进入大数据开发套件管理控制台，查询 MaxCompute 表中是否有数据写入，如下图所示：

通过以上操作将云服务器 ECS 的日志成功投递到 MaxCompute 后，您还可以对日志数据进行分析与应用，详情请参见以下文章：

数据加工：用户画像； 数据分析与展现：可视化报表及嵌入应用； 社交数据分析：好友推荐。