阿里云MaxCompute(大数据)公开数据集---带你玩转人工智能

    xiaoxiao2024-04-05  126

    目前阿里云MaxCompute大数据产品已经免费向全部用户开放了多种公用数据集。在此之前,获取,分析,下载自定义的大型分析数据集需要数小时乃至数天才能完成。

    而现在阿里云的任何用户都可以通过基于大数据计算服务[MaxCompute]( https://www.aliyun.com/product/odps) 的数据工场[DataWorks]( https://data.aliyun.com/product/ide)快速、便捷的分析这些公用数据集。 开通MaxCompute&数据工场的教程参考: https://help.aliyun.com/document_detail/27803.html 我们将股票价格、房产、影视等多种类型的数据免费开放给用户,使得大家免去了复杂的数据获取、上传、清洗等过程,可以直接进入数据分析阶段,通过这种数据开放形式,我们希望能以更快的速度实现更多的创新。 大家也可以通过数加体验馆( https://data.aliyun.com/experience)来使用这些数据,近距离的感受阿里云数加(大数据)产品; 目前我们开放的数据类别包括:股票价格数据,房产信息,影视及其票房数据。所有的数据均被存储在MaxCompute 产品中的public_data 项目中。以下,我们将对这些数据做更为详细的介绍,并简要说明如何通过MaxCompute 及数据工场服务并分析这些数据。 获取权限 首选,需要用户以项目空间的owner 或者管理员的身份,在自己的项目空间下,执行如下操作。执行完成后用户项目空间下的所有成员均可读取各公开数据集合: add user ALIYUN$everyone;执行该语句后即可执行查询: 特殊说明 公开数据集合对所有MaxCompute 用户开放,这是通过MaxCompute 特殊的授权机制实现的。在使用过程中,用户需要足以一下几点: 1. 所有数据均存储在一个名为public_data 的项目空间中,但所有用户并未被加入到该空间下(非项目空间成员)。因此,用户需要跨项目空间访问数据,在数据工场中编辑SQL 时,必须在表明前指定项目名称,例如: Select * from public_data.ods_enterprise_share_basic where ds = '20170114'; 2. 由于是跨项目空间访问,所有用户在数据工场的[数据管理]中无法查找到公开数据集的表; 3. 只有在执行”Add User”语句后,用户才有权限访问公开数据集。该语句可以再数据工场以及MaxCompte 提供的客户端中执行; 下面我们将详细介绍目前开放的数据集合。 股票价格数据集 总体信息:每日更新A 股股票相关数据。 项目public_data表集合ods_enterprise_share_basic 股票基本信息 ods_enterprise_share_quarter_cashflow 季度报表说明 ods_enterprise_share_quarter_growth 季度业务增长情况 ods_enterprise_share_quarter_operation 季度财务周转 ods_enterprise_share_quarter_profit 季度利润 ods_enterprise_share_quarter_report 季度报表 ods_enterprise_share_trade_h 股票价格更新周期根据各表的业务属性,每日或每季度第一天早10 点前更新。至2016 年12 月13 日开始,增量更新。 查询示例 select * from public_data. ods_enterprise_share_basic where ds ='20170114'; ods_enterprise_share_basic 股票基本信息

    字段英文名

    字段类型

    描述

    是否为分区列

    code

    STRING

    代码

     

    name

    STRING

    名称

     

    industry

    STRING

    所属行业

     

    area

    STRING

    地区

     

    pe

    STRING

    市盈率

     

    outstanding

    STRING

    流通股本

     

    totals

    STRING

    总股本()

     

    totalassets

    STRING

    总资产()

     

    liquidassets

    STRING

    流动资产

     

    fixedassets

    STRING

    固定资产

     

    reserved

    STRING

    公积金

     

    reservedpershare

    STRING

    每股公积金

     

    eps

    STRING

    每股收益

     

    bvps

    STRING

    每股净资

     

    pb

    STRING

    市净率

     

    timetomarket

    STRING

    上市日期

     

    undp

    STRING

    未分利润

     

    perundp

    STRING

    每股未分配

     

    rev

    STRING

    收入同比(%)

     

    profit

    STRING

    利润同比(%)

     

    gpr

    STRING

    毛利率(%)

     

    npr

    STRING

    净利润率(%)

     

    holders_ num

    STRING

    股东人数

     

    ds

    STRING

    数据导入日期,时间间

    隔为天。

    分区列

    数据样例: ods_enterprise_share_quarter_cashflow 季度报表说明

    字段英文名

    字段类型

    描述

    是否为分区列

    rank

    STRING

    排序

     

    code

    STRING

    代码

     

    name

    STRING

    名称

     

    cf_sales

    STRING

     

    经营现金净流量对销售收入比 率(%)

     

    rateofreturn

    STRING

    资产的经营现金流量回报率(%)

     

    cf_nm

    STRING

     

    经营现金净流量与净利润的比 率(%)

     

    cf_liabilities

    STRING

    经营现金净流量对负债比率(%)

     

    cashflowratio

    STRING

    现金流量比率(%)

     

    ds

    STRING

    年份

    分区列

    quarter

    STRING

    季度。数据季度更新。

    分区列

    数据样例: ods_enterprise_share_quarter_growth 季度业务增长情况

    字段英文名

    字段类

    是否为分区列

    rank

    STRING

    排序

     

    code

    STRING

    代码

     

    name

    STRING

    名称

     

    mbrg

    STRING

    主营业务收入增长率(%)

     

    nprg

    STRING

    净利润增长率(%)

     

    nav

    STRING

    净资产增长率(%)

     

    targ

    STRING

    总资产增长率(%)

     

    epsg

    STRING

    每股收益增长率(%)

     

    seg

    STRING

    股东权益增长率(%)

     

    ds

    STRING

    年份

    分区列

    quarter

    STRING

    季度。数据季度更新。

    分区列

    数据样例: ods_enterprise_share_quarter_operation 季度财务周转

    字段英文名

    字段类型

    描述

    是否为分区列

    rank

    STRING

    排序

     

    code

    STRING

    代码

     

    name

    STRING

    名称

     

    arturnover

    STRING

    应收账款周转率()

     

    arturndays

    STRING

    应收账款周转天数()

     

    inventory_turnover

    STRING

    存货周转率()

     

    inventory_days

    STRING

    存货周转天数()

     

    currentasset_turnover

    STRING

    流动资产周转率()

     

    currentasset_days

    STRING

    流动资产周转天数()

     

    ds

    STRING

    导入日期。

    分区列

    quarter

    STRING

    季度。数据季度更新。

    分区列

    数据样例: ods_enterprise_share_quarter_profit 季度利润

    字段英文名

    字段类型

    描述

    是否为分区列

    rank

    STRING

    排序

     

    code

    STRING

    代码

     

    name

    STRING

    名称

     

    roe

    STRING

    净资产收益率(%)

     

    net_profit_ratio

    STRING

    净利率(%)

     

    gross_profit_rate

    STRING

    毛利率(%)

     

    net_profits

    STRING

    净利润(万元)

     

    eps

    STRING

    每股收益

     

    business_income

    STRING

    营业收入(百万元)

     

    bips

    STRING

    每股主营业务收入()

     

    ds

    STRING

    年份

    分区列

    quarter

    STRING

    季度,数据季度更新。

    分区列

    数据样例:

    ods_enterprise_share_quarter_report 季度报表

    字段英文名

    字段类型

    描述

    是否为分区列

    rank

    STRING

    排序

     

    code

    STRING

    代码

     

    name

    STRING

    名称

     

    eps

    STRING

    每股收益

     

    eps_yoy

    STRING

    每股收益同比(%)

     

    bvps

    STRING

    每股净资产

     

    roe

    STRING

    净资产收益率(%)

     

    epcf

    STRING

    每股现金流量()

     

    net_profits

    STRING

    净利润(万元)

     

    profits_yoy

    STRING

    净利润同比(%)

     

    distrib

    STRING

    分配方案

     

    report_date

    STRING

    发布日期

     

    ds

    STRING

    年份

    分区列

    quarter

    STRING

    季度。数据季度更新。

    分区列

    数据样例:

    ods_enterprise_share_trade_h 股票价格

    字段英文名

    字段类型

    描述

    是否为分区列

    trde_date

    STRING

    日期

     

    open

    STRING

    开盘价

     

    high

    STRING

    最高价

     

    close

    STRING

    收盘价

     

    low

    STRING

    最低价

     

    volume

    STRING

    成交量

     

    price_change

    STRING

    价格变动

     

    p_change

    STRING

    涨跌幅

     

    ma5

    STRING

    5 日均价

     

    ma10

    STRING

    10 日均价

     

    ma20

    STRING

    20 日均价

     

    v_ma5

    STRING

    5 日均量

     

    v_ma10

    STRING

    10 日均量

     

    v_ma20

    STRING

    20 日均量

     

    turnover

    STRING

    换手率

     

    code

    STRING

    股票代码

     

    ds

    STRING

    导入日期。

    分区列

    数据例:

     

     

     

    二手房数据集

    总体信息:二手房相关信息(注意:目前暂停更新)。

    public_data表集合

    dwd_prouduct_house_basic_info_out

    更新周期每日早10 点前更新。至2016 年12 月13 日开始更新,全量更新。查询示例 Select * from public_data.dwd_prouduct_house_basic_info_out where ds= '20170113';

    dwd_prouduct_house_basic_info_out信息

    字段英文名

    字段口型

    描述

    是否是分区列

    house_id

    STRING

    ID

     

    house_city

    STRING

    所在城市

     

    house_total_price

    STRING

    产总

     

    house_unit_price

    STRING

    均价

     

    house_type

    STRING

    产类

     

    house_floor

    STRING

     

    house_direction

    STRING

    方向

     

    house_deckoration

    STRING

    装修

     

    house_area

    STRING

     

    house_community_name

    STRING

    所在小区

     

    house_region

    STRING

    所在地区

     

    proj_name

    STRING

    名称

     

    proj_addr

    STRING

    目地址

     

    period

    STRING

    产权年限

     

    property

    STRING

    公司

     

    greening_rate

    STRING

    绿化率

     

    property_costs

    STRING

    业费

     

    ds

    STRING

    数据入日期

    分区

    数据样例:

    及票房数据集

    总体信息:每日更新国内影视剧信息及票房数据信息 。

    public_data表集合

    dwd_product_movie_basic_info 电影基本信息

    ods_product_movie_box 票房基本信息

    更新周期每日早10 点前更新。至2016 年12 月13 日开始更新,全量更新。 查询示例 Select * from public_data.dwd_product_movie_basic_info where ds ='20170112' limit 10;

    dwd_ product_ movie_ basic_ info

    字段英文名

    字段

    描述

    是否是分区列

    movie_ name

    STRING

    影名称

     

    dirctor

    STRING

     

    scriptwriter

    STRING

    编剧

     

    area

    STRING

    制片地区/国家

     

    actors

    STRING

    主演

     

    type

    STRING

     

    movie_ length

    STRING

     

    movie_ date

    STRING

    上映日期

     

    movie_ language

    STRING

     

    imdb_ url

    STRING

    imdb

     

    ds

    STRING

    日期

    分区

    ods_product_movie_box 票房基本信息

    字段英文名

     

    字段口型

    描述

    是否是分区列

    rank

     

    STRING

    排名

     

    avgprice

     

    STRING

    平均票价

     

    avppeople

     

    STRING

    均人次

     

    boxoffice

     

    STRING

    日票房(万)

     

    boxoffice_ up

     

    STRING

    %

     

    irank

     

    STRING

    排名

     

    movieday

     

    STRING

    上映天数

     

    moviename

     

    STRING

    影片名

     

    sumboxoffice

     

    STRING

    票房(万)

     

    womindex

     

    STRING

    口碑指数

     

    ds

     

    STRING

    日期

    分区

    数据样例:

    TPC-DS数据集 1TB

    总体信息:TPC-DS是一套决策支持系统测试基准,主要针对零售行业。提供99个SQL查询(SQL99或2003),分析数据量大,测试数据与实际商业数据高度相似,同时具有各种业务模型(分析报告型,数据挖掘型等等) 。

     public_data-非分区表

    byte

    MB

     

    store_sales

    132403186096

    126270

     

    catalog_sales

    96618400536

    92142

     

    web_sales

    48924735376

    46658

     

    store_returns

    15258734432

    14552

     

    catalog_returns

    9325156968

    8893

     

    web_returns

    4776062944

    4555

     

    inventory

    2354131064

    2245

     

    customer

    545421520

    520

    表集合

    customer_address

    127890712

    122

     

    item

    21917520

    21

     

    customer_demographics

    2831808

    2.70

     

    catalog_page

    1065000

    1.02

     

    date_dim

    432592

    0.41

     

    time_dim

    246576

    0.24

     

    store

    68680

    0.07

     

    promotion

    47976

    0.05

     

    web_page

    32424

    0.03

     

    web_site

    12000

    0.01

     

    call_center

    10536

    0.01

     

    household_demographics

    9448

    0.01

     

    warehouse

    4640

    <0.01

     

    ship_mode

    2040

    <0.01

     

    reason

    1528

    <0.01

     

    income_band

    1040

    <0.01

     

     

     

     

    更新周期

    更新时间:2018 年7 月13 日

     

     

     查询示例

    脚本下载

     

     

    基于公开数据集的实战

    手把手,教你用MaxCompute+OpenSearch搭建分布式搜索引擎

    购买&试用MaxCompute,请加入扫码进钉钉群。公开数据集问题,请加入扫码进钉钉群。

    相关资源:蚂蚁金服文本匹配竞赛训练数据
    最新回复(0)