标签：Hive

2020-11-04阅读(930)赞(0)

在数据计算完成后，有部分数据会有导入ES的需求，最常用也是最简单的就是使用hive-elasticsearch的映射表来实现，可参考将Hive表与ElasticSearch关联。在ElasticSearch7.8.0与CDH5.9中可以正常...

2019-07-14阅读(787)赞(0)

使用Hive进行数据计算免不了要用到日期相关的函数，常用的就两种，但是一旦遇到不常用的就又开始面向Google编程了，于是在此总结下，方便查阅。 unix_timestamp() 该函数返回当前时区的时间戳，是比较常用的函数。 select...

2019-06-19阅读(1797)赞(0)

最近有个小需求，需要自动在Hive的数据库中创建一些通用的基础表，用于不同城市的数据计算服务，通常我会整理出一个hql文档，将所有的sql统统塞到一个文件里，然后直接执行，这种虽然简便，但是却不易维护，于是我就用python撸个小工具，能够...

2019-03-09阅读(2196)赞(4)

早晨发现Hive下发的语句无法执行，无论是手动还是去hiveserver2都不可以，是在令人头疼。 现象： ES的索引可以正常查询。 hive对应的表无法查询、删除。 最后查看表的状态发现该表被锁了。 hive> show locks...

2018-11-06阅读(1854)赞(0)

在执行HiveSQL时，出现了如下的错误： 2018-11-05 16:43:02,568 ERROR org.apache.hadoop.hive.ql.exec.Task: [HiveServer2-Background-Pool: T...

2018-10-16阅读(1568)赞(0)

现有一需求，需要将Hive的表与ElasticSearch关联起来，数据插入Hive表后，可以直接在elasticsearch中查询。 1.下载elasticsearch-hadoop依赖 请前往https://www.elastic.co...

2018-05-15阅读(2440)赞(0)

在配置完apache-hive-1.2.2之后，启动hive，提示如下错误： Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException...

2017-06-20阅读(3814)赞(0)

从测试环境往生产环境迁移hive元数据时，经常会遇到hive表的location路径不一致的问题，那么就需要批量修改。修改的方法有两种： 1. 修改mysql中的hive meta info(适合批量修改): update `DBS` se...

2017-06-08阅读(3072)赞(0)

一、创建分区 ALTER TABLE stg_userlogin ADD IF NOT EXISTS PARTITION (p_day_id = '20170608') location '/datacenter/business/stg/...