念念不忘
必有回响

编程不止

Maven提示dependencies.dependency.systemPath的警告信息-码农志

Maven提示dependencies.dependency.systemPath的警告信息

阅读(40)赞(0)

最近对项目进行重构,期间解决了依赖冲突,将不必要的模块剔除,升级依赖版本等,做完这一切后整个项目目前运行还算正常,不过注意到使用Maven打包的时候经常会出现如下告警: [WARNING] Some problems were encoun...

利用 Spring 的类型转换器注入List属性-码农志

利用 Spring 的类型转换器注入List属性

阅读(72)赞(0)

在Spring应用程序中,通常会为每个Spring容器(或ApplicationContext)配置一个ConversionService实例。 Spring会选择该ConversionService,然后在框架需要执行类型转换时使用它。如...

Spring中的线程池ThreadPoolTaskExecutor-码农志

Spring中的线程池ThreadPoolTaskExecutor

阅读(74)赞(0)

ThreadPoolTaskExecutor是Spring Core实现的一种线程池技术,它只是对`ThreadPoolExecutor`进行了封装,在我们使用线程池的时候,使用`ThreadPoolTaskExecutor`会更优于使用`...

Go语言学习笔记 - 环境搭建-码农志

Go语言学习笔记 – 环境搭建

阅读(775)赞(0)

距离上次学习Go已经过去一年半了,最近考虑了很久,到底要不要将Go作为自己技术栈,中途来来回回也放弃了好几次,主要原因是精力不够。但是过不了几天还是会把Go语言给装上,既然这样了那自然是无法放弃它,与其这么难受纠结不如就给它一席之地吧。于是...

Hive日期函数总结-码农志

Hive日期函数总结

阅读(36)赞(0)

使用Hive进行数据计算免不了要用到日期相关的函数,常用的就两种,但是一旦遇到不常用的就又开始面向Google编程了,于是在此总结下,方便查阅。 unix_timestamp() 该函数返回当前时区的时间戳,是比较常用的函数。 select...

Python3连接Hiveserver2-码农志

Python3连接Hiveserver2

阅读(836)赞(0)

最近有个小需求,需要自动在Hive的数据库中创建一些通用的基础表,用于不同城市的数据计算服务,通常我会整理出一个hql文档,将所有的sql统统塞到一个文件里,然后直接执行,这种虽然简便,但是却不易维护,于是我就用python撸个小工具,能够...

Hue整合Oozie和Spark2-码农志

Hue整合Oozie和Spark2

阅读(676)赞(0)

在Hue中使用Oozie调度Spark2任务时总是调用不起来,默认Hue也只支持Spark,那么要支持Spark2还需要进行如下操作。 1.将Spark2中的jar包依赖上传到/user/oozie/share/lib/中: hadoop ...

macOS卸载Python3-码农志

macOS卸载Python3

阅读(714)赞(0)

由于刚入手mac后,习惯于dmp文件去安装软件,包括python3,两年过去了,python3也已经更新了好几个版本,更新起来也较为麻烦,于是就考虑使用brew去统一管理吧。 查看Python3的位置 which python3 /Libr...

将Hive表与ElasticSearch关联-码农志

将Hive表与ElasticSearch关联

阅读(746)赞(0)

现有一需求,需要将Hive的表与ElasticSearch关联起来,数据插入Hive表后,可以直接在elasticsearch中查询。 1.下载elasticsearch-hadoop依赖 请前往https://www.elastic.co...