合并flink写入hive产生的小文件 flink 写入数据到 hdfs 时，会产生很多的小文件，因为每个文件均按块存储,每个块的元数据存储在NameNode的内存中,因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。 因为我们需要将 小文件合并。 只需要利用 HIVE 的 MR 即可，也就是执行 这条SQL 12insert overwrite table hive_tableselect * 2022-08-04 大数据 hive flink
flink读kafka数据写入hive maven依赖1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001 2022-08-04 大数据 kafka hive flink
tkinter 由于会用到 python写一些小工具，使用 tkinter画一些简单的界面 在此记录一下 tkinter 的一些用法 一个简单的 tkinter程序至少应包含以下四个部分： import tkinter 创建窗口 添加控件，以及相应的事件函数 通过mainloop来显示主窗口 123456# 导入 tk 包import tkinter as tk# 调用Tk()创建主窗口root =tk.T 2022-08-03 其他 tkinter python-gui
shell获取进程pid 查看进程pid1ps -ef|grep 进程名 |grep -v grep | awk '{print $2}' 判断进程是否存在123456p_cnt=ps -ef|grep queue |grep -v grep| wc -lif [ $p_cnt -le 0 ]; then# 进程不存在else# 进程存在fi 2022-08-03 shell脚本 shell
hadoop常用命令 hdfs常用命令查看文件列表 1hadoop fs -ls <path> 递归查看文件 1hadoop fs -ls -R <path> 上传文件 1hadoop fs -put <localFile> <hdfsPath> 创建目录 1hadoop fs -mkdir <path> 递归删除 1hadoop fs -rm -r < 2022-08-01 大数据 hadoop
datanode DATANODE工作机制DataNode启动流程 DataNode 启动后主动向 NameNode 注册 注册成功后，NameNode会把DataNode注册在元数据中 注册成功以后每周期(默认6小时)，DataNode向NameNode上报信息(块完好) 心跳每3秒一次，心跳返回结果带有NameNode给DataNode的命令,比如复制数据块到另一台机器，或者删除某个数据块等等(DataNode 2022-07-31 大数据 hdfs
azkaban接口 azkaban接口列表 接口 说明 /manager?action=login 登录接口 接口详情 登录接口 接口地址：/manager 返回格式：Json 请求方式：Post 请求示例：https://localhost:8443/manager 接口备注：This API helps authenticate a user and provides a ses 2022-07-23 调度-azkaban
mysql-date_format()函数 作用DATE_FORMAT() 函数可以用不同的格式显示日期/时间 语法1select DATE_FORMAT(date,format); 参数 说明 date 合法的日期 format 规定的日期/时间输出格式 format 格式 格式 说明 样例 %a 缩写星期名 %b 缩写月名 %c 月,数值 %D 带有英文前缀的月中的天 % 2022-07-23 mysql
azkaban重启 webserver报没有激活的执行器 azkaban 重启后 webserver报错 azkaban重启时 先重启执行器在 /usr/local/azkaban/azkaban-exec-server 目录下执行 bin/start-exec.sh 在 /usr/local/azkaban/azkaban-web-server 目录下执行 bin/start-exec.sh 报 :ERROR [ExecutorManager] [ma 2022-07-22 调度-azkaban
azkaban任务一直preparing 内存问题：过滤器会检查 executor 主机空余内存是否会大于 6G，如果不足 6G，则 web-server 会认为 集群资源不够， 不会将任务交由该主机执行，需要修改 azkaban-web下的azkaban.properties配置文件，去掉MinimumFreeMemory 12345# 原来azkaban.executorselector.filters=StaticRemaining 2022-07-22 调度-azkaban