数据库连接工具类 mysql数据库连接类首先在maven项目的 pom 文件添加以下依赖12345678910<dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.20</version>< 2022-06-21 java工具类 java
hive-ip地理信息查询 HIVE UDF IP查询利用 hive-udf 自定义 IP 查询函数 借助 ipip 提供的 ipdb https://www.ipip.net/product/ip.html#ipv4city将 .ipdb 文件放在 resources 目录下 代码如下 123456789101112131415161718192021222324252627282930313233343536373839 2022-06-20 大数据 hive
python按行切割文件 利用python 按行分割文件代码如下 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949 2022-06-20 其他 python
hadoop磁盘空间清理 查看linux磁盘空间大文件 du -h / —max-depth=5 | sort -hr | head -n 10 查看hadoop大文件 hdfs dfs -du -h / 分析其中占用空间过多的文件是否可以删除 2022-06-20 大数据 linux hadoop
hadoop作业查询与关闭 hadoop作业的查询和关闭 hadoop version < 2.3.0 查看正在运行的 Hadoop 任务： hadoop job -list 关闭Hadoop 任务进程： hadoop job -kill $jobId 组合以上两条命令就可以实现 kill 掉指定用户的 job 1234for i in `hadoop job -list | grep -w user 2022-06-20 大数据 hadoop yarn
hive 中文乱码 hive 中文乱码修改元数据库字符集12345678910-- 修改表字段 注解 和 表 注解ALTER TABLE COLUMNS_V2 MODIFY COLUMN COMMENT varchar(256) character set utf8 ;ALTER TABLE TABLE_PARAMS MODIFY COLUMN PARAM_VALUE varchar(4000) character 2022-06-16 大数据 hive
es on hive es on hive参考https://www.elastic.co/guide/en/elasticsearch/hadoop/current/hive.html 1.首先在官网下载jar包，解压到hive/lib目录下 Download Elasticsearch for Hadoop Free | Elastic 2.hive server执行时，添加参数 hive.aux.jars. 2022-06-16 大数据 hive ElasticSearch
搜索技巧1 利用数组确定搜索方向我们可以新建方向数组，这样 dfs 里不用自己手写搜索方向 12345678int[] dx = new int[]{1, 0, -1, 0};int[] dy = new int[]{0, 1, 0, -1};for(int n = 0; n< 4; n++){ int nx = i + dx[n]; int 2022-05-23 算法 leetcode
剑指offer-03-数组中重复的数字 题目描述题目链接:剑指 Offer 03. 数组中重复的数字 - 力扣（LeetCode） (leetcode-cn.com) 找出数组中重复的数字。 在一个长度为n 的数组 nums里的所有数字都在 0～n-1 的范围内。数组中某些数字是重复的，但不知道有几个数字重复了，也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。 示例1： 123输入：[2, 3, 1, 0, 2, 5, 3] 2021-06-17 算法 leetcode hash-table 剑指offer
160.相交链表 题目描述题目链接:160. 相交链表 - 力扣（LeetCode） (leetcode-cn.com) 给你两个单链表的头节点 headA 和 headB ，请你找出并返回两个单链表相交的起始节点。如果两个链表没有交点，返回 null 。 图示两个链表在节点 c1 开始相交： 题目数据 保证 整个链式结构中不存在环。 注意，函数返回结果后，链表必须 保持其原始结构 。 示例 1： 123456 2021-06-06 算法 leetcode linked-list