分类: Linux
-
使用grep查找符合条件文本的前后几行
有的时候,需要在满足查询条件的情况,查询符合条件文本的前后几行。之前一直以为需要用python自行解决,没想到…
-
在ubuntu 18.04上安装最新版greenplum(7.0.alpha)
近期组建了一个新的大数据测试集群,由4个物理机器构成一个测试集群,分别命名为hadoop1-4号机器,想要进行…
-
使用SSH构建内网隧道
之前一直使用学校提供的vpn工具访问放在学校机房内网的服务器,多数时间是没有问题的,但到重大事件时会提高安全防…
-
ubuntu 18.04中设置dns server
ubuntu 18.04及之后的版本,发生的一个变化,就是网络地址设置的更改。 在之前的版本,修改ip地址、d…
-
split:分割文本文件
在数据处理时有时需要将一个大的数据集分为几个部分,交给不同机器或不同账号进行处理,之前我都是用sed或vi进行…
-
cron脚本中date命令问题
在shell中可以正常执行的命令,转移到cron中让其定时运行发现存在问题,即有错误提示,导致命令不执行。 d…
-
bash tips: kill a background bash job
执行了一个shell脚本,突然发现脚本里的代码有错误,想要终止其运行,这是要用ps & kill 来执…
-
遭遇Out of memory: Kill process or sacrifice child
在调试一个爬虫程序时,发现一个非常奇怪的问题,程序总是在运行一段时候会被系统给Kill掉,在syslog里看到…
-
bash tips:巧用xargs来组合不同命令
在处理数据时,使用python编写了一个小程序,可将多个同类型但文件头次序有可能不同的csv文件进行合并,其使…
-
使用sed和awk对出租车数据进行清洗
拿到出租车数据,要做大量的数据清洗工作。里面经常有各种奇怪的错误。本文记录了使用sed和awk对出租车数据进行…
-
tmux:终端复用神器
最近链接服务器的网络变差了,经常连接不上,导致正在执行的命令中断。一番搜索后发现tmux神器,其本身是用来管理…
-
在ubuntu 16.04上安装MapD问题小结
这是一个初步的小结,记录中间所踩的坑,同时在我的服务器尚有问题未解决。 从官方的github库直接下载下来,按…