shell脚本做文本解析同php和python比哪个效率更高

Question

如题所述

Answer 1

N年前为了每天分析数十GB的日志，正好做过测试。测试是在Linux环境下(Redhat ES
3)，测试处理一个数百兆的日志文件进行汇总分析（邮件日志），分别用C, Perl,
Python，Shell做同样的处理。处理速度排名是C>>Perl>python>shell。C是最快的，比别的快上至少
一个数量级；其次是Perl，毕竟是为文本处理而生，最强的内置正则表达式；Python比Perl慢了点，记得速度是Perl的60%左右；shell
最慢，虽然sed, grep，awk都不慢（其实都是C写的），但通过shell组合在一起效率还是差了不少。

Answer 2

shell脚本并不擅长处理普通文本，比如一个简单的字符串分隔成数组在php和python中一行代码就能做到，但在shell中比较麻烦，但shell脚本效率高，php处理文本时读取写入文本要比shell慢很多，python不熟，估计比php效率高但比shell低。

目前针对一些特定的文本（如JSON字符串）有人开发了一些shell工具来处理，这类文本可以用shell直接处理，其他的建议用php或python本回答被提问者和网友采纳

Answer 3

python的效率更高，python也可以当脚本使用