2014 年文章归档
共 11 篇文章
hadoop eclipse plugin 编译安装,问题总结
插件名称:hadoop2x-eclipse-plugin 插件地址: https://github.com/winghc/hadoop2x-eclipse-plugin 1.下载并解压hadoop2.x,下载地址 http://hadoop.apache.org/releases.html#Download (我下载的是编译好的包) 2.下载并解压eclipse(我的是4.4.1版本,其他的版本类似) 3.下载hadoop2x-eclipse-plugin插件并解压自己喜欢的目录,为了方便表达,我暂时叫他" H2EP_HOME " 4.插件编译需要ant工具,下载地址 http://ant.…
2014-12-01 14:03 · BigData
Linux集群监控常用命令-备忘
linux常用命令备忘系列 Linux日志分析常用命令-备忘 Linux集群监控常用命令-备忘 集群监控常用命令: 1.load average top uptime 2.CPU利用率 top 1多核CPU查看 Shift+H 用线程查看 -p 指定查看的进程 top | grep Cpu mpstat -p ALL 3.磁盘剩余空间 df -h 按单位格式输出 du -h 按单位格式输出 4.网络traffic sar -n DEV 1 1 -n 汇报网络状况 DEV 查看各个网卡网络流量 n 间隔秒数 n 总共取几次 5.磁盘I/O iostat -d -k 6.内存使用 free -m…
2014-11-14 11:23 · Linux
Linux日志分析常用命令-备忘
linux常用命令备忘系列 Linux日志分析常用命令-备忘 Linux集群监控常用命令-备忘 日志分析常用命令: 1.查看文件内容 cat -n 显示行号 2.分页显示 more Enter 显示下一行 空格 显示下一页 F 显示下一屏 B 显示上一屏 less /get 查询"get"字符串并高亮显示 3.显示文件尾 tail -f 不退出持续显示 -n 显示文件最后n行 4.显示头文件 head -n 显示文件开始n行 5.内容排序 sort -n 按照数字排序 -r 按照逆序排序 -k 表示排序列 -t 指定分隔符 6.字符统计 wc -l 统计文件中行数 -c 统计文件字节数 -L…
2014-11-14 11:16 · Linux
试读《Java特种兵(上册)》 - 相见恨晚
俗话说:“ 师父领进门,修行在个人 ”。 但是,一个好的导师能够最大化的激发你的潜能,让你加速成长,领跑于他人之前。 在校时,无论老师水平高低,至少还有人给你指导, 走进社会后,偶尔有些命好的朋友,遇到好的领导、同事,能指引你如何继续前行,绝大部分人面对的是激烈的竞争环境,开始靠自学进步。 从事JAVA开发多年,看到本书样章,感觉只有四个字**“相见恨晚”**。 本书一开始就直接上“干货” 从JAVA中最常用却又很少引人注意的String类的例子, 来验证JAVA开发者的功底(我身边就有一部分工作多年的老鸟中招)。 本书每一个知识点的内容结构非常清晰 首先使用demo直观的展示问题所在, 然…
2014-10-13 15:56 · sundry
准确的java程序性能测试
原创文章,转载请指明出处: http://aub.iteye.com/blog/2124974 , 尊重他人即尊重自己 1.避免垃圾回收对结果造成的误差 方案一:JVM启动时使用-verbose:gc观察垃圾回收动作,确认整个测试期间垃圾回收根本不会执行 方案二:运行足够的次数和时间,这样测试程序能够充分的反应出运行期间分配与垃圾回收的开销(推荐)。 2.避免动态编译对结果造成的误差 方案一:让测试程序长时间运行,让编译过程和解释执行仅仅占总体运行时间的一小部分。 方案二:让测试代码“热身”,充分的执行,这样开始计时前,代码已经被编译了(JVM启动时使用-xx:PrintCompilatio…
2014-10-07 16:13 · Java
《高性能网站建设指南》读后总结
原创文章,转载请指明出处: http://aub.iteye.com/blog/2094392 ,尊重他人既是尊重自己。 网页的性能黄金法则: 只有10%~20%的最终用户相应时间花在了下载html文档上。其余的80%~90%时间花在了下载页面中的所有组件上。 这本书的其余部分,对减少80%~90%最终用户相应时间做出指导。 如果能遵循所有适用于自己网站的规则,页面网站的速度将提高20%~25%。 开始干货 规则1:减少http请求 1.图片地图(服务器端图片地图,客户端图片地图) 2.CSS Sprites 3.内联图片(IE目前还不支持) 4.合并脚本和样式表 规则2:使用内容发布网络 …
2014-07-21 12:13 · web
hadoop2.4汇总:hadoop2.4插件下载、完全分布式、伪分布、eclipse插件开发大全(转载)
地址:http://www.aboutyun.com/thread-7795-1-1.html hadoop2.4版本的发布,很多童鞋都想了解其新特性: 它们做了哪些改变? 该如何伪分布、完全分布安装? 它们和前面版本有什么不同? 这里做一个汇总 一、hadoop2.4的改进 Hadoop 2.4.0版本的改进 阐述了下面问题: 1.HDFS权限加强表现在哪方面? 2.HDFS的状态如何通过web端口访问? 3.ResourceManager是否支持HA(高可用)? 4.Capacity scheduler是否支持资源抢占,原理是什么? 二、如何去官网下载最新版本hadoop 有些同学不知道…
2014-07-15 09:31 · BigData
献给从事java工作3年,在【技术道路上】困惑、迷茫的兄弟姐妹
原创文章,转载请指明出处: http://aub.iteye.com/blog/2085094 如果您在【技术道路上】没有困惑、迷茫过,请忽略此文(对你来说,我写的可能太弱了。。) 工作三年左右的时候(无论所在公司大小),公司内部的开发框架已经使用熟练,各种开源框架、开源工具也用了不少,很多技术上的问题不做不了解,做的时候一查就知道(感谢百度,谷歌,和愿意分享的大牛们)。 刚毕业入职时,那些前辈差不多手把手的教你写代码、细心的帮你走查代码的事情,在此时已经不复存在了,也许这是你已经成为新人眼中的前辈了,但是自己的技术停滞不前了,广而不精,没有方向了,于是困惑了、迷茫了。。。 三年前 ,作为菜…
2014-06-25 21:16 · sundry
java命令行运行jar里的main类(自用-备忘)
java -jar <jar-file-name>.jar 如果jar里没有 manifest,则可以使用 java -cp foo.jar full.package.name.ClassName 当main类依赖多个jar时,可以把多个jar打包到一个目录,然后用-Djava.ext.dirs指定该目录,引用依赖的多个jar, java -Djava.ext.dirs=lib com.test.HelloWordMain 如果用-cp则需要写每一个jar,很麻烦。
2014-03-20 09:59 · Java
hadoop cdh3下载地址备忘(转载)
原创文章,转载请注明: 转载自 董的博客 本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-distribution-selection/ 作者: Dong ,作者介绍: http://dongxicheng.org/about/ http://archive.cloudera.com/cdh/3/ 具体各个项目下载地址如下: Hadoop内核(HDFS和MapReduce): http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u6.tar.gz HBase: http://a…
2014-03-10 11:55 · BigData
运维经验分享:Hadoop管理员的十个最佳实践 (转载)
此文来自 http://os.51cto.com/art/201209/355125.htm 特此转载备忘 接触 Hadoop 有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有 HDFS 存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。 在解决问题的过程中,有时需要翻源码,有时会向同事、网友请教,遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包括Hadoop Committer(Hadoop开发者)求助。在获得很多人帮助后,自己…
2014-01-07 10:26 · BigData