qihuiyong6
- 浏览: 39589 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
hadoopMapReduce小例子
- 博客分类：
- 编程
今天做了一个简单的mapreduce小程序，目的是熟悉一下怎么在真实的集群上跑自己的mr程序，之前写的都是在单机模拟运行的。功能很简单就是求一个key对应值里面最大的。
开发环境：
hadoop2.5
jdk1.6
eclipse3.7
1、创建一个java工程，加入如下jar包：
hadoop-common-2.5.2.jar
hadoop-mapreduce-client-common-2.5.2.jar
hadoop-mapreduce-client-core-2.5.2.jar
hadoop-mapreduce-client-jobclient-2.5.2.jar
2 ...
最近搭建了hadoop2.5的集群，在这里分享一下希望能帮助到初学者，也为自己做下笔记。（一年前安装过hadoop0.23的集群，现在都不记得了）
一、环境：
1、JDK1.7
2、Hadoop2.5.2
3、VMware8.5
4、CentOs6.4 32为
下载地址：http://pan.baidu.com/s/1qW4saAS
二、环境要求：
1、使用VMware创建三个CentOs6.4系统(创建一个复制两份)；
2、在每个操作系统上安装好jdk1.7，测试命令：java -verison看到如下输出就说明安装好了;
[root@hdp01nn sbin]# java -versi ...
错误日志如下：
Java HotSpot(TM) Client VM warning: You have loaded library /root/devtools/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or ...
现象：
在iframe嵌套的页面点击日历控件年、月部分手动输入异常，点击回车调用浏览器的回退功能。
解决办法：
在WdatePicker.js中找到$crossFrame:false 设置为false，默认为True；这是因为该控件处理跨域的时候出的问题。
问题描述：
信息时变慢，经过排查发现是浏览器解析完HTML后 直到 JQuery执行的开始位置延迟了2-4秒。当时那个页面引入了很多第三方的js库如tree，date，easyui等等。我以为慢的原因是这些类库，但是注释掉后依然很慢。
家后继续想这个问题，当时就想到会不会是iframe加载了其他页面变慢的。今天在公司把页面上的iframe src属性注释掉，果然速度快了很多由以前的2秒变成了50毫秒左右。
总结：
使用iframe的时候最好延时加载，需要的时候再去加载。如果遇到页面上Jquery入口延时较长，很可能就是页面中包含了iframe。
经验分享给大家，理解不到位 ...
阅读对象：
有一些hibernate使用经验的开发人员;
介绍：
在开发程序的时候，后台DAO基本的操作方法编写起来是繁琐冗余的工作。这里介绍一个Hibernate代码生成工具"HibernateSynchronizer"它是一个eclipse插件，主要功能就是帮助我们生成hbm、entity、dao代码。使用代码生成工具的好处是:提高开发效率、代码规范性更强、免除手工编写出现的手误BUG。
环境：
HibernateSynchronizer-3.1.9(下载见附件)
eclipse Indigo Service Release 2
maven3
插件安装：
将附件中的Hib ...
clipse同步插件用于指定两个目录(源目录和目标目录)做文件同步。我是用在eclipse开发maven工程的时候。在用maven开发WEB项目的时候一般修改完代码需要重新打包才能使修改生效。有了这个插件就可以指定target\classes目录和WEB-INF\classes目录做同步就不需要重新打包了，节省调试时间。
软件版本
eclipse版本：Indigo Service Release 2
插件名称：de.loskutov.FileSync_1.3.5.200910041235.jar
使用方法
1、安装插件
将de.loskutov.FileSync_1.3.5.20091004 ...
登陆WAS管理控制台，打开：服务器->应用程序服务器->server1->进程定义->java虚拟机->通用JVN参数;
填入如下内容：
定义内存：-Xms912m -Xmx912m -XX:MaxPermSize=300m
定义编码：-Dfile.encoding=UTF-8 -Ddefault.client.encoding=UTF-8
最近用了一下ActiveMQ做JMS通信使用，在linux上启动不是太顺利。如果你的activemq在linux不能启动可以到${activeMQ_home}/data/activemq.log中查看日志。问题解决了记录一下。
错误日志：
引用MX: Failed to bind to server socket: amqp://0.0.0.0:5672?maximumConnections=1000&wireformat.maxFrameSize=104857600 due to: java.net.BindException: Address already in use ...
最近做了下使用httpclient登陆百度开放平台获取GisPOI数据,途中遇到了一些问题。做完了和大家分享一下，有哪些理解不对的地方请大家指教。
功能：使用httpclient登陆百度账户访问开放平台获取POI数据
环境：httpclient: httpclient-3.1
开发工具：eclipse
引用的jar包：
引用
commons-httpclient-3.1.jar
commons-logging.jar
commons-codec-1.3.jar
java代码：
package org.qhy.test;
import java.io.IOException; ...
配置linux的hadoop环境比较繁琐，为了方便的编写测试mapreduce程序。本文将讲解如何在windows运行mapreduce程序。步骤如下：
1、首先让window可运行unix命令，我们做如下配置：
在环境变量PATH中配置D:\UnxUtils\bin;D:\UnxUtils\usr\local\wbin(UnxUtils见附件)
2、编写mapreduce程序
a>新建一个java程序依赖hadoop-core-0.20.jar（我用的maven它会传递依赖其他jar包）
完整的依赖如下：
引用[INFO] --- maven-dependency-plugin:2 ...
RMI有一个网络端口和一个数据端口，网络端口我们在程序里可以指定，数据端口会在程序启动的时候随机生成。如果产品现场环境有网络防火墙的限制将会是你的RMI数据端口无法正常使用。
之前同事说需要修改rmi代码，我使用jvm监视器发现结合spring设置servicePort(随机端口)、registryPort(网络端口)和修改代码结果是一样的，具体方法如下:(已在客户现场测试可用)
<bean id="myService" class="com.a.service.impl.MyService"></bean> ...
1、修改管理页面端口(默认：9060)
a>进入控制台页面http://host:9060/ibm/console,
进入环境-》虚拟主机- 》admin-host-》主机别名-》新建； 创建一个端口号，如：19060。
b>进入${washome}/AppServer/profiles/Dmgr001/config/cells/Default01cell/nodes/Defasult01Node/serverindex.xml (管理节点配置文件)，找到Admin_host默认9060端口修改为19060.
c> 重启管理页面：
进入${washome}/AppServer ...