在Enterprise租的车

比起国内，在北美开车真是一个字‘爽’，瞬间开到60-80mile，由于路上比较安静，引擎声在耳边嗡嗡的响，很有速度感。

Apache Hadoop Wiki:
http://wiki.apache.org/hadoop/

Yahoo Developer Network:
http://developer.yahoo.com/hadoop/tutorial/index.html

IBM DeveloperWorks:
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/

InfoQ:
http://www.infoq.com/cn/articles/hadoop-process-develop

-To be updated

简单的说，我用的密码不是一个或者几个密码，而是一套算法。主要分成两大类：

• 一个普通密码。密码比较简单、容易记、容易输入，比如：herecomesanewch，它是Here Comes A New Character的缩写。对于这个密码，我一般很少去修改（当然现在修改了：），通常用于注册一些无关紧要的网站或者服务，账号里面没有个人信息，也不重要。比如有些论坛要求你注册了账号才可以下载文件，这个密码就可以派上用场了。
• 一组动态密码。它其实就是一个普通密码+一个算法。假设这个普通密码为P298*%c，算法为：
• 非SSO网站
• 如果这个网站是SNS类的，比如www.facebook.com，那么密码前面补z，z就是SNS分类的代码，这时候密码为：zP298*%c
• 把网站域名的第一位大写放在密码后面，这时候密码为：zP298*%cF
• 把网站域名的倒数第二位放在密码后面，这时候密码为：zP298*%cFo
• 对于条件一提到的分类，你可以自己找一个合适自己的，原则是：不要太复杂，容易分类，否则自己的都搞不清楚你要访问的网站是属于哪个分类
• 支持SSO的网站
• 如果这个网站是个支持SSO的网站，比如Google, Microsoft，它们通常有很多域名，比如(www.live.com，www.hotmail.com)都是微软的网站，密码都是共享的，这样就不方便把域名放到密码里面了，它的规则有所不同
• 第一位加*，表示这是个支持SSO的网站，这时候密码为：*P298*%c
• 最后一位加5，这个5没有任何意义，这时候密码为：*P298*%c5
• 最后一位放这个公司的名称的首字母大写，这里以微软为例，所以最后的密码就为：*P298*%c5M

除此以外还有一些辅助措施：

在修改这个类的过程中，顺便研究了下数据批量更新的效率问题，分析结果如下。由于对于不同的数据库，效果也不尽相同，这里以MySQL和Oracle为例，并分开描述：

MySQL：

MySQL本身并不支持批量更新，只是驱动程序提供了这个特性，只有高版本才支持该特性，并且连接URL上必须加上

rewriteBatchedStatements=true

这样的参数，这样驱动程序会自动将多条SQL语句拼接成一条，从而提高了执行效率。

...
for (int i = 0; i < sqlList.size(); i++) {
stmt.addBatch(sqlList.get(i));
}

stmt.executeBatch();
connection.commit();

效率提升是必然的，原因很简单：非批量更新方式，autoCommit=true，每一条SQL语句都会自动提交，都会产生网络数据包、磁盘IO。而批量更新方式，只会产生少量的数据包，因为很多条SQL语句被打成一个数据包，一次性的通过网络传输到服务器，相应的，服务器的IO操作也少了很多，当然效率自然会提高。

就是因为这个和网路相关，所以网络环境不同，产生的提升效果也不相同，经测试，在比较快速的网络环境下，比如局域网，我的试验结果是：10万条SQL语句，在非批量情况下，使用了约36秒，而批量操作只使用了约9秒，效率提高了3倍。

如果在比较差的网络环境下，提升的效果会更明显，我使用VPN从家里连接到公司的内网，更新1万条数据，非批量方式，大概需要270秒左右，而批量方式大约9秒，提升了近30倍。效率提升的倍数和很多因素相关，比如刚才提到的网络环境，每次提交多少条SQL语句也很关键，并且MySQL表的类型也会影响这个：MyISAM类型的表的提升效率就远远的高于InnoDB类型的表。

注：上述的所有的所有测试都没有使用Prepared Statement，只是使用普通的Statement和executeBatch()，如果使用Prepared Statement，几乎没有任何效率提升，后来发现是因为我用的mysql-connector-java的版本过低(5.1.8)，替换为5.1.17后，VPN状态，效率提升50倍左右。

Oracle：

和MySQL相反，Oracle使用批量更新，如果不使用Prepared Statement，效果可能会更差，使用了Prepared Statement，我用VPN连接到公司的内网，效率提高了75倍左右。可能是因为我用的Oracle JDBC驱动对非Prepared Statement的支持不够好吧。

MSSQL:

待测试，稍后更新…

小结

数据库更新的效率提升，由很多原因决定：网络环境，服务器内存、服务器I/O、驱动版本、代码编写方式、数据库的版本、表的类型等。我们必须综合考量所有因素，才能达到理想的效果。推荐你在你实际的环境中做相应的测试，找出最优的方法，别人的优化方法，不一定完全适用于你，比如这里提到的提升倍数，每个人的试验结果肯定不一样。

直到最近，在一个鲜有人访问的应用中发现，问题依旧，8小时候后的第一次访问，总是失败，刷新一下页面，就正常了。Google了一下，才知道MySQL不推荐使用autoReconnect=true来解决此问题，http://bugs.mysql.com/bug.php?id=5020，如下：

Note: Autoreconnect functionality will be depcreated and eventually removed in future
releases. 

The reason this isn't working for your particular case is that the methodolgy for
autoreconnect was changed to be safer after 3.0.11, and is related to autoCommit state,
which will also cause the current 'in-flight' transaction to fail (if you attempt your
transaction again _after_ the failure, the driver will reconnect). Please see the docs
for the explanation on how to correctly use this feature in the 'Troubleshooting'
section.

In any case, there is no 100% safe way that a JDBC driver can re-connect automatically if
a TCP/IP connection dies without risking corruption of the database 'state' (even _with_
transactional semantics), which is why this feature will eventually be removed.

The JDBC spec does not specify that a connection is alive no matter what happens to the
underlying network for this very reason. 

Clients of JDBC drivers are responsible for dealing with network failures, as only the
application itself (really the developer of the application) 'knows' what the 'correct'
response to a transaction failing due to the network going down is. 'Wait_timeout'
expiring on the server is basically a 'forced' network failure by the server. You can
correct this in a non-robust way by setting 'wait_timeout' higher, however, you as a
developer should be handling SQL exceptions in your code and taking appropriate recovery
actions, not just passing them up the call stack.

解决也很简单，记录最近一次的Connection访问时间，如果超过了8小时，就重新建立这个连接，经验证是可行的。另外也可以在建立Connection的同时，创建一个线程定时的去执行一个SELECT 1语句，前面的方法比较简单。

这里要指出的是，用Connection的isValid()方法去检测Connection是否有效是不行的，程序会死在那里（未调查原因），试图用isClosed()去判断Connection是否断开也是行不通的，因为只有明确的调用了Connection的close()方法后，你才能用isClosed()去判断，也就是说Connection在idle超过8小时候后，这个时候你如果去打印它的isClosed()的值，它还是显示false，但实际上却不能使用。

前3个月，联通每月额外赠送500M的流量，三个月后就恢复到正常的340M每月，所以我得在前几个月把自己的使用方式和习惯建立起来，以便达到套餐使用的最大利用率。第一件事情就是分析自己的每日数据使用量。

于是乎，安装了几个流量监控软件，比如QQ手机管家，Data Usage等。几天监控下来，发现日平均流量很大，至少有几十兆，这样一个月下来，肯定远远超过340M的上限。这些流量监控软件都无法具体看到是哪个程序耗费了流量，所以很难对症下药。我猜测大概是邮件占了绝大多数流量，我设置了2个邮箱，一个Google Apps Gmail，一个是公司的Exchange，还有一个MobleMe的Find My iPhone，都是Push的方式。Push虽然很方便，但是对于这个套餐，太让人纠结了，只能关闭了。

关闭Push后，只开一个Data Usage软件，每隔10多秒观察一下，发现还有流量产生，小的几十、几百B，大的20、30KB。这个就让人纳闷了，难怪网上很多关于iPhone流量偷跑的帖子。Google了一下，发现一个Paros的软件可以嗅探到HTTP访问（我没有去找更好的软件，比如Sniffer Pro，基于HTTP的分析就可以大概了解情况了）。用Paros设置好代理，将iPhone的Cellular Data和3G都关闭，只是使用Wifi，将代理指向Paros。结果很有意思：

需要上网的软件，使用网络无可厚非。那些看似无需网络的软件，很多也会偷偷的访问网络。举几个例子：

• iPhone自带的相册，如果以位置方式查看，会访问: POST http://www.google.cn/glm/mmap HTTP/1.1 …
• iPhone自带的Calendar，每次打开会访问: POST https://m.google.com/Microsoft-Server-ActiveSync?User=hi[at]tcharry.org&DeviceId=Appl8S&DeviceType=iPhone&Cmd=Sync HTTP/1.1 …
• iPhone自带的AppStore，每次打开会访问: GET http://ax.init.itunes.apple.com/bag.xml?ix=2 HTTP/1.1 …
• Google Map，这个是毋庸置疑的，每次都会访问: POST http://www.google.cn/glm/mmap HTTP/1.1 …
• YouDao词典，每次打开访问: GET http://dict.youdao.com/dp/ad?type=pro HTTP/1.1 …
• iBooks:每次打开时访问： GET http://ax.init.itunes.apple.com/bag.xml?ix=2 HTTP/1.1 …
• 穿越小说2011，每次打开时访问: GET http://mob.adwhirl.com/getInfo.php?appid=249a80c9dfab417893156859479944c1&appver=300&client=1 HTTP/1.1 …
• 卫斯理全集，每次打开时访问: GET http://r.admob.com/ad_source.php?isu=666E7E24B1AFD0807B62E0D9DCD9550B&pub_data%5Bdisplay_name%5D=%E5%8D%AB%E6%96%AF%E7%90%86%E5%85%A8%E9%9B%86&ex=1&audio=0&f=jsonp&ad_type=bar&l=en&pub_data%5Bidentifier%5D=com.qq.ireading-wslj&s=a14d720395114b6&client_sdk=1&pub_data%5Bname%5D=aiBooks_glscV1.55&so=p&v=20101108-iSDK-5096df531ccfaf53 HTTP/1.1 …

• iWorks (包括Keynote、Pages、Numbers) ，每次打开时访问: GET http://help.apple.com/config/mobileframework/com.apple.Keynote.plist HTTP/1.1 …
• Adobe iDeas打开时访问: GET http://ax.init.itunes.apple.com/bag.xml?ix=2 HTTP/1.1 …
• 愤怒的小鸟，AngryBird: POST http://data.flurry.com/aap.do HTTP/1.1 …
• Tom猫，Talking Tom2: POST http://i.w.inmobi.com/showad.asm HTTP/1.1 …
• Line Jumper : GET http://SVRSecure-G2-aia.verisign.com/SVRSecureG2.cer HTTP/1.1 …
• Data Usage: GET http://quotaxml.southfreo.com/prod_updates/v12_8/Data%20Usage/version.txt HTTP/1.1 …

注：这些程序并非只访问一个地址，很多程序会访问很多地址，很多次，我只是列出了一个而已。

很多游戏需要连接到Apple的Game Center，即使是非网络游戏，启动的时候也要联网。让人受不了的是，那个我用来检测流量的软件Data Usage也在不停的消耗流量，它每隔一段时间会从去访问一下它的服务器上的Version.txt，估计是为了提示更新。

我还发现有的软件，每次打开都去访问一下新浪博客的注册页面，URL后面跟着它的邀请码，不知道这样会不会给它带来收益，没有仔细的分析，不做论断。综上所述，结论如下：

1. iPhone自带的单机软件，也可能访问网络
2. 第三方的单机软件，更是扑朔迷离，有的为了广告，有的为了了解自己软件的使用情况，有的为了别的目的
3. 单机版的游戏可能会在和Game Center通信的时候消耗流量
4. 有的软件，没有做好优化，访问时，发送大量的数据，比如，下图中的‘我查查’，每次请求一个非常长的请求，浪费了用户的流量。
5. 最后，如果你的套餐流量有限，不用时就关闭Cellular Data，否则联通就笑开了花。

下图为‘我查查’的请求URL之一：

上面的分析，不一定全面和准确，请自行验证，并且这里只有HTTP的嗅探，如果程序用别的方式访问网络（比如QQ），还是会消耗你的流量。但是管中窥豹，其他协议也不用具体分析了，分析了也不好解决。总之一句话：在天朝用3G，就得认这个蛋疼的命，如果资费便宜了，谁会在乎这点流量。

这里提到的解决方法是：写一个Filter，然后在doFilter()中，查看Session是否存在，如果不存在，就转向登录页面，比如SignIn.html。

看似简单，不过今天走了些弯路，我原先的web.xml配置如下：

<filter>
    <filter-name>authFilter</filter-name>
    <filter-class>org.charry.lib.rbac.filter.AuthFilter</filter-class>
</filter>
<filter-mapping>
    <filter-name>authFilter</filter-name>
    <url-pattern>/*</url-pattern>
</filter-mapping>

Filter中转向到SignIn.html，这样有个问题：上面的配置会让所有的资源访问都会被转向SignIn.html，甚至对Sigin.html本身的访问都会被转向SignIn.html，造成无限循环，浏览器会指出该错误。所以我在doFilter()里面判断当前访问的资源的URI是否包含SignIn.html，如果包含，就不做redirect。不过，这样还是有问题，SignIn.html页面里面会引用一些其他的资源，比如foo.js, bar.swf, foobar.gif等，对这些资源的访问也会被redirect。所以我尝试将Filter配置如下，也就是说只过滤html页面：

<filter>
    <filter-name>authFilter</filter-name>
    <filter-class>org.charry.lib.rbac.filter.AuthFilter</filter-class>
</filter>
<filter-mapping>
    <filter-name>authFilter</filter-name>
    <url-pattern>*.html</url-pattern>
</filter-mapping>

这样还是会有问题：因为SWF文件可以访问，很多Flex项目的SWF文件是可以直接使用的，所以，还存在用户鉴权的问题。由于该项目用的是BlazeDS，我只要堵住所有的DataService的Servlet就可以了，所以我最后用了如下的配置：

<filter>
    <filter-name>authFilter</filter-name>
    <filter-class>org.charry.lib.rbac.filter.AuthFilter</filter-class>
</filter>
<filter-mapping>
    <filter-name>authFilter</filter-name>
    <url-pattern>/messagebroker/*</url-pattern>
    <url-pattern>*.html</url-pattern>
</filter-mapping>

第一个模式匹配的目的是：让所有的AMF调用全部用过滤器检查一下权限，第二条的作用是所有的.html也要经过过滤器检查（此条不加，会出现刷新未登录页面，不跳转的问题）。新的问题又来了，我原先的Session管理是用BlazeDS调用的，现在自己把路堵死了，所以只能再写个单独的Servlet用来实现用户登录，完整的Filter和Servlet配置如下：

<filter>
    <filter-name>authFilter</filter-name>
    <filter-class>org.charry.lib.rbac.filter.AuthFilter</filter-class>
</filter>
<filter-mapping>
    <filter-name>authFilter</filter-name>
    <url-pattern>/messagebroker/*</url-pattern>
    <url-pattern>*.html</url-pattern>
</filter-mapping>
<servlet>
    <servlet-name>loginServlet</servlet-name>
    <servlet-class>org.charry.lib.rbac.servlet.ServletLogin</servlet-class>
</servlet>
<servlet-mapping>
    <servlet-name>loginServlet</servlet-name>
    <url-pattern>/loginServlet</url-pattern>
</servlet-mapping>

经验证，方法可行，但总觉得比较麻烦，继续留意是否有更为简便的方法。

我所推荐的培训方式是：
一：自学，具体的途径有很多种，阅读相关书籍，在线资料，论坛交流等。优点是，你可以按照自己的需要，灵活的调配时间，以及你要学习的深度和范围；缺点是，有了问题，没有培训老师给你解惑，但是网络上热心人士如此之多，这个不是个大问题。
二：On Job Training，中文不好翻译，叫‘在职培训’？似乎不对，大概是实战训练的意思，这个会给我们带来第一手的信息。对于知识，听来的，和自己切身感受到的是完全不同的，就犹如你买个地球仪，不能当做环游世界一样。对于此法，如果有些企业做job rotation（工作轮换），比较合适。

下面是透过玻璃拍的，还是蛮清楚的：

Niagara Falls所在的小镇和 Lake Ontario

~/.msg

而.msg的内容如下：

#!/bin/sh

. /mnt/autofs/dvlp/libs/shell/color-def.sh
def_colors

echo Welcome to"$c_red" viper project"$c_normal" home directory:

echo 1. "$c_blue"vupload-install"$c_normal" – upload install.bin to OSAT home dir
echo 2. "$c_blue"vinstall"$c_normal" – install viper to OSAT
echo 3. "$c_blue"vget"$c_normal" – get files from OSAT to local
echo 4. "$c_blue"vput"$c_normal" – put files from local to OSAT

这时候用WinSCP登录，就会遇到一个奇怪的问题，它一直提示：The error is typically caused by message printed from startup…这样的错误，无法登录。Google了一下，无解。大概是因为WinSCP不支持在.bashrc里面打印出字符。

解决方法：将~/.msg 移至 .bash_profile 即可。