読者です 読者をやめる 読者になる 読者になる

Sinatraのあらかると

記録することで、環境構築で悩まない。

hadoopで鬱陶しいメッセージ回避。

エラー回避 形態素解析 データマイニング

コードをブログのせるのは、独りよがりにしか思えない。ほんとうに大切なコードは、githubやsubversionにあるさ…ということ。

誰も教えてくれなくて、自分で解決することを選んだ人がオンラインを漁るときの手助けになればと書いています。今日も、いっちょやるか。

「hadoop-common-user mailing list archives」
http://mail-archives.apache.org/mod_mbox/hadoop-common-user/201112.mbox/%3CCAMbwnT-T2JtB1_8NQOvhU1vasA-fVPRW4qPRUHSjL7pTpGmRbw@mail.gmail.com%3E


Warning: $HADOOP_HOME is deprecated.

こんなメッセージが、start-all.shを実行したらいつからかくっついてまわるようになりました。ログにいらないメッセージだと思うので消したい…と探していたら、上記サイトがありました。英文なので日本語訳をしてみます。

私はhadoopをソースからパスをつないで使っているので、(homebrewやmacportならフォルダまでcdで移動して、ディレクトリをopen /フォルダ名/フォルダ名 と開いてやります。)
/hadoop/conf/hadoop-env.shを開いてやります。


export HADOOP_HOME_WARN_SUPPRESS="TRUE"

の一文をどこでもいいので、わかりやすいところにコピペしまして保存するとdeprecatedというメッセージが消えます。
より、hadoopのログを読みやすくなりました。

記事の内容はここまで。

☆ついでに過去に行っていた作業を再開☆
最新のhadoopを使用したブログ開設日から2012/6/30までのブログで頻度が多い単語TOP10を形態素解析してみました。前回と変わらないかも…。


こと 588.0
私 509.0
妻 490.0
の 477.0
今日 436.0
よう 345.0
ん 319.0
日 191.0
追伸 178.0
娘 168.0

〜こと、私、妻という単語が現在も多いブログです。自分宛とはいえデータマイニングしてみるとよく使う言葉がわかる…。

なんだか、hadoopのフォルダを追加機能を導入するためにずらしたらエラーに見舞われた。hadoop-env.shにパスを通したらうまくいったぜ。次は、形容詞の頻度ブログ開始日から2012/6/30までの期間でTOP10を抽出してみた。


いい 328.0
よい 130.0
うれしい 84.0
多い 82.0
ほしい 64.0
うまい 61.0
悪い 60.0
新しい 55.0
楽しい 48.0
っぽい 36.0

うむ、まだ若者言葉が抜けない中年の姿がみられる。
それでは、また。

過去ログ。
http://d.hatena.ne.jp/emerald00/searchdiary?word=hadoop&.submit=%B8%A1%BA%F7&type=detail

Copyright © 2007-2017 Takayuki Kamiyama. All Rights Reserved.