ansibleのroleのサンプルを公開
自宅の開発環境がいつ壊れても復旧できるようにAnsibleでroleやらplaybookやらを作っていたのですが、自宅のSVNで管理していても結局SVNサーバが壊れたら終わりなのでroleのサンプルをGithubで公開しました。
https://github.com/you-t/ansible-role-samples
ライセンスはMITです。
まあ、サンプルなんで利用は自己責任で。。。暇のある時にロールの追加をしていきたいと思います。
ハードウェアクロックをlocaltimeでシステムクロックと同期
これまた忘れやすいのでメモです。
ハードウェアクロックをlocaltimeでシステムクロックと同期するには次のコマンドで実施します。
#hwclock --systohc --localtime
このコマンドはroot権限が必要になります。
Hadoop-2.6.4をスタンドアローンモードで動作させてみる
かなり久しぶりの投稿です。いい加減2系を利用しようと重い腰を上げ少しずつ検証中。とりあえずメモ程度に記録します。(といってもほぼ昔の1系の記事からのパクリです。)
対象バージョンはhadoop-2.6.4 JavaはJDK1.8を利用。JAVA_HOMEは/usr/local/java8とします。
その他各種パラメータは以下の通り。
ユーザホーム | /home/hadoop/local |
インストール先 | ${HOME}/local |
hadoop.tmp.dir | ${HOME}/local/opt/hadoop2 |
HADOOP_PID_DIR | ${HOME}/local/var/run/hadoop2 |
cd $HOME/local
tar -zxvf hadoop-2.6.4.tar.gz
ln -s hadoop-2.6.4/ hadoop2
その後各種ディレクトリの作成。
cd $HOME/local
mkdir -p opt/hadoop2
mkdir -p var/run/hadoop2
スタンドアロンモードの時にpidファイル格納用のディレクトリは不要かも?
下記ディレクトリに移動して設定ファイルの修正を行います。
cd $HOME/local/hadoop2/etc/hadoop
core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/local/opt/hadoop2</value> <description>A base for other temporary directories.</description> </property> </configuration>
mapred-site.xml
mapred-site.xml.tmeplateをmapred-site.xmlという名前でコピーもしくはリネームして下記を追加。
<configuration> <property> <name>mapred.job.tracker</name> <value>local</value> </property> </configuration>
hadoop-env.sh
export JAVA_HOME=/usr/local/java8
export HADOOP_PID_DIR=/home/hadoop/local/var/run/hadoop2
動作確認
cd /home/hadoop/local/opt/hadoop2
mkdir -p input/grep_example
cd ${HOME}/loca/hadoop2
cp ./etc/hadoop/*.xml $HOME/local/opt/hadoop2/input/grep_example/
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep \
/home/hadoop/local/opt/hadoop2/input/grep_example \
/home/hadoop/local/opt/hadoop2/output/grep_example 'dfs[a-z.]+'
cat /home/hadoop/local/opt/hadoop2/output/grep_example/*
正常終了すると最後のcatコマンドでgrep処理の結果が出力される。
Redisインストールメモ
Redisをインストールした際のメモ。
redisのインストール
tar -zxvf redis-2.8.17.tar.gz
cd redis-2.8.17
make
make install
※このままインストールすると/usr/local/binにRedisの実行ファイルがインストールされてしまうため、別のディレクトリにインストールしたい場合はredis-2.8.17/src配下のMakefileのPREFIX?を修正してからmake、make installを実行すること。
redisの起動
cd $REDIS_HOME/bin
redis-server path_to/redis.conf