Hadoop op Linux Mint

Op distrowatch lijkt Linux Mint de meest populaire Linux distribution. Ik heb dus Linux Mint Cinnamon 64-bit geinstalleerd om Hadoop mee te testen. Hieronder volgt mijn verslag met aanpassingen.


Bij het maken van een VirtualBox image:
> 3d acceleration aanvinken in video settings.
> shared folder, use automount. Na het starten van mint:  sudo adduser xxxxxxx vboxsf      -> reboot. And you can access your folder.
> Guest additions CD gebruiken, anders wordt de shared folder niet gevonden.


Installeren van Java 8:
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

met  dpkg -L oracle-java8-installer  kun je bepalen waar de installer geinstalleerd is, maar dat interesseert je niet. Je wilt namelijk de JAVA_HOME instellen. De JAVA_HOME moet /usr/lib/jvm/java-8-oracle worden.


.bashrc aanmaken voor de paden:
export PATH=$PATH:/home/rene/gradle-2.11/bin:/home/rene/hadoop-2.7.2/bin
export HADOOP_HOME=/home/rene/hadoop-2.7.2
export JAVA_HOME=/usr/lib/jvm/java-8-oracle


Installeren van Eclipse:
tar -zxvf eclipse.tar.gz

Desktop icon voor Eclipse:
ln -s /home/rene/eclipse/eclipse /home/rene/Desktop


Installeren van Maven:
In de .bashrc
export MAVEN_OPTS="-Xms1024m -Xmx3076m"
export M2_HOME=/opt/apache-maven-3.3.9
PATH=$M2_HOME/bin:$PATH
Je moet ant geinstalleerd hebben.
Daarna su
ant


Installeren van Spark:
sudo apt-get install git
Download Spark.
tar -zxvf spark1.6.1.tgz
cd naar de directory
./sbt/sbt assembly

./bin/pyspark
sudo mv spark-1.6.1 /opt/
vi ~/.bashrc
export PATH="/opt/spark-1.6.1/bin/:$PATH"


Nog wat ongerelateerde tips:
./configure
make
make test
sudo make install

rm -rf directory
pwd

gradle build
hadoop jar build/libs/SNAPSHOT.jar chp.WordCount wc-input wc-output