본문 바로가기

Items

 (391)
삼성 SSD 256G 구매 빅데이터 Hadoop Ecosystem 을 스터디 해가면서 실제로 구성해 가다보니 초기에 8G 램 구입하고, 이후에 추가로 4G 램을 구입하였다. 참고로 현재 랩탑 2대에 확장해서 각각 돌린다. 여튼 1대의 랩탑에다가 최소 4대의 VMWare 를 띄워놓고 작업하려다 보니 램 메모리의 확장이 불가피 했다. 1대에서 성공하면 나머지 1대에도 구성해 보는 형태로 하고 있는데산술적으로는 2번이지만 이게 구성이 되었다고 쉬이 되는 것이 아니다. 막히면 한참 헤매는 경우가 다반사니 말이다. 게다가 설치 성공 끝나고 연결 후 정상실행 확인 완료 되고 나면 다시 구성하는 것을 연습삼아 해본다. 동영상 강의도 만들어 가야하고 하니 말이다. 그래서 실제로는 최소 3번에서 5번까지는 들었다 났다. 하는 것 같다. 이러다 보..
ERWIN 모델링 툴 교육 정리 지난 주 21일(금) ERWIN 교육을 받고 왔습니다 . 지난번 dbmodeling 카페에 올라온 ERWIN 1일 무료교육 을 보고 과감히 신청해서 교육을 받았더랬습니다. http://onoffmix.com/event/16500 점심도 맛있게 잘 먹고 왔네요 근처 포스코에서 친구분도 한명 만나고 아쿠아리움도 보고요.정말 볼 만 하네요. 점심 때 다이버 분도 함께 계시더군요 ㅋㅋ 지금까지 ERWIN 을 프로젝트중에 사용하면서 단순작업을 어떻게든 줄여보려고 노력을 해보았는데요특정 팁 과 노하우가 없으면 원하는 것을 찾아서 적용하거나 하는데 시간이 많이 들었더랬죠다 기억하지는 못하더라도 무엇까지는 가능하다라는 것만 알고 있어도 실제 업무진행시 도움이 되지요 많이 사용은 해서 어느 정도 안다고 생각했으나, ( ..
하둡 구성을 위한 설치 환경 만들고 하둡을 올리는 순서입니다.. 하둡 구성을 위한 설치 환경 만들고 하둡을 올리는 순서입니다.. 1. vmware yum install ssh service sshd start chkconfig sshd on 2. namenode server centos root# vi /etc/hosts 192.168.73.71 vmware Edit - Virtual Edit Newro subnet IP dchp setting startip to end ip system - preferr - network conn ipv4 setting manual addres netamask gateway dnserver namenode datanodes3. root# jdk classpath /usr/local/java vi /etc/profile add jav..
Hive install QL use [하둡 동영상 강의] Hive downloadhttp://apache.mirror.cdnetworks.com/hive/stable/ $HIVE_HOME/bin/hive --service metastore $HIVE_HOME/bin/hive --service hiveserver Hive tar xvzf./bin/hivehive> create database calebpro;hive> use calebpro;hive> create table table01( a string, b int);hive> show tables;hive> drop table table01;hive> show tables;hive> create table airline_delay ( ....columns..... ) partitioned by (delayY..
HDFS Management [하둡 동영상 강의] jpsh001:50070h002:50075./bin/hadoop fs -lsr./bin/hadoop fs -dus./bin/hadoop fs -du./bin/hadoop fs -rmr./bin/hadoop fs -expunge./bin/hadoop fs -mkdir./bin/hadoop fs -put* 가 작동하는 특정 조건이 있는 듯 함.
MapReduce Wordcount [하둡 동영상 강의] hadoop execution ./bin/hadoop namenode -format ./bin/start-all.sh $ jps ./bin/hadoop fs -ls ./bin/hadoop fs -mkdir jacob ./bin/hadoop fs -put news.text jacob/ ./bin/hadoop jar hadoop-examples-1.0.4.jar wordcount jacob/news.text jacob/newsoutput ./bin/hadoop fs -cat jacob/newsoutput/part-r-00000
Hadoop install hadoop-env.sh masters.xml slaves core-site.xml hdfs-site.xml mapred-site.xml hosts profiile - add classpath HADOOP_HOME source 1. 작업하다가 중간에 버튼을 잘못 눌러서 의도적이지 않게 두개로 분리됨. 2.
JAVA Install 1. java download 2. make symbolic link 3. set classpath 4. code simple java coding 5. execute class

티스토리툴바