본문 바로가기

Items

 (391)
하둡 완벽가이드 개정3판 Hadoop 완벽가이드 개정3판Written by Tom WhiteForeword by Doug Cutting역자 : 심탁길, 김우현출판사 O'Reilly 한빛미디어 두껍다 서점과 도서관에서 살짝 훓어 보았지만 역시 공부량이 있어 보인다. 대신 깊이는 있는 듯 궁금한 부분을 짚어서 내용을 제대로 파악하는데 한 몫 해줄 듯하다. 서평은 나중에 읽어가면서 . . . 우선 책을 샀다는 신고다. 이렇게 해 두면 읽어가는데 동기부여도 되고
[책] 데이터는 알고 있다 데이터가 만드는 세상 BIG DATA - 2 책 내용중에 이전에 근무했던 분야에서 낯선 이름들이 있어 관심이 급 상승했다. 사례도 상당히 직접적으로 의미가 다가오는 것을 들어서 여기에 특정 부분만(ch.07) 발췌해서 정리해 본다. 빅 데이터의 가치 사슬 '누가 데이터를 소유하고 있는가 ?' '누가 데이터의 가치에 관심을 가지고 분석하는가 ?' 빅데이터의 1차적 재료는 정보 그 자체이다. 하지만 그 정보를 누가 사용하는 가에 따라 데이터의 가치의 수혜자가 결정되는 것 같다. 항공업계에서 Amadeus, Travelport, Sabre 다음 가는 대형항공사 예약 네트워크인 ITA 소프트웨어는 Farecast 가 항공권 가격을 예측할 수 있도록 데이터를 공급했지만 스스로 분석 작업을 하지는 않았다. ITA 는 데이터를 직접 이용하는 대신 데이터 사용을..
[책] 데이터는 알고 있다 데이터가 만드는 세상 BIG DATA 데이터가 만드는 세상 BIG DATA저자 : 빅토르 마이어 쇤버거 / 케네스 쿠키어 지음출판사 : 21세기 북스 2003년 Oren Etzioni 는 동생 결혼식 참석을 위해 일찌감치 몇달 전에 온라인으로 항공권을 구입했다. 일찍 예약할 수록 더 싸다고 알고 있었기 때문이다. 비행기에 탑승한 후 그는 궁금증을 참을 수 없었고옆에 앉은 남자에게 얼마에 항공권을 얼마에 샀는지 물었고 더 싼 가격에 자신보다 훨씬 늦은 시기에 산 것을 발견했다. 화가 치밀어 계속해서 다른승객들에게도 가격을 물었고 모두가 자신이 산 가격보다 더 낮은 가격에 산 것을 발견했다. 그는 온라인상의 항공권 가격이 저렴한지 여부를 알 수 있는 방법을 찾아보기로 했고 주어진 노선의 모든 항공권 가격을 분석하고 출발일까지 남은 날짜에 따라 ..
sqoop import failure sqoop import failure [hadoop@h001 sqoop]$ ./bin/sqoop import --verbose --connect jdbc:mysql://192.168.73.11/hadoopdb --table sqt002 --fields-terminated-by ',' --username hadoop --password 1 --hive-import --hive-home /user/hive/warehouse/ -m 1 in progress : ? > --outdir /user/hive/warehouse/etl --hive-import --hive-table hiveimporttest--target-dir --whereuse help Warning: $HADOOP_HOME is deprecat..
HBase basic commands and RegionSplitter [하둡 동영상 강의] 이곳에는 간단한 HBase 명령어 실행과 RegionSplitter 사용을 본다. 동영상 제작해서 만들어 업로드기까지는 시간이 엄청나게 걸리는 작업인 걸 이번에 알았다......... [hadoop@h001 hbase]$ ./bin/hbase shellHBase Shell; enter 'help' for list of supported commands. Type "exit" to leave the HBase Shell Version 0.94.7, r1471806, Wed Apr 24 18:48:26 PDT 2013 hbase(main):001:0> helpHBase Shell, version 0.94.7, r1471806, Wed Apr 24 18:48:26 PDT 2013 Type 'help "COMM..
./hbase org.apache.hadoop.hbase.util.RegionSplitter ta02_split_table HexStringSplit -c 3 -f f1 [hadoop@h001 bin]$ ./hbase org.apache.hadoop.hbase.util.RegionSplitter ta02_split_table HexStringSplit -c 3 -f f1 -c 3 : 미리 생성할 region 개수를 지정 -f f1 : table 에 포함하고자 하는 column familites 를 미리 지정 [ where -c 10, specifies the requested number of regions as 10, and -f specifies the column families you want in the table, separated by “:”. The tool will create a table named “test_table” with 10 regions:..
zookeeper.RecoverableZooKeeper: ZooKeeper exists failed after 3 retries [hadoop@h002 hadoop]$ ../hbase/bin/hbase shellHBase Shell; enter 'help' for list of supported commands.Type "exit" to leave the HBase ShellVersion 0.94.7, r1471806, Wed Apr 24 18:48:26 PDT 2013 hbase(main):001:0> listTABLE 13/07/01 00:26:19 ERROR zookeeper.RecoverableZooKeeper: ZooKeeper exists failed after 3 retries13/07/01 00:26:19 WARN zookeeper.ZKUtil: hconnection Unable to set watcher on zn..
HBase install and basic command [하둡 동영상 강의] HBase 설치 진행내역을 담았습니다. [column base db] Prerequisite : HDFS [refered to sites below and downloaded hbase tar.gz file] http://hbase.apache.org/ http://www.apache.org/dyn/closer.cgi/hbase/ http://hbase.apache.org/book/quickstart.html # vi /etc/profile export HBASE_HOME=/home/hadoop/hbase export PATH=$PATH:$JAVA_HOME/bin:$ANT_HOME:$HADOOP_HOME/bin:$HBASE_HOME/bin # source /etc/profile # cat hbase-en..

티스토리툴바