Dev tips and tips (4) 썸네일형 리스트형 hadoop 완벽가이드 기상데이터 source 읽기 3개의 파일로 구성되어 있는 예제의 소스에 설명을 넣어본다. Mapper > MaxTemperatureMapper.java Reducer > MaxTemperatureReducer.java Main Class >>> MaxTemperature.java https://github.com/tomwhite/hadoop-book/tree/master/input/ncdc/all------------------------------- begin of thepart of the file 1901 ----------------------------- 0029227070999991901123020004+62167+030650FM-12+010299999V0200701N002119999999N0000001N9-01221+9.. hadoop 완벽가이드 기상데이터 처리 [refered to the sites below]http://hadoopbook.com/code.htmlThe book’s example code is available from GitHub at http://github.com/tomwhite/hadoop-book/The code for the third edition is at https://github.com/tomwhite/hadoop-book/tree/3eA sample of the NCDC weather dataset that is used throughout the book can be found at https://github.com/tomwhite/hadoop-book/tree/master/input/ncdc/all [hadoop@h00.. Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient [hadoop@h001 hive]$ ./bin/hive WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files. Logging initialized using configuration in file:/home/hadoop/hive/conf/hive-log4j.properties Hive history file=/tmp/hadoop/hive_job_log_hadoop_201306251755_694415549.txt hive> show tables; OK Time taken: 35.976 .. Write failed: Broken pipe Message : Write failed: Broken pipe hadoop 서버 4 대를 구성하고 어느날 2,3,4 번 서버를 내렸다가 올렸다. 그리고 난 후 1번 서버에서 2,3,4 모두로 ssh 가 문제가 생겼다. 열심히 검색해보고 찾아봤더니 방법은 1. 서버를 내렸다 올린다. 2. /etc/ssh/sshd_config 설정의 특정 옵션을 설정해준다. [root@h001 ~]# vi /etc/ssh/sshd_config ClientAliveInterval 60 ClientAliveCountMax 3 그런데 다시 들어가서 해보니 된다. 시간이 또 너무 타오를 것 같아서 skip 하는 것으로 ... 그냥 두고 못보는 스타일이지만 좀 지쳤다 ㅠ.ㅠ;: 이전 1 다음
