본문 바로가기

Items

 (391)
Shuffling - MapReduce Shuffling 의 목적과 왜 하는지에 대한 설명이다 . The total order sorting and shuffling patterns are opposites in terms of effect, but thelatter is also concerned with the order of data in records. IntentYou have a set of records that you want to completely randomize. MotivationThis whole chapter has been about applying some sort of order to your data set exceptfor this pattern which is instead about completely ..
IT 관련 내용을 만화로 너무 재미있고 현실감있게 표현해놔서 퍼왔습니다. 그냥 어떻게 찾아봤는데 웃겨서 ㅋㅋIT 관련 내용을 만화로 너무 재미있고 현실감있게 표현해놔서 퍼왔습니다. 전문을 보셔야 하니 여기 가서 보세요 http://www.emptydream.net/m/3359아래는 그래도 뭐지 ... 하시는 분들을 위해 도입부분만 img 로 긁어서 붙여 봅니다. 우리나라 IT 업체가 소프트웨어 설계를 하면 안 되는 이유(?) . ........ http://www.emptydream.net/m/3359
Why Asiana Airlines Flight 214 crash was survivable [ source : http://edition.cnn.com/2013/07/07/travel/quest-asiana-crash/index.html?hpt=hp_c4 ] 댓글을 보면 특정 사고가 났을 때 글 쓰는 사람들이 어떤부분에 촛점을 맞추는지 알 수가 있다. 그래서 한번 그대로 옮겨와 보았다. Why Asiana Airlines Flight 214 crash was survivableFrom Richard Quest, CNNJuly 7, 2013 -- Updated 0506 GMT (1306 HKT) London (CNN) -- The attention into the crash of Asiana Airlines Flight 214 is now shifting to two areas.One, why ..
flume install [jonghee helped me to set up and run flume]flume version : 1.4.0 port open 3333 at h001 An agent is started using a shell script called flume-ng which is located in the bin directory of the Flume distribution. You need to specify the agent name, the config directory, and the config file on the command line: This configuration defines a single agent named agent01 agent01 as a source that listens ..
hadoop 완벽가이드 기상데이터 source 읽기 3개의 파일로 구성되어 있는 예제의 소스에 설명을 넣어본다. Mapper > MaxTemperatureMapper.java Reducer > MaxTemperatureReducer.java Main Class >>> MaxTemperature.java https://github.com/tomwhite/hadoop-book/tree/master/input/ncdc/all------------------------------- begin of thepart of the file 1901 ----------------------------- 0029227070999991901123020004+62167+030650FM-12+010299999V0200701N002119999999N0000001N9-01221+9..
hadoop 완벽가이드 기상데이터 처리 [refered to the sites below]http://hadoopbook.com/code.htmlThe book’s example code is available from GitHub at http://github.com/tomwhite/hadoop-book/The code for the third edition is at https://github.com/tomwhite/hadoop-book/tree/3eA sample of the NCDC weather dataset that is used throughout the book can be found at https://github.com/tomwhite/hadoop-book/tree/master/input/ncdc/all [hadoop@h00..
Data Locality, The heart of MapReduce The heart of MapReduce is "Data Locality" 맵리듀스는 계산 노드에 데이터를 함께 배치한다. 따라서 데이터가 로컬에 있기 때문에 데이터 액세스가 빠를 수 밖에 없다. 이 특성은 맵리듀스의 핵심이고 좋은 성능을 낼 수 있는 이유이다. 네트워크 대역폭이 데이터 센터 환경에서 가장 중요한 자원이다. 네트워크 부하를 최소화할 수 있는 것이다. 계산하는 노드에서 필요한 데이터를 네트워크를 통해서 가져와야 하는 부담을 줄인 것이다. 맵리듀스 구현은 네트워크 대역폭을 보존하기 위해 네트워크위상 [topology : 장소, 공간 배치에 관한 학문 또는 정보]을 명시적으로 모델링한다. 맵리듀스는 구현 과정에서 실패한 맵 또는 리듀스 태스크를 검출하여 'machines that are hea..
Hadoop Operations 실전 하둡 운용 가이드 Hadoop Operations 실전 하둡 운용 가이드Written by Eric Sammer 2012.10옮긴이 : 장형석 chjang1204@nate.com 2013.07출판사 : O'Reilly 한빛미디어 2권의 책을 샀다. 하둡완벽가이드 와 실전 하둡 운용 가이드이전에 '시작하세요 하둡프로그래밍' 을 보았지만 "하둡" 자체에 대한 depth 있는 질문을 받은 뒤내가 너무 "하둡" 자체에 대한 이해를 소홀히 했다는 판단이 들었고 이 책은 하둡 자체에 대해서는 깊이 있게 설명하지 않고 한번 간단히 본다 수준이었기 때문에 추가적인 책을 구매했다. 물론 이미 서점과 도서관에서 간략히 보았던 터라 하둡완벽가이드 (최근에 개정3판이 나왔다)는 선택에 주저가 없었고 추가로 Hadoop Operations 를 ..

티스토리툴바