Hadoop Operations 실전 하둡 운용 가이드
Written by Eric Sammer 2012.10
옮긴이 : 장형석 chjang1204@nate.com 2013.07
출판사 : O'Reilly 한빛미디어
2권의 책을 샀다. 하둡완벽가이드 와 실전 하둡 운용 가이드
이전에 '시작하세요 하둡프로그래밍' 을 보았지만 "하둡" 자체에 대한 depth 있는 질문을 받은 뒤
내가 너무 "하둡" 자체에 대한 이해를 소홀히 했다는 판단이 들었고 이 책은 하둡 자체에 대해서는 깊이 있게 설명하지 않고 한번 간단히 본다 수준이었기 때문에 추가적인 책을 구매했다.
물론 이미 서점과 도서관에서 간략히 보았던 터라 하둡완벽가이드 (최근에 개정3판이 나왔다)는 선택에 주저가 없었고 추가로 Hadoop Operations 를 구매했다. ye yes24 어제 오전에 주문했더니 밤에 도착했다. 진짜 빠름빠름이다.
우선 책을 살펴보니 맘에 든다.
내가 하둡완벽가이드 보다 먼저 이것을 손에 든 이유는 나의 학습방식이다.
실제 사례나 운영에 관련된 이야기나 이슈를 통해서 파트별 관심을 증폭시킨뒤에 그 힘으로 좀 더 두껍고 좀 더 principle 한 내용을 보면 학습하는데 도움이 되었다. 그리고 보다보니 Hadoop Operations 도 실제 하둡이 작동하는 내부 원리는 자세하게 어떤 프로세스와 단계를 거쳐 진행되는 지를 보여주고 있어서 훌륭한 선택이었다 라고 생각한다.
책 읽는 진도 나가면서 개인적으로 정리해서 남겨두어 보고 또 보고 하는 방향으로 진행하고자 한다.
하둡을 하면서 집에 야생 동물원의 동물들이 한 마리씩 늘어가는 느낌이다 . ㅋㅋ
목차만 .... 관심있는 주제 체크하고 진행
2. HDFS
Goals and Motivation 7
Design 8
Daemons 9
Reading and Writing Data 11
The Read Path 12
The Write Path 13
Managing Filesystem Metadata 14
Namenode High Availability 16
Namenode Federation 18
Access and Integration 20
Command-Line Tools 20
FUSE 23
REST Support 23
3. MapReduce
The Stages of MapReduce 26
Introducing Hadoop MapReduce 33
Daemons 34
When It All Goes Wrong 36
YARN 37
4. Planning a Hadoop Cluster
Picking a Distribution and Version of Hadoop 41
Apache Hadoop 41
Cloudera’s Distribution Including Apache Hadoop 42
Versions and Features 42
What Should I Use? 44
Hardware Selection 45
Master Hardware Selection 46
Worker Hardware Selection 48
Cluster Sizing 50
Blades, SANs, and Virtualization 52
Operating System Selection and Preparation 54
Deployment Layout 54
Software 56
Hostnames, DNS, and Identification 57
Users, Groups, and Privileges 60
Kernel Tuning 62
vm.swappiness 62
vm.overcommit_memory 62
Disk Configuration 63
Choosing a Filesystem 64
Mount Options 66
Network Design 66
Network Usage in Hadoop: A Review 67
1 Gb versus 10 Gb Networks 69
Typical Network Topologies 69
5. Installation and Configuration
Installing Hadoop 75
Apache Hadoop 76
CDH 80
Configuration: An Overview 84
The Hadoop XML Configuration Files 87
Environment Variables and Shell Scripts 88
Logging Configuration 90
HDFS 93
Identification and Location 93
Optimization and Tuning 95
Formatting the Namenode 99
Creating a /tmp Directory 100
Namenode High Availability 100
Fencing Options 102
Basic Configuration 104
Automatic Failover Configuration 105
Format and Bootstrap the Namenodes 108
Namenode Federation 113
MapReduce 120
Identification and Location 120
Optimization and Tuning 122
Rack Topology 130
Security 133
6. Identity, Authentication, and Authorization
Identity 137
Kerberos and Hadoop 137
Kerberos: A Refresher 138
Kerberos Support in Hadoop 140
Authorization 153
HDFS 153
MapReduce 155
Other Tools and Systems 159
Tying It Together 164
7. Resource Management
What Is Resource Management? 167
HDFS Quotas 168
MapReduce Schedulers 170
The FIFO Scheduler 171
The Fair Scheduler 173
The Capacity Scheduler 185
The Future 193
8. Cluster Maintenance
Managing Hadoop Processes 195
Starting and Stopping Processes with Init Scripts 195
Starting and Stopping Processes Manually 196
HDFS Maintenance Tasks 196
Adding a Datanode 196
Decommissioning a Datanode 197
Checking Filesystem Integrity with fsck 198
Balancing HDFS Block Data 202
Dealing with a Failed Disk 204
MapReduce Maintenance Tasks 205
Adding a Tasktracker 205
Decommissioning a Tasktracker 206
Killing a MapReduce Job 206
Killing a MapReduce Task 207
Dealing with a Blacklisted Tasktracker 207
9. Troubleshooting
Differential Diagnosis Applied to Systems 209
Common Failures and Problems 211
Humans (You) 211
Misconfiguration 212
Hardware Failure 213
Resource Exhaustion 213
Host Identification and Naming 214
Network Partitions 214
“Is the Computer Plugged In?” 215
E-SPORE 215
Treatment and Care 217
War Stories 220
A Mystery Bottleneck 221
There’s No Place Like 127.0.0.1 224
10. Monitoring
An Overview 229
Hadoop Metrics 230
Apache Hadoop 0.20.0 and CDH3 (metrics1) 231
Apache Hadoop 0.20.203 and Later, and CDH4 (metrics2) 237
What about SNMP? 239
Health Monitoring 239
Host-Level Checks 240
All Hadoop Processes 242
HDFS Checks 244
MapReduce Checks 246
11. Backup and Recovery
Data Backup 249
Distributed Copy (distcp) 250
Parallel Data Ingestion 252
Namenode Metadata 254
Appendix: Deprecated Configuration Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257