본문 바로가기

Items

 (391)
[강의리뷰] cslee 아만데 강의 후기 2013.07.19 안녕하세요 2013.07.19(금)일 꽉 채운 8시간 (09:00 ~ 18:00) 동안 상암 DMC 에서 진행되었던 cslee(이춘식 기술사님 이제는 대표님) 의 아만데 [ 아는 만큼 보이는 데이타베이스 ] 강의를 듣고 나서 정리 차원에서 쓰는 글입니다 . 1. 강의 전반에 대한 후기 우선은 한 마디로 기대했던 만큼 알차고 좋은 교육이었습니다. 3, 4년전에 아만데-"아는 만큼 보이는 데이타베이스" 책을 보면서 빨간 줄 긋고 하면서 도움을 많이 받았던 기억이 납니다. 우선은 책의 목차대로 알찬 이슈들을 빠짐없이 그리고 비중을 잘 배분하여 수업을 진행해 주셨고요. 가장 만족스러웠던 것은 오래 전부터 궁금했던 질문들을 수업 중간중간에 하고 답변을 받을 수 있어서 좋았습니다. 처음 목적했던 제게 필요한 특정 ..
카페 모델링 스터디 시작 - 카페지기님의 권유(?)로 반장을 맡게 되었다. 카페 모델링 스터디 시작 - 카페지기님의 권유(?)로 반장을 맡게 되었다. http://cafe.naver.com/dbmodeler 프로젝트 알파 : 자신을 모델링하라 (내가 어느날 그룹사의 회장이 되었다. 개인비서가 관련된 모든 것을 관리해주는 시스템이 필요하다고 한다.) 프로젝트 브라보 : 자신이 하고 있는 일에서 가장 애매하거나 난해한 부분에 대해 A4 3/4 이상 분량의 요구사항 정의서를 작성하라 본인이 작성한 요구사항으로 DAP 주관식이 나갈 것이라 생각해주세요 화재보험, 의료보장보험, 증권, 주식, 대출, ETL 업무 프로세스, 온라인 특허, DB암호화, 영상처리, 하드웨어,의료, 경영지원, Carrier Path, 텔레콤, 통신 GLS, 물류, 항공예약, 운송, 운항, 프로모션-Biz Rul..
Job Configuration: JobId - job_201307111807_0008 Job Configuration: JobId - job_201307111807_0008 namevaluefs.s3n.implorg.apache.hadoop.fs.s3native.NativeS3FileSystemmapred.task.cache.levels2hadoop.tmp.dir/home/hadoop/hadoop/hadoop-data/hadoop.native.libtruemap.sort.classorg.apache.hadoop.util.QuickSortdfs.namenode.decommission.nodes.per.interval5dfs.https.need.client.authfalseipc.client.idlethreshold4000dfs.datanode.data.dir.perm755mapred.sys..
Map Output Key 변경변화 확인 Year, Month 에 UniqueCarrier 및 로직 추가 Year, Month 로만 Map Output Key 로 잡은 경우 13/07/11 18:30:42 INFO mapred.JobClient: Job complete: job_201307111807_000113/07/11 18:30:43 INFO mapred.JobClient: Counters: 3013/07/11 18:30:43 INFO mapred.JobClient: Job Counters 13/07/11 18:30:43 INFO mapred.JobClient: Launched reduce tasks=113/07/11 18:30:43 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=253143413/07/11 18:30:43 INFO mapred.JobClient: Total ..
DA 설계공모전 2013년 문제 - 이번엔 한번!! Downloaded and edited it for my information. [ source : 디비가이드 http://www.dbguide.net/da.db?cmd=snb10_1 ] 기업에서 운영하고 있는 정보시스템의 규모가 확대되고 복잡도가 증가함에 따라 데이터의 정확성, 중복성, 일관성 등과 같은 데이터 품질요소는 날이 갈수록 중요한 이슈로 부각되고 있다. 이에 따라 우리는 기업의 데이터베이스에 저장되어 있는 데이터에 대한 품질을 측정하여 데이터 오류와 그 원인을 도출해 내고 데이터 품질을 개선하여 데이터가 기업에 실질적인 자산으로서 제 역할을 다 할 수 있도록 데이터 품질관리 시스템을 구축하고자 한다. 우리가 구축한 시스템은 우선적으로 우리 회사에 적용하여 기능성 및 효과성을 검증하고, 이후 ..
cloud : kt ucloud vm - openAPI test 01 kt ucloud vm - openAPI test -- php version[ https://ucloudbiz.olleh.com/ ] ************************************************************************************* ucloudbiz r개발자센터 Open API http://developer.ucloudbiz.olleh.com*************************************************************************************api key : 45xxxxxxxxxxxxxxxxx your api key xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxyQsecr..
MapReduce 서울시 이혼율 분석 자료 : 기간,자치구,월별,혼인이혼(월별),혼인이혼(월별)기간,자치구,월별,혼인,이혼 args[] Raw Row Data 전처리 0. "" 를 찾아서 "" 내의 comma 와 "" 를 동시에 제거함. - RegExp 사용 가능여부 의미있는 숫자만 남김1. [2] 가 [1월 부터 12월이 아닌경우 해당 Row 를 버림]2. 구하고자 하는 요건사항에 따라 데이터의 양을 줄인다. [0], [2], [3], [4] ------------------기본통계량-------------------------평균값 최대값 최소값 혼인대비이혼의 최대비율, 혼인대비이혼의 최소비율각 월별로 구분했을 때 가장 이혼비율이 높은/낮은 월은각 년별로 구분했을 때 가장 이혼비율이 높은/낮은 해는 가장많은 혼인건수 년가장많은 혼인건수 ..
Partitioning - MapReduce 역시 diagram 을 보면 이해가 한결 수월해진다. 개인적인 느낌이지만 IT 기술분야를 학습해 나가면서 느끼는 것은 IT 는 똑같은 분야를 놓고 책을 3, 4권 정도 봐야 제대로 된 설명을 찾아내거나 상호간의 비교 및 조합을 통해서 너무 추상화된 개념을 또는 허공에 뜬 개념을 이해할 수 있는 땅바닥으로 끌어 내릴 수 있는 듯 하다. The partitioning pattern moves the records into categories (i.e., shards, partitions, orbins) but it doesn’t really care about the order of records. IntentThe intent is to take similar records in a data set and..

티스토리툴바