내부적으로 분산 병렬 처리를 지원하고 사용자에게 모든 처리과정을 추상화한 인터페이스를 제공한다.
Hadoop was inspired by Google's MapReduce and Google File System (GFS) papers.
HDFS filesystem uses
-
http://wiki.apache.org/hadoop/Hive : data warehouse infrastructure built on top of Hadoop. SQL-like query language, called QL, that HBase는 HDFS를 기반으로 하는 또 하나의 흥미로운 애플리케이션으로 Google BigTable과 비슷한 고성능 데이터베이스 시스템이다. 일반적인 파일 처리 대신 HBase는 데이터베이스 테이블을 입력 및 출력 양식으로 사용하여 MapReduce 처리를 수행한다.
Linux에 mount
https://sites.google.com/a/iponweb.net/hadoop/Home/hdfs-over-ftp[https://sites.google.com/a/iponweb.net/hadoop/Home/hdfs-over-ftp]
hadoop fs -ls
bin/hadoop jar sims-batch.jar sims.batch.WriteTest
DBOutputFormat
DBInputFormat
DBConfiguration
public int run(String[] arg0) throws Exception {
JobConf conf = new JobConf(getConf(), LoadTable1.class);
conf.setInputFormat(DBInputFormat.class);
DBConfiguration.configureDB(conf, DATABASE_DRIVER_CLASS, CONNECT_URL, DB_USER, DB_PWD);
DBInputFormat.setInput(conf, ose_epr_contract.class, "select CONTRACT_NUMBER from OSE_EPR_CONTRACT", "select COUNT(CONTRACT_NUMBER) from OSE_EPR_CONTRACT");
FileOutputFormat.setOutputPath(conf, new Path(CONTRACT_OUTPUT_PATH));
conf.setMapperClass(LoadMapper.class);
conf.setNumReduceTasks(0); conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(NullWritable.class);
JobClient.runJob(conf); return 0; }