|
|
| 论文（设计）题目 | 基于嵌入式的大数据平台搭建 | ||
| 题目来源 | □ 自拟 □ 导师指定 □ 其他 □ 从公布的选题中选取 □ 导师的课题或项目 | 注：请直接在所属项□内打“√” | |
| 1．选题背景、意义 这是一个信息爆炸的时代，互联网上的信息正在以几何级数的速度增长着。在这个大背景下，消耗CPU最多的计算逐渐从“提升软件本身性能”方面转移到了信息处理方面，从而各大厂商不得不面临着极大地挑战——他们需要从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量数据进行快捷、高效的处理。而数据存储是数据管理工作的基石，所以如何进行大数据的有效存储成为一个重要的研究课题，为此选择了这个课题，以便更多地了解大数据和云计算方面的知识并且锻炼对linux系统的操作能力和搭建工作环境的能力，更为了以后工作和发展方向做下基础。
| |||
| 2.论文（设计）的主要内容、开发工具简介、基本思路（大纲） 主要内容： 了解云计算和大数据的相关知识，理解大数据存储方面的原理； 安装linux系统，能在linux上进行熟练的操作； 在linux上安装Hadoop，进行Hadoop分布式平台的搭建，掌握HDFS分布式存储的工作原理并对其提出改进，对一组样本数据进行存储； 了解分布式编程模型MapReduce的原理并能进行简单的使用； 撰写毕业论文，能熟练掌握Hadoop下大数据存储的相关知识并进行答辩等环节。 开发工具简介： 安装ARM开发板，装载linux系统，配置好vmtools等所需的常用软件及其设置，进一步熟悉linux操作环境； 在Windows和linux之间的共享文件夹中下载linux版本的Java和Hadoop的安装包，在linux中安装、调配运行环境等至可以正常使用。
基本思路（大纲）： 引言 1 绪论 1.1 大数据简介 1.2 Hadoop简介 1.2.1 Hadoop的优点 1.2.2 Hadoop的架构 1.2.3 Hadoop的组成 2 ARM开发板下centOS7.0的装载和配置 3 Hadoop平台的搭建和基本配置 3.1 安装JDK 3.2 SSH免密码登陆 3.2 安装配置Hadoop 4 Hadoop平台下数据存储的分析和研究 4.1 用命令进行文件存储和读取 4.1.1 创建目录 4.1.2 显示目录以及网页图形化界面 4.1.3 本地文件存入目录以及网页图形化界面 4.1.4 显示HDFS下文件内容以及网页图形化界面 4.1.5 显示HDFS下文件大小 4.1.6 显示HDFS下文件的信息 4.1.7 在HDFS下复制文件 4.1.8 保存至本地文件 4.1.9 从本地移动文件 4.2 用API进行文件存储和读取 5 HDFS中的大量小文件存储问题 5.1 小文件存储问题简介 5.2 小文件存储问题的解决方法 5.2.1 Archive工具 5.2.2 CombineFileInputFormat类 5.2.3 SequenceFile格式 5.2.4 其他方法 结论 致谢 参考文献 | |||
| 3. 查阅文献清单： (1)IDC Corporation. The expanding digital universe (2007) [R] . 美国: Citeseer, 2007 (2)秦东霞,周航等. 基于分布式系统的海量数据存储技术 [J]. 周口师范学院学报, 2013,5. (3) Melvin Mao. Hadoop云计算系统 基础知识 [EB/OL]. http://blog.csdn.net/mw08091020/article/details/9498085. (4)时倩,方睿,岳亮,彭榆峰. 基于Hadoop的海量小文件存储方法的研究路 [J]. 数字技术与应用, 2014,1. (5)陈光景. Hadoop小文件处理技术的研究和实现 [D]. 南京: 2013. (6)刘军. Hadoop大数据处理 [M]. 北京: 人民邮电出版社, 2013. (7)谢桂兰,罗省贤.基于Hadoop MapReduce模型的应用研究[J].微型机与应用,2010.21. (8)周敏奇,王晓玲,金澈清等译.Hadoop权威指南[M].北京：清华大学出版社,2011.7. (9)曹英忠,谢晓兰,赵鹏.基于Hadoop的云存储实践[J].现代结算机,2011.24.
|
| ||
| 4.指导教师对该开题报告的意见（从选题内容及开题是否通过两方面进行简要评价）：
签字： 年 月 日
|
| ||
