CIO时代APP微讲座:中国农业大学李辉深度解读本科大数据实验平台及资源的建设

2017年1月9日,中国农业大学信息与电气工程学院博士、副教授李辉在CIO时代APP微讲座栏目作了题为《本科大数据实验平台及资源建设等的思考与探索》的主题分享,他从农业大数据、农业大数据实验室建设目标、可行性及建设方案四个方面深度解读本科大数据实验平台的建设。对农业而言,大数据既是机遇,又是挑战,只有挑战大数据,使信息技术处于农业领域的制高点,充分发挥大数据的优势为农业发力。一、关于农业大数据的认识农业大数据是指以大数据分析为基础,运用大数据的理念、技术与方法处理农业生产、销售整个链条中所产生的大量数据,从中得到有用的信息以指导农业生产经营、农业流通和消费的过程。农业数据应用作为农业大数据产业的落地点,分析挖掘数据的价值,还原大数据结论,反映行业问题。换言之,将农业大数据应用于粮食安全、土地经营、病患防治、动植物育种、农业结构调整、农产品价格、农副产品消费等领域,解决农业生产过程中遇到的问题。但农业数据是很复杂的,具体表现为数据源分布广、可控度低、作物干扰大、类型多样、结构复杂和获取困难等,因此导致我国农业大数据面临着诸多挑战和问题:首先,大数据研究普遍存在着只有数据、没有利润的问题,导致搜集数据、存储数据的付出被让位;其次,数据类型单一,只有结构化数据,半结构化、非结构化数据的缺失导致数据的不完整。同时,也缺乏农业现代化与信息化的深度融合,区域视角缺乏全国视角;最后,基础性能知识采用业界的Hadoop开源技术简单堆砌,很难保证未来的实用性。目前,专门从事数据科学与应用研究的人才比较紧缺,大数据人才的招募、培养、使用是农业大数据研究面临的最大挑战。因此,大数据产业的发展对大数据人才提出了新的需求,国内各高校陆续进行大数据学术研究的同时也在考虑将大数据相关课程纳入培养体系,以满足社会对大数据人才的需要。在我国,除以山东农业大学为首的农业大数据产业技术创业联盟之外,还有江苏、中科院大数据实验室等陆续成立。中国农业大学作为中国农业院校的领军者,在大数据领域集中圈地建立农业大数据实验室。同时,在全国农业领域的积累以及联合全国优秀的企业共同建立农业大数据实验室,并将农业大数据实验室教学尽快纳入培养体系之中,确保中国农业大学在农业大数据领域后来居上,达到国家级大数据重点实验室和农业大数据领域的领先地位。在人才培养中,结合农业行业的相关应用特点的实验室教学是关键环节,满足农业行业的人才技能要求,需在本科的相关学科中强化基于农业行业相关数据的实验教学环节。首先要立足于信息与编辑工程专业,面向全校本科生大数据教学,分验证性、实际性和创新性三个层次设置实验,确保中国农业大学各个专业的学生可以通过此课程,了解大数据发展的新趋势和新动向,及其对现代农业的影响和意义。其次,信息技术的发展为丰富教学手段提供了可能,通过开放共享大数据实验室资源,以联系大数据院校基金开展农业大数据教学科研工作,全面提高整个农业院校的科技现代化教育水平。综上所述,为培养大数据教育的高新技术加农业相关分析技术结合的教育是一个大的尝试,从而为中国的农业现代化与信息化的快速发展提供合格的后备人才。二、农业大数据本科实验室教育建设的目标按照中国农业大学厚基础、宽口径、重实践、重交叉学科的要求,科学设立大数据人才培养方案,既要熟悉数据分析,又针对相关业务的不同要求,开始酝酿本科的农业大数据实验室教学设置,可以让学生了解农业大数据分析技术原理、和实验方式,掌握大数据对农业相关专业所能带来的帮助及变革。为此,要达成四个建设目标:目标一:建设业界领先的大数据实验室。结合中国农业大学在农业领域的丰厚积累和宝贵资源,以大数据技术与应用概论这门学科为公共课,使各专业本科均能受益,成为各大院校农业大数据实验室建设的样本,进而成为国家级农业大数据重点实验室。目标二:建设融合农业行业经验、业界最新技术、科技部实验教学实践与业界实际案例同时运行的新一代农业大数据实验室教育平台。此平台的建设不是一蹴而就的,是随着大数据技术的发展及农业实际案例的不断发展迭代更新,保证教学内容与时俱进,最大程度避免传统教育知识陈旧,为农业现代化、信息化与先进技术的接轨和同步奠定基础。目标三:运用先进的“互联网+”教育的线上线下相结合的教学模式,进一步扩大农业大数据实验室的覆盖范围。其中的重点是在上述的农业大数据实验室平台上建立相应的大数据技术与应用概论课程,包括实际案例教学材料、教师教案实验用书、学生案例实验用书、答疑等相关教学工具与教学辅助材料。目标四:向着学生就业和社会既定需求为前提的方向转变。针对农业经济、农业气象、生物信息、食品营养、食品安全、食品风险监测等专业的实际案例,实现大数据行业应用范例教学材料,可以考虑分期实施并根据需要进一步扩充和优化。三、农业大数据本科实验室建设的可行性为达成面向本科的大数据实验课程目标,中国农业大学采用了业界先进的平台和贴近农业实际的相关案例分析,充分考虑技术和专业的融合,从而保证课程的可行性和有效性。考虑到中国农业大学除信息与编辑工程专业的学生之外,以及其他学院的学生并非为农业大数据相关专业。因此,课程的设计过程必须考虑广泛的实用性,进而将其细分为农业大数据技术应用课程与农业大数据创新与开发课程。首先,学校师资资源的充裕保证。因为中国农业大学已建立了数据科学研究中心。同时,基于信息与编辑工程学院的师资资源可充分保证农业大数据实验室的授课资料。第二,本科生乐于拥抱大数据技术。以中国农业大学之前开设的大数据选修课基本情况反馈来看,本科生普遍热衷于学习新的技术,并运用新的技术解决新的问题。无论是校内大数据科研中心还是外部企业,对大数据的巨大人才缺口都是潜在的要求。第三,校企联合可保证大数据实验室的先进性和实用性。实验室的搭建与农业案例的开发可以联合业界优秀企业保证其先进性、可靠性、实用性,同时通过后期服务不断地进行升级,保证技术不断地更新与同步。四、农业大数据本科实验室建设的方案基于农业大数据实验室的建设目标与可行性分析,提出了建设方案,主要包括农业大数据源数据、农业大数据实验室软硬件平台、农业大数据实验室平台、农业大数据实验室教学资源开发、大数据实验平台设计方案和大数据实验案例教学开发等六个方面的内容。第一,农业大数据源数据包。数据是大数据分析的基础,主要包含农业经济、农业迹象、生物信息等数据来源,数据来源多种多样,数据类型除来自各个应用系统传统意义上的结构化数据、半结构化数据外,更多的是非结构化数据源,这些是大数据平台的原材料,我们将其称为“裸数据”。第二,农业大数据实验室硬件平台。大数据的分析必须要有硬件平台做支撑,农业大数据实验室硬件平台包括服务器、存储设备、网络投影仪和大屏幕等硬件,这些是大数据软件平台的定性基础。第三,农业大数据实验室平台。农业大数据实验室平台主要包括数据准备、数据处理、数据建模和展现等软件平台。在数据准备方面,与商业智能类似,如果数据需要通过大数据平台进行处理,数据的前期准备工作显得尤为重要,如数据的抽取、清洗、转换和加载,相当于对于原材料进行粗加工,以便为大数据处理做好充分的前期准备。在数据处理方面,主要用ETL工具准备好数据,首先存储到分布式文件系统中,利用一系列商务智能分析对结构化数据进行分析和处理,进而达到数据挖掘和价值发现的目的,这是实现数据变为有效信息的第一步。数据的建模与展现方面,结果数据处理后,数据的价值可以通过进一步的建模工具、可视化工具从不同应用进行深度数据挖掘、决策支持等工作,让大数据针对某一行业或应用场景进行二次开发,这一步是信息变为知识的关键一步。第四,农业大数据实验室资源的开发。数据实践运营中都存在开发实践教材资源,农业大数据实验室资源的开发主要是教学案例的开发,包括农业相关专业的数据模型开发、数据可视化等内容,农业大数据实验室资源的开发主要包括大数据应用实验教程、大数据实际开发实验课程,农业大数据实验课程幕后的开发将知识供学生立即使用,农业大数据实验室教材的开发主要针对于教室和学生两个方面进行编写。第五,大数据实验平台设计方案。大数据实验室平台的搭建以多节点、集群服务器平台作为农业大数据建设的硬件平台,提供大数据机能和分布式存储平台,以Hadoop作为应用的分布式存储平台,这个平台可以形成六大优势:第一,一个平台可以覆盖从数据到信息、从知识到支配全生命周期的流程;第二,数据模型可支持99%的数据接口,降低数据的接口难度,同时可支持结构化和非结构化的数据类型;第三,高度提升系统,无需面对多种系统混杂在一起,堆积模式带来的管理或复杂难题;第四,高性能,采用共享式文件系统,大大提高数据处理和分析速度;第五,采用对等架构,降低故障风险;第六,基于GUI的管理模式,大大降低管理难度。第六,大数据实验室案例教学的开发。为让学生真正了解大数据在农业相关专业具体的应用场景和关键作用,有着感性和理性的认识,大数据作为当今的先进技术,对传统农业的升级有着巨大的推动作用,可以激发学生的学习热情,提高学生的创新思维能力,从而为学生将来的就业及推动农业现代化和信息化的发展奠定坚实的基础。为此,在大数据实验平台,针对农业专业方向提供相关的案例也是很重要的,如农业经济大数据案例、农业气象大数据案例、农业生物信息大数据案例等等,对于案例的设计和研发建议本着忠于实际、分步实施的原则应用于教学,在教学反馈中快速迭代后续的案例开发。从而始终保证案例的真实性、可用性和有效性,更好地将大数据理论、实验平台与案例相结合,从而达到学以致用的目的。随着实验教程的展开,越来越多的学生会对新技术产生兴趣,从而成为我国农业教育的领航者,打开教育改革的新篇章,为大数据教学提供很好的思路,发展大数据在我国支柱产业农业方面的应用和发展。 CIO时代APP:一款集云计算、大数据、移动互联网和物联网等新一代信息技术应用资讯、课堂及选型平台为一体的新IT知识与资源库。其中包括专家与CIO的讲课、问答,产品、服务及方案的需求与选型等。网罗最新、最热、最专业的行业资讯,同时涵盖云计算、大数据、物联网、智慧城市等21个行业频道;丰富的线下活动,金融论坛、CIO中国行、区块链论坛、云计算大会等等,汇集各界专家、CIO,实时分享相关主题、干货;诚邀各界权威专家、CIO进行在线讲座,在听讲过程中实现答疑解惑;联合各方资源,为企业、个人量身打造的供需服务。APP上线以来受到业内专家和用户的一致好评。扫描下方图中二维码即可进行下载:
该文章作者已设置需关注才可以留言
中国企业如何与海外环境及当地的民族文化融合,海外安全知识:
不少大公司相继推出了有奖捉虫计划,向报告安全漏洞者支付奖金,奖励那些安全研究人员。厉害的高手可以靠帮助这些大型的跨国互联网公司找安全漏洞为职业。

《狂战传说》PC配置公布 采用D加密 将放出免费Demo
FBI网站被黑致数据泄露,Plone官方回应:我们的系统没有0day漏洞!

微信扫一扫关注该公众号

一次性密码应该能够在更好的身份验证发展方面发挥重要的作用,但与此同时,大家也不能把它当作是安全的灵丹妙药。

猜您喜欢

精益六西格玛咨询辅导公司的变革管理
化解信息安全管理中的沟通不畅难题
让环安人员的培训工作变得轻松的视频课件以及在线教育服务
特朗普很“伤心” 富士康继续在中国建厂
VISIONIQ APPOUTDOORS
保护智能手机安全的基础知识

FBI网站被黑致数据泄露,Plone官方回应:我们的系统没有0day漏洞!

【新朋友】点击标题下面蓝字「皮鲁安全之家」关注
【老朋友】点击右上角,分享或收藏本页精彩内容
【公众号】搜索公众号:皮鲁安全之家,或者ID :piluwill
著名黑客CyberZeist最近入侵了FBI网站(FBI.gov),并将几个备份文件(acc_102016.bck,acc_112016.bck,old_acc16.bck等)公布在了Pastebin,数据内容包括姓名、SHA1加密密码、SHA1盐和电子邮件等。
CyberZeist这名黑客颇有名气,他曾是Anonymous的一员,2011年有过黑入FBI的经历。除此之外,巴克莱、特易购银行和MI5都曾是他手下的受害者。

入侵的具体时间是在2016年12月22日——CyberZeist利用Plone内容管理系统(CMS)的0-day漏洞侵入了FBI.gov。Plone的内容管理系统被认为是迄今为止最安全的CMS,很多高级部门使用这个CMS,其中就包括FBI。
CyberZeist解释说,他所利用的这个0-day不是他发现的,他只是想用FBI的网站测试一下这个漏洞,结果就成了。其他网站同样可能遭受相同的0-day攻击,比如说知识产权协调中心以及欧盟网络信息安全机构。
德国和俄罗斯的媒体相继报道了此次黑客入侵事件,而美国的许多主流媒体却刻意忽视了这件事。
FBI在得知了CyberZeist的入侵后,就立即指派安全专家展开修复工作,但是仍未修复Plone内容管理系统的0-day漏洞。CyberZeist发现了FBI的修复工作后,并发了一条具有嘲讽性质的的推特。
他对这条推特进行了补充:
我当然没有得到root权限(这明显嘛),但是我就是能知道他们在跑6.2版本的FreeBSD,这份数据最早可以追溯到2007年。他们最后的重启时间是2016年12月15日晚上6:32。
CyberZeist透露说:
这个0-day漏洞是他从tor网络上买到的,而卖家不敢侵入FBI.gov这种网站。现在已经停止出售,我会在推特上亲自放出这个0-day漏洞。
该漏洞目前仍存在于CMS的某些python模块中。
点击这里可以看到CyberZeist在Pastebin之上的动态。
后续更新Plone安全团队看到CyberZeist这样黑Plone的CMS系统,他们当然坐不住了。于是Plone发了一篇博客全盘否认了CyberZeist的“发现”。
“Plone的安全团队已经看到了CyberZeist的犯罪声明,并对此Plone进行了检测,事实证明‘FBI被黑’是一个骗局。无论是Plone还是在基于Plone的系统都不存在0-day漏洞。”
小编看到这篇博客的时候表情是这样的。哇,好足的底气。你这不光打了CyberZeist的脸,还留下一个懵逼的小编。让我们继续往下看。
Matthew Wilkes(Plone安全团队的成员)解释了为什么他们的团队认为‘FBI被黑’和‘Plone存在0-day漏洞’是骗局的原因。
原因一 ——版本不对Plone是用python语言写的且运行在Zone的上层。Zone是一个基于python的网页应用服务器。而在CyberZeist的推特中,他是这么写的“我当然没有得到root权限(这明显嘛),但是我就是能知道他们在跑6.2版本的FreeBSD”。你们造吗,FreeBSD 6.2只支持Python2.4和2.5版本,但是Plone并不能在这种老版本上跑。
原因二——哈希值、盐值不一致CyberZeist所泄露的数据的密码哈希值、盐值与Plone将生成的值不一致。这表明这些泄露的数据使在另一台服务器上批量生成的。值得一提的是,CyberZeist泄露的这些FBI邮箱在几年前就曾公之于众。(嘿嘿,就算FBI真的被黑了,也不是Plone的锅)
原因三——文件名称不符CyberZeist声称他在含有.bck扩展文件的网页服务器的中发现了备份文件里的登录信息。但是,Plone数据库备份系统不会生成含有.bck扩展名的文件,而且Plone生成的备份存储在web服务器目录之外。
Wilkes说:
“修改这种行为方式很难,而且对于他来说没有任何好处。”

被指性骚扰遭遇网络暴力后 星河创服COO选择辞职

原因四-截图有破绽CyberZeist在推特上上传的某些截图迫使FBI.gov暴露部分源代码。然而此类攻击通常是针对PHP应用程序的,对于没使用cgi-bin扩展类型的Python网站是不可能成功。
有一张截图显示的是邮件信息,这些信息很有可能是从FBI服务器的邮箱日志里提取的。
涉密网络通常与互联网进行了物理隔绝,针对涉密网络的攻击需要跳板,技术上得注意U盘,手机等移动设备接入涉密网络,更重要的是加强人员的安全意识教育。
“这很有可能是他自己的服务器日志,他虽然把这个服务器日志名称改得和FBI一样,但是却忘记把邮件显示的时区从印度标准时间到东部标准时间”
原因五-CyberZeist有“造假”前科没错,CyberZeist在这之前曾有“造假”记录。而伪造这次攻击的目的,可能是为了捞钱。FBI.gov作为一个使用Plone的知名网站,成功侵入它对于其他黑客来说具有很大的吸引力,很多黑客自然会到Tor网络上去买这个实际上不存在的0-day漏洞。要知道这个0-day的售价是8比特币,约9000美金。
在CyberZeist的“谣言”传出之前,Plone已经宣布了将在1月17日之前发布新的安全补丁,新的补丁与此次的0-day无关,旨在修复次要,低危的安全问题。
参看来源:http://securityaffairs.co/wordpress/55042/data-breach/fbi-hacked.html、http://www.networkworld.com/article/3155104/security/plone-dismisses-claim-that-flaw-in-its-cms-was-used-to-hack-fbi.html#tk.rss_all 来自Freebuf
之前的报道: FBI 网站被入侵,数据被公开后遭黑客嘲讽
近日,FBI 遭遇黑客打脸,不仅网站被黑,网站数据被直接公布在网上,而且入侵者还通过社交网络公开表达了自己略带嘲讽的“新年问候”。
据雷锋网了解,泄露出来的数据为网站的几个备份文件,目前已经被公布在Pastebin 网站上,其中包括FBI网站的用户名、电子邮件地址、经过SHA1算法加密后的密码以及加密用的盐值。
此次入侵者 CyberZeist 入侵的手法主要是利用了FBI 网站 所使用的 CMS 内容管理系统的一个零日漏洞,而这个名为 Plone 的系统被公认为有史以来最安全的CMS内容管理系统。
据悉,入侵者 CyberZeist 曾经是“匿名者”黑客组织 Anonymous 的一员,其本人在业界也可谓“臭名昭著”。2011年,他就曾经入侵过FBI的相关机构,除此之外,还黑过巴克莱、特易购银行以及 MI5(没错,就是 你在 特工007电影里看到的那个“军情五处”)
如何防范假冒WiFi热点
当雷锋网编辑尝试访问 CyberZeist 的推特时,他正在发起一个公开投票,让所有人来帮他确定下一个网络入侵的目标,里面有四个选项:政府组织、银行机构、军方、其他。
看到该页面,雷锋网编辑仿佛听到了 黑客 CyberZeist 内心的嘶吼:“还有谁!?”
然而,虽然 CyberZeist 是入侵者,但其入侵 FBI 时利用的零日漏洞并不是他自己发现的。CyberZeist 对外表示:
我并不是这个漏洞的发现者,只是拿着这个漏洞去FBI的网站试了一下,没想到居然成了!
CyberZeist 透露,该漏洞是他从匿名网络 Tor 上买来的,漏洞存在于 Plone 内容管理系统的某些 python 模块中,卖家并不敢利用该漏洞来入侵 FBI 的网站(但是他敢),目前已经停止出售。但 CyberZeist 表示自己之后会在推特上公布该漏洞。
FBI 在得知了 CyberZeist 的入侵消息后,立即指派安全专家展开修复工作,但目前 Plone 内容管理系统的 0-day 漏洞仍未被修复,对此 CyberZeist 还发布过一条具有嘲讽性质的的推特。
除此之外,CyberZeist 还对 FBI 在安全方面的疏忽表达了强烈不满,他表示,自己原本就是担心黑客利用该漏洞对FBI进行攻击,出于安全测试的目的才将在FBI网站上尝试,结果发现 FBI 的网站管理员犯下了一些低级错误,他们将大量备份文件直接暴露在同一台服务器上,最终导致CyberZeist 成功访问到这些文件。
此后,CyberZeist 又发布了一条消息,表示国际特赦组织的网站也收到此漏洞的影响,该消息得到了对方的证实。

银湖网接入“无忧存证” 全面升级数据安全

据雷锋网了解,只要该漏洞仍未被修复,所有使用该系统的网站都可能面临相同风险,其中包括欧盟网络信息与安全机构以及知识产权协调中心等等。
来自:雷锋网

国家互联网金融安全技术联盟在爱投资进行网络安全监测试点

回复
获得以下图文等信息
论坛
可进入微论坛畅谈
任意
官方机器人陪聊
首页
查看技术文档(逐步更新中)
留言
进入留言板
相册
国内外大牛真容
该文章作者已设置需关注才可以留言
微信扫一扫关注该公众号

搞信息化时,首先要问问:是内部开发、外部采购,还是使用开源系统?它们各有利弊,除了根据现状做出最佳选择外,在后期的工作中如何扬长补短也是认真需要考虑和实践的。

猜您喜欢

安全人,这八个危机意识帮你绷紧弦!
再谈信息安全意识推广计划
企业安全意识之歌
河北邢台一对夫妻在拆迁工地纵火被抓
PIENSOYJUEGO JKLASKQW
年度安全会议上的老问题与新战略