mapreduce任务hadoop distcp
通过surging的后台托管服务编写任务调度并支持规则引擎自定义脚本
简介 过去，如果在业务中需要处理任务调度的时候，大家都会使用第三方的任务调度组件，而第三方组件有一套自己的规则，在微服务的中显得那么格格不入，这样就会造成代码臃肿，耦合性高，如果有分布式还需要搭建新的分布式环境，如果把任务调度做成组件服务，这个就完全满足了微服务的模块化，组件化，而下面谈的是在sur ......
Hadoop如何保证自己的江湖地位？Yarn功不可没
前言 任何计算任务的运行都离不开计算资源，比如CPU、内存等，那么如何对于计算资源的管理调度就成为了一个重点。大数据领域中的Hadoop之所以一家独大，深受市场的欢迎，和他们设计了一个通用的资源管理调度平台Yarn密不可分，那Yarn是如何做进行资源管理的呢？它的通用性体现在哪里呢？它是如何保证Ha ......
一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?
今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......
图神经网络之预训练大模型结合：ERNIESage在链接预测任务应用
通过以上两个版本的模型代码简单的讲解，我们可以知道他们的不同点，其实主要就是在消息传递机制的部分有所不同。ERNIESageV1版本只作用在text graph的节点上，在传递消息(Send阶段)时只考虑了邻居本身的文本信息；而ERNIESageV2版本则作用在了边上，在Send阶段同时考虑了当前节... ......