Patent

一种基于端到端记忆网络的问答方法
本发明公开了一种基于端到端记忆网络的问答方法，本方法为:1)对目标数据集进行划分，将该目标数据集中的已知事实、问题和答案分割开并存储；2)将所述已知事实中的每个句子x转换为词向量；3)将问题转换为词向量, 计算每一句子x对应的词向量m与问题的词向量的相关度, 得到对应句 …
一种Spark平台Shuffle过程压缩算法决策方法
本发明公开了一种Spark平台Shuffle过程压缩算法决策方法。本方法为:l)Spark平台根据RDD的依赖关系生成有向无环图DAG,并根据RDD的依赖关系将DAG划分成不同的阶段; 2)根据用户提供的所在集群的基础数据以及目标作业信息，计算Shuffle过程用到压缩 …
一种Spark平台性能自动优化方法
本发明公开了一种Spark平台性能自动优化方法。本方法为:1)根据Spark平台的执行机制创建一Spark应用性能模型; 2)针对一设定Spark应用，选取该Spark应用的部分数据负载在该Spark平台上运行，采集Spark应用运行时的性能数据;3)将采集的性能数据输 …