• 美团spark (美团spark性能调优)

    美团spark (美团spark性能调优)

    杭州品茶  |  04-27  |  59个浏览

    Spark是一个大数据处理框架,广泛用于各种数据处理任务。在美团,我们使用Spark处理海量数据,因此Spark性能调优对于我们至关重要。本文总结了我们在美团Spark性能调优方面的经验和最佳实践。 硬件配置 CPU:选择具有高主频和高核数的CPU,以提高Spark任...

  • 美团spark (美团spark优化)

    美团spark (美团spark优化)

    杭州耍耍  |  04-27  |  60个浏览

    美团是国内领先的生活服务平台,每天处理海量的订单和数据。为了高效地处理这些数据,美团内部使用了大量的 Spark 集群。为了优化 Spark 集群的性能,美团进行了大量的优化工作,包括: 硬件优化 采用大内存服务器:Spark 作业通常需要大量的内存来缓存数...

1