ImCoder's 博客

叶落九秋枝未枯兮,水迎孤月遥未有辞,尔胡以有不自平兮,非心之逑兮以为然

浮云千里望,路行影自难

登录 or 注册

ImCoder

  • 导航
      分类
      默认
      开发
      折腾
      资源
      科技
      游戏
      段子
      杂谈
      服务
      写博客
      贴代码
      相册
      cloud
      归档
      标签
      历史
      站点
      登录
      注册
      公告
      帮助
      关于
  • 首页
  • 标签='调优' 

逻辑回归 — 鲁棒性调优

  • 作者: 独伫小桥风卷袖
  • 分类: 开发
  • 2017-10-11 21:00:46


- 阅读剩余部分 -

标签:    #机器学习#    #逻辑回归#    #鲁棒性调优#    #推广能力#    #泛化能力# 抢占沙发

JVM内存对象生命周期

  • 作者: 独伫小桥风卷袖
  • 分类: 开发
  • 2017-09-24 21:47:00


- 阅读剩余部分 -

标签:    #JVM#    #生命周期#    #调优# 抢占沙发

Spark调优 — 数据倾斜解决方案

  • 作者: 独伫小桥风卷袖
  • 分类: 开发
  • 2017-09-24 21:34:29
使用Hive ETL预处理数据
过滤少数导致倾斜的key – 提高shuffle操作的并行度
加随机前缀进行双重聚合
将reduce join转为map join
采样分拆RDD加随机前缀和扩容RDD进行 Join
全部Key使用随机前缀和扩容RDD进行 join


- 阅读剩余部分 -

标签:    #Spark#    #调优#    #数据倾斜#    #大数据# 抢占沙发

Spark调优 — 数据本地性

  • 作者: 独伫小桥风卷袖
  • 分类: 开发
  • 2017-09-24 17:15:43


- 阅读剩余部分 -

标签:    #Spark#    #调优#    #数据本地性# 抢占沙发

Spark调优

  • 作者: 独伫小桥风卷袖
  • 分类: 开发
  • 2017-09-22 21:01:25

资源调优

任务的并行度调优

代码调优

Shuffle调优

调节堆外内存

解决问题


- 阅读剩余部分 -

标签:    #Spark#    #调优#    #并行度#    #代码#    #shuffle#    #堆外内存#    #大数据# 抢占沙发

  1. 1
  2. 2
  3. 后一页 »
  • 文章归档
  • 文章标签

文章分类

  • 默认:(116)
  • 开发:(81)
  • 折腾:(4)
  • 资源:(23)
  • 科技:(0)
  • 游戏:(1)
  • 段子:(0)
  • 杂谈:(2)

热门文章

    热门标签

      最新文章

        Photos

        登录 / 注册

        登录
        © 2016 ImCoder 博客 ,基于 Java 语言开发 ,ICP备案:湘ICP备17002133号 ,公安备案: 湘公网安备 43012402000549号
        ["jquery", "bootstrap", "domReady", "toastr", "stickUp", "globals", "common_utils", "login_handle", "toolbar", "index", "sideCol"]