开源技术架构漫谈:Hadoop

摘要

  • Uber Hadoop 文件系统最佳实践
  • Scaling out using ViewFs
  • HDFS upgrades
  • NameNode Garbage collection
  • Controlling the number of small files
  • DFS load management service
  • New Feature : Observer NameNode
  • Router-based HDFS Federation
  • Engineering : 独立的群集(isolated clusters)、分阶段升级过程(a staged upgrade process)和应急回滚计划(contingency rollback plans)

继续阅读全文 »

DevOps 漫谈:从作坊到工厂的寓言故事

摘要

  • 背景:《凤凰项目》的灵魂
  • 管理约束:最大的瓶颈是人
  • 任务追踪:可视化工作区和看板实践
  • 改进日常工作:预防性维护
  • 反常识:系统里要经常出些故障、人力资源使用率与效率成反比
  • 安全与审计
  • IT 价值流:像电力一样无处不在

转变主要不是基于自动化,相反,这种不可思议的改进来自于调整关于工作系统的策略和控制半成品的策略,确保有一个高效的跨职能团队,让所有事情都为约束点服务,以及管理好工作交接。——《凤凰项目 一个IT运维的传奇故事》

继续阅读全文 »