10-1 大数据权限管理框架原理和实践

大数据权限管理框架原理和实践

1. 城市计算大数据场景

• 访问入口分散：包括客户端RPC访问（Hadoop客户端、Hive客户端、Spark客户端、Hbase客户端）、Beeline/JDBC访问Hive Server2、HTTP访问（Web HDFS、Hadoop YARN Web）。
• 权限管理需求：
  • 访问入口和方式需进行鉴权。
  • 集中式统一管理权限。
  • 灵活的权限管理策略，支持策略组合。
  • 粒度控制足够细。

2. 大数据集群权限管理难点

• 认证（Authentication）：2012年引入。
• 授权（Authorization）：2016年引入。
• 组映射（Group Mapping）：确定用户和组的对应关系。

3. 权限管理需求

• 主要环节：
  • 身份识别。
  • 组映射（HDFS用户组概念）。
  • 授权。

4. 主流技术方案对比

• 认证：
  • LDAP：适合简单的用户验证。
  • Kerberos：支持SSO，内置防止网络重放攻击，无需密码传输。
• 授权：
  • Ranger：面向Hadoop生态系统，提供细粒度数据访问控制。
  • Sentry：基于角色的粒度授权模块。
• 组映射：
  • Unix Group Mapping：灵活性较差。
  • LDAP Group Mapping：灵活性较高，可以在集中入口管理用户和组。

5. 最佳实践方案：RLK

• 最佳实践：Ranger（R）+ LDAP（L）+ Kerberos（K）。
• Ranger：
  • 安全管理门户（Rangeradmin portal）。
  • 插件（Ranger plugins）：嵌入在Hadoop组件中，执行策略评估。
  • 用户组同步（User group sync/Tag sync）：从Unix、LDAP或AD提取用户和组信息。
• LDAP：管理用户和组信息，提供灵活性。
• Kerberos：确保全面的安全认证。

6. 京东城市实践

• 应用：
  • 通过【租户】机制应对精细化权限管理需求。
  • 应用层权限管理模块与大数据平台权限系统打通。
• FreeIPA：简化Kerberos + LDAP的安装、配置和管理过程。
• 认证：
  • 启用Kerberos时，先进行身份认证，再获取服务连接。
• 授权：
  • 租户创建自动触发LDAP账号创建，同步到Ranger中。
  • API同步映射用户权限到Ranger策略中。

7. 总结

• 解决方案：
  • 全方位高安全性方案（Ranger + LDAP + Kerberos）适用于大多数场景。
  • 局部普通安全性方案（Ranger + LDAP）适用于安全性要求较低的场景。
• 重要性：
  • 深刻理解身份识别、组映射和授权的关键环节，才能形成有效的落地方案。