【Kyuubi在小米大数据平台的应用实践】
Kyuubi，作为一个高效、可扩展的SQL服务代理，被小米公司用于构建其大数据平台的统一入口服务，旨在解决数据孤岛、多账号权限体系复杂以及开发管理效率低下的问题。小米在面对多个数据平台、各自拥有不同的侧重点和能力重复建设的挑战时，选择了Kyuubi作为解决方案，以实现一站式的大数据开发平台，提供一致的用户体验和强大的SQL流量治理。
**Kyuubi在小米落地的过程**
1. **背景与问题**：小米原有的SQL服务存在多个数据平台、多账号权限体系和数据孤岛现象，导致用户理解和使用成本高，且开发和维护效率低下。
2. **解决方案**：构建一站式大数据开发平台，统一元数据、权限管理和入口，以提高用户易用性和资源利用率。Kyuubi的引入解决了原有SQL Proxy与STS的耦合问题，提供了更灵活的多引擎适配能力和更好的架构扩展性。
**Kyuubi的选择原因**
1. **业务需求**：Kyuubi满足了构建统一数据入口服务的需求，同时能解决权限管理和资源问题，还支持Trino引擎。
2. **技术优势**：Kyuubi与HiveThrift协议完全兼容，具备高可用性、资源隔离性，拥有清晰简洁的架构，便于测试、维护和扩展，社区支持和业界应用广泛。
**架构升级与改造成本**
1. **架构升级**：从SQL Proxy迁移到Kyuubi Server，实现了两周内的平滑迁移，降低了改造成本，增强了架构的可扩展性和可维护性。
2. **效果展示**：Kyuubi现在处理的日均SQL流量约为50万，占总流量的80%，服务稳定性高达99.9%，支持Spark、Trino和Hive等多种引擎，提供了高效稳定的SQL服务。
**打造易用和高可用的Kyuubi服务**
1. **整体架构**：Kyuubi Server作为统一入口，Kyuubi Engine作为执行引擎，Engine Manager负责管理计算引擎，Ranger集成提供统一权限验证。
2. **用户交互**：通过 Workspace 进行资源隔离，采用统一的token验证，用户无需关注底层引擎，根据工作空间自动路由，Session粒度连接提高了服务的可扩展性。
**总结**
Kyuubi在小米大数据平台的应用成功地整合了分散的数据资源，提高了开发效率，优化了用户体验。通过Kyuubi，小米能够有效地治理SQL流量，实现多引擎的统一管理和高效运行，同时确保了服务的稳定性和安全性。这一实践证明了Kyuubi在大规模游戏社交网络节点相似性算法中的应用价值，为其他企业构建高效大数据平台提供了参考。
