[科技界] 星环科技构建数据、应用、智能融合的数字化PaaS数据云平台

5月21-23日，星环科技主办的第三届前沿科技论坛在上海举行。本次论坛的主题是“科技城市，让城市更美好”。会上，星环科技总监刘发布了全新的数据云平台建设系统。

完善paas数据云平台产品体系

星环科技的数据云平台transwarp data cloud 2.0的发布，完美诠释了星环科技的技术思路。Tdc是为满足企业对数据云的需求而构建的云原生平台。它采用容器技术，以数据为中心，提供完整的数据、应用和智能开发工具，实现数据和应用的互联。与之前的版本相比，tdc 2.0完全可以满足不同角色无业务的工作需求，为企业数字化转型提供更完善的支持。

其次，在Star Ring的paas平台上增加了kundb(分布式事务数据库)和transwarp数据目录(Trans Warp数据目录)两个新产品，分别解决了大规模事务数据库处理和数据资产管理混乱的问题。

Transwarp kundb是为新一代云服务提供服务的云原生数据库，可以作为企业微服务之后的后端数据库。同时，kundb采用多租户设计，可以支持业务集中建设的趋势。作为一个国产的自控数据库，它可以适应各种国产硬件，营造一个完全自控的环境。

Transwarp数据目录为企业数据治理提供了可靠、便捷、智能的工具支持，从而更有效地发掘和利用信息资产的价值。同时还提供了完整的企业级数据交换功能，在客户应用中得到了验证。

此外，为了促进卫星环生态建设，卫星环数据云平台团队开辟了内部应用生命周期管理服务transwarp walm，拥抱社区，做出贡献。企业要想建立自己的应用市场，支持和实现云原生技术，就需要一套可行的应用管理框架。通过walm，任何企业都可以通过标准化接口在云原生框架上安排应用。

会上发布了大数据安全白皮书，再次强调了星环科技产品设计中的大数据安全考虑。摘要:根据星环科技多年的大数据安全实践经验，总结了一些企业在构建企业级数据平台时应考虑的安全标准，为安全系统的设计、管理和标准化提供了一个衡量标准。

刘指出，数据、应用和智能是数据时代企业创新的核心要素，构建融合三者的数字paas数据云平台，可以极大地加快企业数字创新。并通过技术发展路径、应用需求等角度，详细阐述了数字paas数据云平台建设的重要性。

数据管理模式的改变

在过去的20年里，数据管理模式发生了巨大的变化。首先，企业构建的数据分析系统采用简单的结构，数据分析系统直接利用事务数据库的计算和存储能力进行分析。但交易数据库不适合分析业务，计算能力有限。这个时期叫有限分析时代。

比尔·英蒙于1992年提出数据仓库理论，商业智能迅速发展，进入企业数据仓库时代。数据从交易数据库同步到数据仓库，数据仓库提供了大量股票数据的分析，推动了etl工具(数据同步)和mpp数据库的发展。

2010年后，业务需求推动了大数据技术的发展，大量新数据的开发推动了基于大数据的数据仓库、数据湖、数据集市的建设。同时，ai的兴起促进了数据科学平台的发展。在此期间，系统的独立建设带来了数据孤岛问题，限制了企业数字化的推进。因此，企业开始解决数据孤岛问题，开始构建除分析业务系统之外的在线数据业务系统。但是数据、应用和ai平台是相互独立的，只能通过接口层进行有限的交互。现阶段，许多企业都在努力拓展新的应用，探索新的管理方法。

随着一线人员对数据需求的不断增加，企业需要开发大量新的数据应用来不断迭代服务和改善用户体验，包括实时服务、人工智能服务和在线数据服务的大量创新和尝试，这些创新和尝试要求数据、人工智能和应用能够有机地集成在一起，从而最终在一个云中支持灵活、灵活的数据和应用云。

应用开发模式的改变

传统的应用开发采用单体构建的模式，对维护难度和迭代速度的要求不是很友好，会导致代码维护难度高、重复开发、部署不灵活、性能不足、可扩展性不足、开发效率低等问题。

1.代码维护困难:代码功能耦合度高，后期维护困难，测试复杂，代码质量无法保证。

2.重复开发:多个应用中存在类似的功能(如短信模板)，需要在每个应用中重新开发，浪费开发和维护资源。

3.部署不够灵活:构建需要很长时间，所以任何微小的修改都必须重建整个项目，不可能只升级一个子模块，而必须全部升级。

4.性能不足:单个模块的问题可能导致整个应用的性能和可扩展性不足，难以独立调试性能。

5.可扩展性不足:业务和数据无法分离，面对高并发场景无法扩展性能，缺乏资源动态可扩展性。

6.开发效率低:模块复杂，所有的开发都在一个项目中更改代码，不可能并行开发不同的模块。

微服务发展模式提出后，得到广泛推广，尤其是在互联网行业，在互联网企业的覆盖率达到近90%。应用微服务(Application microservice)是将单个应用划分成各种微服务，微服务之间通过接口进行通信，以微服务集群的形式向外界提供服务。微服务开发模式具有交付快、质量高、避免重复开发、运维灵活等优点，可以构建企业数据应用中心。

1.快速交付和高质量:每个微服务模块都很小，易于开发和维护；有了持续集成和持续发布的工具，代码质量就高了，可交付的迭代实践也缩短了。

2.避免重复开发:提取共享服务，节约开发资源，避免重复建轮；更多的资源可以针对一些支持服务。

3.灵活运维:灰度释放策略，使线上新服务风险可控；实现自动伸缩和流量控制机制，防止高并发场景下的服务崩溃；完善的日志管理，监控报警。

4.建立企业数据应用中心:当微服务水平提高时，可以沉淀为应用中心，赋予整个公司乃至整个行业权能；业务平台可以直接与数据中心连接，实现业务与数据的无缝链接。

数字化面临的挑战

大数据、云计算、微服务开发技术都是技术发展。企业如何利用这些应用来制定企业数据策略，从而实现数据管理的转型，是管理者需要考虑的问题。目前阻碍企业数字化的问题主要有以下几个方面:

1.数字化进程跟不上市场需求:业务创新是一个机会，如果需要很长时间，比如一六个月，机会很可能就失去了。

2.数字化缺乏统一的方案:各种应用系统之间规划之初没有考虑未来互操作的可能性，导致烟囱开发，后期难以甚至无法实现系统集成和数据共享。

3.缺乏独立可控的R&D平台:大多数企业缺乏统一的R&D平台，对R&D项目及后续升级的各方面控制能力较弱，造成资源浪费和不必要的研发支出。

4.缺乏对现有数据资产的管理意识:存量和增量数据仍然处于传统的管理思维模式:分散在各种不兼容的业务系统中。

5.缺乏长远的数字战略:数字转型方兴未艾，没有形成技术和业务标准，新的技术概念层出不穷，难以选择既能解决短期目标，又能支撑数字战略的可持续发展技术。

数据云

对于上述数字化挑战，云平台可以通过灵活扩展资源、快速部署和迭代、支持微服务开发、资源管理和安排等能力来解决上述问题。

云平台建设的两个思路。一种是以openstack为代表的以资源为中心的构建，利用虚拟化技术将底层资源打包成各种服务，用户可以租用这些资源，并在其上构建各种应用。但是这种方式是以资源管理而不是数据为中心，企业仍然采用烟囱技术栈，使得在这个平台上很难打通应用和数据。另一种是以Star Ring Technology tdc为代表的以数据为中心的构建模式，可以称为数据云，首先支持上层的应用构建，从而实现数据驱动应用的开发。数据云的特点是以数据为中心，提供完整的数据资产服务、应用开发和数据分析的工具链，加快数据、应用和智能的集成。数据云通过集装箱化技术运行各种工作负载，提供多租户、资源自动扩展、服务自我监控等。，实现开发与运维的平衡。

数据云在云平台层提供各种数据资源服务，包括大数据、ai、流媒体计算、数据资产等。，为整个技术架构提供了坚实的基础。企业基于云平台构建数据业务中心，其中包含许多可重用的沉淀数据服务，如审批管理流程、用户中心和订单中心。所有这些业务活动都可以抽象为标准化的服务，可以在公司内部统一使用。开发一个新的应用，开发者只关注自己的业务逻辑和从数字商务中心可以找到哪些模块直接使用。数据云平台的顶层是dmz区，在外网和内网之间设置隔离区，作为不安全区和安全区之间的缓冲区。重要的计算和数据存储服务放在内部网络，外部服务放在dmz区，可以直接在各种客户端上提供应用服务。

利用tdc构建数字基础设施

Transwarp数据云(以下简称tdc)是星环科技实现的数据云平台，结合星环科技在大数据、云平台、人工智能等领域的技术探索和进步，为企业提供数字化建设的基础设施平台。tdc的底层是星环科技开发的云原生操作系统tcos。该项目成立于2015年，目标是在新一代云平台上构建所有未来的基础设施。中间是三个中心paas服务，包括分析paas、数据paas、应用paas:分析paas满足内外开放数据分析服务的需求，允许大量数据工程师和数据科学家在一个平台上并发工作，促进相互合作；Data paas为数据处理和开发提供数据库服务，解决数据分散和隔离问题，避免交换障碍，使各类数据资产共享集中存储；应用paas为应用开发提供各种框架和中间件，解决应用开发、部署、运维和治理的效率问题，能够应对企业面临的应用开发和管理的各种障碍。大数据在促进数据实现的同时，其安全性成为威胁和挑战。tdc提供了专门的安全管理模块，确保资源层、数据层和应用层接受综合安全系统的管理和控制，确保整个平台的数据安全和可靠性。此外，它还提供了一个云管理平台，以满足云管理、运维和计费的有效管理要求。

以上模块共同构成了贸发局的以下能力:

1.提供基于云原生技术的企业应用市场，每个企业可以根据自己的需求搭建自己的应用市场，也就是上面提到的数字商务中心。

2.提供统一的数据开发技术，基于sql的数据开发技术，基于python的数据科学分析。

3.提供管理技术来完成混合云。无论数据和服务是建立在边缘、公共云还是其他私有云上，贸发局都可以通过集装箱化技术实现统一管理和调度，而无需关注部署的细节。

4.提供了集成安全管理技术。只要我们访问卫星环管理的api和管理系统，无论是数据还是资源，我们都可以提供一套完整的数据链路安全管理和控制。