首页 > 热点 > > 内容页

上证夜读│孙元浩:核心技术“顶天立地”,大数据基础软件拼出一片天

发表时间:2023-06-11 10:05:02 来源:上海证券报

孙元浩,星环科技创始人、CEO。入选上海领军人才培养计划,获得上海市科学技术奖-青年科技杰出贡献奖、上海市十大杰出青商、上海市智慧城市建设领军先锋、上海市优秀学术技术带头人等多个荣誉。带领团队研发企业级大数据平台等基础软件产品,在实时计算、分布式事务、分布式计算、分布式存储等多方面做出重大革新。

在科幻作品中,“星环集团”聚集了人类最优秀的一批科学家,在太阳系遭受“维度攻击”时,建造了太阳系的第一艘超光速飞船——星环号。借助超光速引擎Transwarp,飞船超越光速在星际之间穿梭。


(资料图片)

10年前的2013年,大数据处理需求急速增长,大数据产业雏形开始形成,从国内到国外都出现了大数据创业热潮,国内国外处于同一起跑线,中国完全可以出现像操作系统领域的微软、数据库方面的甲骨文这样的基础软件公司,不但可以拥有巨大的产业机会,而且可以从根本上改变关键技术被人卡脖子的境遇。

面对这一千载难逢的机遇,我集结身边酷爱数据处理的十几位同仁,确定了国家急需的大数据基础软件的创业方向,我们希望能聚集一批优秀的工程师,打造世界上最快的大数据引擎。

“因为热爱,所以坚持”。10年前,我们将公司的名字命名为星环科技,将经过无数个日日夜夜研发的大数据引擎命名为Transwarp Data Hub,我们希望借助大数据的“超光速引擎”实现大数据技术服务国家发展、用大数据产业报国的梦想。

1

填补中国空白

十多年前,我们生活、工作等所产生的数据量急速增加,数据处理的压力增大,数据价值越来越受到重视。能充分挖掘数据价值的企业,就会开拓一片蓝海市场,当年这样的例子比比皆是。

而成千上万的企业,只有通过数字化转型,融入数字经济发展轨道,让数据与土地、劳动力、资本、技术一样成为一种生产要素,融入数据作为关键要素的数字经济新时代。

大数据是海量数据的集合,以容量大、类型多、速度快、价值高为主要特征,是推动经济转型发展的新动力。10年前在大数据处理基础软件领域,我们国家还是一片空白,市场则由国外公司主导的开源软件和一些商用软件所控制。为了实现不同业务需求,用户通常需要部署多个不同的产品,通过组合的方式一起工作。

这种混合部署的方式,面临众多挑战,如不同的产品在接口标准上就不一致,用户需要适配多个产品的不同接口,开发成本高。

同样,这些产品也使用了各自独立的计算引擎和存储,数据存储在各自的生态中,像孤岛一样难以互通。

在技术上,一些大数据软件是为十多年前的硬件设计的,显然不适应快速发展的新的硬件的处理需要,通过对框架进行修修补补虽然可用,但在技术快速变化的今天依然会很被动。

在应用上,国外的大数据软件企业在中国出现了“水土不服”的问题,常见问题是无法处理中国用户这么大的数据量和复杂应用场景,同时还存在安全问题,迫使客户寻找新的技术路线、新的产品来解决遇到的问题。

幸运的是我们团队发现,在大数据时代,数据管理软件正在逐步由集中式架构向分布式架构演进,为整个软件系统特别是大数据基础软件带来革命性的契机。沿用以前的技术路线,难以在短时间内超越国外的厂商,但在新的技术架构上国内外同时起步,不仅有希望做到“超车”,而且有机会做到“领先一代”。

因此,我们选择了分布式的技术路线,用一站式平台软件解决用户面临的各种挑战。如果将以Oracle等为代表的集中式技术路线比喻为是自行车,那么我们所采用的分布式技术路线就是小汽车,不仅能解决老问题,也能解决老的技术路线无法解决的新问题,用新技术解决新的场景。

另外,在企业级大数据软件方面,中国还没有出现特别大型的企业。因此我坚信,中国大数据技术市场潜力巨大,完全有可能诞生一家中国人自己的大数据基础软件公司。

大数据管理软件对客户的价值大,对客户的黏性强,一旦采用了,可能5年、10年都不会换,会积累一批优质战略客户,通过一流客户的积累和实践,能够打造出世界一流的大数据基础软件。

事实证明,我们心无旁骛、坚持数百个日子研发的分布式大数据平台Transwarp Data Hub用一站式的软件,解决用户面临的众多数据处理需求,性能出众,赢得了上千个用户,填补了中国大数据基础软件的“空白”。

2

要啃自研这只“硬骨头”

在选择了大数据基础软件发展方向时,我们随即面临一个发展道路的选择问题:是选择被大多数公司遵循的开源技术路线,还是选择自主研发道路?

当时很多企业选择基于开源大数据技术推出自己的发行版,通过向客户提供服务的商业模式收取费用,以获得发展。这种方式,产业研发投入少,因此短短的几年时间之内,中国市场就出现了几百家开源大数据产品发行版。有些公司仅仅改一下管理界面或者包装就直接在市场上销售,造成产品同质化严重,缺乏竞争力。

过去的从业经历让我们创始团队深知掌握底层基础软件技术的重要性,我们选择了去啃自主研发这个硬骨头,依靠技术做出差异化的优势,同时靠一流的产品赢得更多用户的信任。

在技术壁垒高、研发周期长、研发投入大等情况下,我们专注于大数据基础平台、数据云平台、分布式关系型数据库、数据开发与智能分析工具等基础软件领域,始终坚持“自主原创、领先一代”战略,为行业客户的数字化转型提供了一个安全可控的平台选择,也让中国在大数据基础软件的自主创新迈上了一个全新的高度。

当我们推出自己研发的大数据基础平台TDH后,在市场推广上又面临新的诸多困扰。如面对中国用户在大数据应用上会遇到许多疑难问题,就是以Cloudera、MongoDB、Elastic等为代表的开源大数据平台厂商,以及如以Oracle、IBM和Teradata等为代表的商业关系型数据库厂商,都不能很好的解决。这时,用户会说,“美国大企业都没走通的技术路线,我怎么能信任你们小创业公司?”

我们的举措是坚持技术引领,一边树立标杆用户,一边等待时间验证。通过采用自研的技术与产品,帮助用户解决了问题,产品也得到不断验证,积累了不少行业客户,继而产品又得到持续改进。

2020年2月7日凌晨1时左右,星环科技接到研发上海市“随申码”任务。团队只有3天时间,要求是实时计算健康码状态,支撑每秒至少“10万+”的并发查询。近30名工程师、程序员组成临时团队,分成两组,连班倒,利用星环科技自主研发的大数据引擎,撑起“随申码”的大数据存储和计算能力的基础平台。仅用3天时间,“随申码”系统上线,一周后正式运行,现在随申码一网通办的功能已经成为市民们的常用功能。

将大数据基础软件的核心技术掌握在自己的手里,不受制于人,一直是星环科技发展的“初心”。十年来,我们一直专注于大数据基础软件领域,持续做一件事情,并把它做好、做精、做大。

我非常自豪的是,在大数据核心技术领域,我们能够超越美国厂商,比他们做得更好,而且一直被模仿。

3

将大数据基础软件做强做大

因为热爱,所以坚持;因为坚持,所以成功。现在,我对大数据产业的认识更进一步了。

在当前时代背景和国际形势下,涉及数据生成、采集、存储、加工、分析、服务为主的大数据产业,已经成为了国家战略新兴产业,是激活数据要素潜能的关键支撑,是加快经济社会发展质量变革、效率变革、动力变革的重要引擎。

现在,我们面临的挑战是在大数据产业发展中,如何做强做大大数据基础软件,进而做大做强大数据产业?这是我经常思考的问题,也有了很多自己的想法,与大家分享。

第一,要认清基础软件发展的长期性,潜心苦行,持续深耕,不能有丝毫松懈。自信息技术诞生以来,基础软件就是都占据至关重要的地位,是IT产业发展的核心竞争力,也是最容易被卡脖子的领域。大数据基础软件与操作系统、数据库等基础软件一样,是智力密集型行业,具有研发周期长、技术复杂、研发投入大等的特点。在国内,基础软件行业沉淀时间比较短,技术积累比较薄。因此,我们一定要认清大数据基础软件发展的长期性,认准发展方向,潜心苦行,持续发力,“不经一番彻骨寒,哪来梅花扑鼻香”。

第二,在技术上要锐意创新,坚持领先对手2~3年。随着企业需要处理的数据规模急剧膨胀,数据类型更加丰富,数据应用场景越来越广泛,大数据基础软件也需要紧跟市场发展趋势,推陈出新,持续迭代,满足用户更广泛的需求。

在发展大数据基础软件上,要坚持发布一代、预研一代、持续迭代,在核心技术与产品上要领先国外竞争对手2~3年。同时,要以数据要素为核心,逐渐扩大产品范围,围绕数据集成、存储、治理、建模、分析、挖掘再到流通的数据全生命周期管理提供一体化工具与软件。

当今技术发展飞快,行业对新技术的接纳和应用速度远远超过当年,比如近期通用大模型的火爆,让很多行业开始积极摸索大模型落地,而我们也快速的在这一技术模式中确定了我们的产品方向:通用大模型并不是适用于具体的行业领域,也无法解决在特定领域中的问题,所以我们不跟风不盲从,专注在自己的领域,在今年5月,我们推出了为用户提供大模型应用构建的全栈软件工具,目标是让每个企业都可以拥有自己专属的行业大模型,推出星环无涯INFINITY金融量化大模型、大数据分析大模型SoLar“求索”两大行业应用大模型,SoLar“求索”可以让企业的每个员工都可以拥有自己的专属AI助理。

第三,联合合作伙伴推出更多的行业解决方案,加快大数据基础软件的商业化落地。基础软件良好的商业化能力既能保障企业持续获得客户与收益,又能通过大型成熟的一流客户,不断优化和迭代产品,获得更好发展空间。

在打造商业化落地方面,我们一方面要持续扩大行业的落地案例,尤其是行业标杆案例,获得大量应用场景的验证和行业客户的认可。另一方面,不同行业所需处理的数据类型、分析场景、数据量等可能有差异,对大数据软件的功能、性能、成本等会提出的不同要求,我们同样要联合合作伙伴提供针对性的行业解决方案,提升行业中的市场份额。

第四,做好大数据基础软件国产化替代,满足用户基础软件升级换代的需求。借助基础软件技术架构升级的机会,在很多关键领域和关键技术方面,通过自主研发逐步实现国产化替代,将是未来实现产业创新的出发点和落脚点。

过去40多年,包括数据库在内的大数据技术一直在迭代,赛道变得越来越宽广,基础软件的国产化替代市场潜力巨大。一方面,既有应用中的国外基础软件越来越不能适应企业日益增加的创新场景需求,企业希望通过技术架构升级换代,实现数据库等基础软件国产化替代。另一方面,新的应用要求数据库等能处理更多的数据类型,满足业务发展、安全合规等需求,由此形成了基础软件国产化替代的新兴市场。

因此,大数据基础软件国产替代要兼顾两个市场,坚持技术创新,以更高好的大数据基础软件产品满足用户升级换代的需求。

第五,发展大数据产业生态,与生态伙伴共促大数据产业发展。在数字化生态阶段,软件产业的发展主要依靠平台发展生态,依靠生态发展壮大。

我认为,大数据产业发展的下一步就是打造以平台为核心的大数据生态。我们将坚持“平台+生态”的发展理念,积极同软件开发商、硬件开发商、系统集成商等众多生态合作伙伴共同探索开发各个行业的大数据应用,挖掘客户需求,并深耕行业场景,打造联合解决方案,解决客户问题,满足客户需要,做大产业,我们相信这也是国产基础软件做大做强的发展路径。

(文章来源:上海证券报)

最近更新