7 月 31 日至 8 月 1 日,由开放原子开放源码促进会与 Linux 促进会大中华区联合开放源码我国协力举办的全球开放源码控制技术首脑会议 GOTC 2021 深圳站在深圳国际会议中心完满召开。首脑会议汇集国内顶级开放源码厂商和开放源码社区成员,吸引了源自全省各地的数百名开放源码发烧友与会,齐聚一堂我国开放源码自然生态的发展趋势。

在 GOTC 深圳站首脑会议上,腾讯带来多个控制技术应用领域的开放源码商品和破冰实践,主要包括自动驾驶网络平台Apollo、五层阻抗平衡 BFE、表达式排序发动机 EasyFaaS、云原生植物资料库Doris、腾讯DT链、AI Edge、云边融合 Baetyl 等。其中,腾讯Apollo自动驾驶开放网络平台拥有全省最大的自动驾驶车手,体量少于了 500 辆,破冰全省 30 座城市,取得了 293 张测试执照,总路测平均速度突破了 1300 多公里,相关的专利达至了 2900 余件。腾讯DT链成立第一个区块链SIG小组,在天津大学、广西大学等院校破冰区块链专业课程,开放源码自然生态逐渐经济繁荣。腾讯智能云边沿排序团队在 LF Edge Akraino 工程项目中创建了 The AI Edge Blueprint Family,已经破冰主要包括智能驾驶、视觉 AI、AI 智能家居、边沿联邦机器学习等工程项目。BFE工程项目于今年 6 月正式宣布上架 1.2 版,已聚集 80 多位源自相同公司或组织机构的COBOL。破冰采用者事例囊括商业银行、新闻媒体、保险业务、港航、网络等行业。腾讯一直坚持开放源码共享资源、经济繁荣自然生态的理念,希望能与更多合作开发人员一起协力打造前沿控制技术的开放源码自然生态。

百度分享(百度分享视频)-第1张

云原生植物开放源码排序应用领域:五层阻抗平衡 BFE、表达式排序发动机EasyFaaS

五层阻抗平衡 BFE

2019 年 7 月,腾讯核心五层阻抗平衡转贴发动机BFE对外开放源码。 BFE(Beyond Front End),其前身是腾讯从 2012 年开始建设和采用的现代化的五层阻抗平衡和网络流量转贴网络平台,2014 年采用 Go 词汇解构。目前,BFE在腾讯每日转贴请求达至万亿级别,日最大值QPS少于 1千万。

自开放源码以来,BFE 商品加速插值,20 个月发布 15 个版,至今年 6 月,正式宣布上架 1.2 版。7位贡献者,源自腾讯、快手、二进制颤动;80+位源自相同公司或组织机构的COBOL;收到 800+ 提交,4800+ stars;破冰采用者事例囊括商业银行、新闻媒体、保险业务、港航、网络等。2020 年 6 月,BFE 成为 CNCF Sandbox Project,这也是我国第一个网络方向的 CNCF 开放源码工程项目。

腾讯资深商品专家崔静介绍了 BFE 的控制技术特性。一是高安全性和平衡性,BFE 基于 Go 词汇合作开发,在缓存财务管理缓存外泄的风险大大增加,可以抓取异常,使运转更加平衡。以腾讯为例,在腾讯的体量下 BFE 网络平台平衡运转,已经支撑了腾讯集团绝大部分的网络流量转贴。二是功能加速合作开发,因为 BFE 有良好的模组化应用程序化设计,Go 词汇代码又易于编写和维护。三是复杂场景支持,BFE 开放源码可以支持多租户模型,有强大的路由转贴模型,支持多数据中心/多容器集群调度。四是运维友好支持,内置大量状态探针,这些探针数据可以以 Prometheus 的格式对外暴露,适合对接基于开放源码自然生态搭建的监控和运维可视化网络平台,支持配置动态热加载。这也是很多采用者采用 BFE 的原因,此前配置加载对于业务会产生一定影响,BFE 支持动态热加载,可以实现更高的可用性。

百度分享(百度分享视频)-第2张

表达式排序发动机 EasyFaaS

随着云排序控制技术的演进,Serverless 控制技术因其优势越来越受到关注。腾讯云原生植物团队为了更好地推广Serverless控制技术,2021 年 4 月 6 日,腾讯表达式排序发动机 EasyFaaS 开放源码。

腾讯云原生植物 Serverless 高级研发工程师何守芬介绍,EasyFaaS 工程项目灵感来源于何守芬所在团队在探索一些表达式排序应用场景时的发现。据何守芬介绍,EasyFaaS 来源于腾讯云原生植物团队对 CDN 边沿排序的一些业务场景探索。在 CDN 节点上,有很多关于在边沿上基于采用者自定义的一些请求的裁剪,音频编解码等这样需要将算力放到边沿的需求,非常适合采用表达式排序来满足采用者这样的需求。

团队之前在做的时候首先想到的是直接将云上已有的表达式排序服务部署在边沿,但是失败了,原因在于边沿排序场景与云端IDC机房有很大差别,它的集群环境更加复杂,中心与边沿节点之间的通信容易受到网络质量影响,同时公有云上表达式排序商品有很多依赖,比如ETCD,中心的K8S等服务,中心组件的运维成本比较高,因此团队想要设计适合边沿排序场景的表达式排序发动机,拥有适配性强,资源占用少,依赖轻,无状态和自治的特点,因此就有了 EasyFaaS。

EasyFaaS核心控制技术主要体现在三方面。第一高内聚,EasyFaaS 发动机可以作为最小服务单元,本身无状态且内部自治。第二高弹性,支持动态调整,比如表达式实例容器资源大小可以进行动态容量调整,代码运转时也支持动态挂载及卸载。第三高性能,一些控制技术采用了多层缓存机制,为了降低冷启动时延,预启动了资源池。目前,EasyFaaS 的功能框架也分为三层。一是商品功能方面,提供基本表达式源信息管理、代码包管理、版管理、灰度发布。二是请求控制与容器调度,支持表达式调用请求非常快地调度到对应的采用者工作容器、并发控制、错误重试功能。三是底层依赖容器网络控制技术,还有因为表达式排序需要词汇运转,我们对于多词汇运转时和运转挂载都做了相应处理。

百度分享(百度分享视频)-第3张

边沿排序应用领域:边沿 AI 的云原生植物破冰实践、智能边沿融合端云的控制技术实践

边沿 AI 的云原生植物破冰实践

据市场调研机构 MarketsandMarkets 预测,全球边沿人工智能(Edge AI)软件市场体量将从 2018 年的 3.56 亿美元增长到 2023 年的 11.52 亿美元。IDC 预测, 到 2024 年,全球企业在边沿应用上的支出将达至 2,500 亿美金,其中与硬件+AI 相关的支出将达至 326 亿美元,占整体边沿市场支出的 13%。但是市场需求旺盛的大背景下,AI 破冰边沿仍然面临很多挑战。

腾讯智能云边沿排序部架构师孔德超以边沿 AI 的云原生植物破冰实践为题演讲,他指出,目前边沿算力有限,采用场景复杂,如何让 AI 在边沿高效破冰,算力最大化采用是亟待解决的问题。为此,腾讯做了一系列的布局,打造边沿 AI 云原生植物自然生态。

2019 年,腾讯智能云边沿排序团队在 LF Edge Akraino 工程项目中创建了 The AI Edge Blueprint Family,目的是解决 AI 在边沿如何破冰的问题。The AI Edge Blueprint Family 已经破冰主要包括智能驾驶、视觉 AI、AI 智能家居、边沿联邦机器学习等工程项目。

此外,腾讯还创建了云边容器发动机 + 边沿AI弹性排序框架,构建一体化开放源码方案——AIEdge 开放源码方案,在资源有限的情况下,通过算子编排,算力调度,最大化利用算力。发布适配于单机的边沿 AI 调度框架 AIEdge Lite,采用更轻量的算力调度,最大化利用算力,完成更多的 AI 任务……

百度分享(百度分享视频)-第4张

智能边沿融合端云的控制技术实践

腾讯智能云物联网主任架构师李乐丁介绍,腾讯对边沿排序采取非常开放的态度,腾讯在边沿排序上的开放源码战略是向合作开发人员提供 Opensource 方案,借助合作伙伴的力量协力组建一个包含硬件、软件和中间网络平台在一起的完整的端到端的解决方案。

李乐丁着重介绍了 Baetyl 工程项目。Baetyl 是 Linux 促进会旗下开放源码工程项目,其目标是为边沿侧的设备提供标准的云原生植物的编排能力,从而让边沿和云连接一起。Baetyl 的作用是沟通边沿排序和云排序的粘合剂。腾讯在云上有非常多强大的能力,如腾讯的 Apollo,以及其他友商提供的服务,腾讯希望能够利用云上强大的排序能力不断地插值数据模型和 AI 模型,让我们有更好的知识和认知能力。另一方面让 AI 上的工程项目处理隐私和身边的事件,如何将两个相同的元素结合在一起?Baetyl 希望承担其中的责任。

回归到 Baetyl 本身,Baetyl 支持将云排序将云排序的应用无缝扩展到边沿,使云和边沿的数据实现自由交换;具备跨网络平台特性,支持 x86/ARM/MIPS CPU,各类 GPU 和神经网络芯片。

百度分享(百度分享视频)-第5张

LF AI &DATA Forum 2021:腾讯Apollo自动驾驶开放网络平台

2013 年起,腾讯就开始了自动驾驶应用领域的研究,希望能够发挥腾讯在人工智能应用领域控制技术优势,普及自动驾驶控制技术发展,从而带动全行业创新能力的提升。在 2017 年 4 月以前,主要以腾讯内部研发为主。2017 年 4 月以后,腾讯正式宣布宣布了 Apollo 计划,推出了全球第一个自动驾驶开放网络平台Apollo。现在,腾讯Apollo已经成长为全球最活跃的自动驾驶开放网络平台,拥有全球自然生态合作伙伴少于210家,汇集全球合作开发人员 65000 名,开放源码代码数60万行。Apollo自成立之初就在不断探索开放源码道路,在每个阶段,都致力于将已有的积累以开放源码开放的方式同行业撷取,拓宽自动驾驶控制技术应用领域,加速创新引领行业的发展,全面赋能整个行业。

百度分享(百度分享视频)-第6张

腾讯 Apollo 资深控制技术布道师胡旷介绍,Apollo 开放计划是腾讯自动驾驶历史中的重要平均速度碑事件。截至目前,Apollo拥有全省最大的自动驾驶车手,体量少于了 500 辆,破冰全省 30 座城市,取得了 293张测试执照,总路测平均速度突破了 1300 多公里,相关的专利达至了 2900 余件。腾讯不仅拥有 T1-T4 各级测试的执照,而且是我国第一家也是唯一一家获得 T4 执照的企业。从Apollo 1.0到Apollo 6.0 EDU版,Apollo经历了10次插值更新,每一次都向着贴近合作开发人员的实际需求更近一步,解决实际研发中的问题,成为更完善的自动驾驶解决方案。Apollo 6.0 EDU更是专注教育自然生态建设,助力自动驾驶应用领域培训更加适合的人才。

实现更加深刻的开放源码,赋能自动驾驶行业,构建持续向好的自动驾驶自然生态体系,是Apollo当下的要务。赋能绿色智慧矿山,助力大国工业,让控制技术深入生产生活各个应用领域,让开放源码惠及更多合作开发人员、合作伙伴,协力推动自动驾驶自然生态良性循环,加速自动驾驶时代的加速到来。

从开放开放源码之初,Apollo 秉承开放能力,共享资源资源,加速创新、持续共赢的理念,得到了业界的广泛认同,接下来 Apollo 将持续赋能自动驾驶的发展,也愿意与众多的合作开发人员和合作伙伴一起不断推动自动驾驶行业创新发展。胡旷表示。

大前端应用领域:Apache ECharts 5 背后的控制技术升级

百度分享(百度分享视频)-第7张

2018 年 3 月,腾讯将 ECharts 工程项目捐赠给 Apache 促进会,ECharts 成为了 Apache 促进会孵化级工程项目,同时也是第一个由腾讯贡献给国际顶级促进会的开放源码工程项目。2021 年1 月 26 日晚,Apache 促进会正式宣布官宣 Apache ECharts 顺利通过孵化阶段,毕业晋升为 Apache 顶级工程项目。

Apache ECharts 核心合作开发人员,腾讯资深研发工程师宿爽在 GOTC 现场撷取了 Apache ECharts 的现状和控制技术升级。目前,Apache ECharts 的 npm每周下载量31万多,GitHub依赖工程项目151K,周边工程项目7606,代码COBOL165 位,正式宣布committers 25个,工程项目管理委员会成员14位。

最新版 Apache ECharts 5 分五大模块:动态叙事、视觉设计、交互能力、合作开发体验、可访问性。其中交互状态增强方面,主要包括为所有系列提供选中和淡出状态、数据的单选和多选、系列的聚焦外淡出、标签和自定义系列的聚焦外淡出等等。折线图的高性能绘制绘制方面,主要包括一千万数据缩放平移、采用 TypeArray 减少缓存开销 、LTTB 降采样 (LTTB Down Sampling)。迁移为 TypeScript,迁移主体工作集中完成,遵循逻辑等价变换(不边迁移边解构)。迁移之后可带来提高代码可读性、解构的正确行保证、避免不易发现的 bug、对于 ECharts 采用者使得类型精度大幅提高等等益处。脏矩形渲染方面,现在可只擦除画面中有修改的部分。叙事能力提升主要包括自定义系列的过渡动画配置等等。

资料库应用领域:云原生植物数据仓库 Apache Doris

百度分享(百度分享视频)-第8张

Apache Doris 的历史最早可以追溯到 2008 年,当时主要服务于腾讯凤巢的统计报表,随着腾讯业务的飞速发展对系统进行了多次插值和升级,并于2017 年正式宣布对外开放源码,2018 年更名为 Doris 并捐献给 Apache 促进会。Apache Doris PPMC,源自腾讯的资深研发工程师陈明雨介绍了选择ApacehDoris 的几个理由。

一是足够简单。系统架构方面,Doris采取主从架构,系统有两类进程模块,FE模块作为管控节点主要负责采用者请求接入、元数据存储以及解析查询计划等工作,BE模块主要负责执行查询计划以及数据存储,任何节点都可线性扩展,而且不依赖任何第三方组件,主要包括HDFS、Zookeeper等,最大化降低了分布式系统的运维成本。SQL支持方面,Doris在FE模块上实现了MySQL兼容协议层,采用者采用标准MySQL客户端即可方便地连接到Doris,并且Doris还支持标准SQL词汇。Doris的分布式管理框架可以自动管理数据副本分布、修复和平衡,副本损坏时Doris可以自动感知并修复,节点扩容过程仅需一条SQL语句即可完成,整个过程不影响线上业务运转,后台自动进行数据的迁移和数据分片的阻抗平衡。同时Doris升级方式极其简单,只需替换二进制程序、滚动重启集群即可,升级过程中Doris还具备一些查询自动重试和故障理由功能,可以极大程度减少对业务侧的影响。

二是足够高效。存储发动机方面,Doris具备一个高效的列式存储发动机,可以获得极高的压缩率。在存储结构上采用多种编码方式、自适应编码、按需读取;在索引结构上方面,Doris提供了丰富的索引结构来帮准加速数据的读取和过滤,主要包括数据写入时自动生成的智能索引(如前缀稀疏索引和MinMax索引),以及采用者自主在某些列上添加的二级索引(如BloomFilter、倒排索引等)。同时在读取逻辑上Doris也有很多优化,如延迟物化功能,先过滤、再取数,减少查询请求对 IO的资源消耗。

查询发动机方面,Doris是基于 MPP 的火山模型,通过MPP查询框架实现了数据Reshuffle能力,更好利用多节点资源进行数据处理。同时,Doris还对很多查询算子进行了优化、例如Runtime Filter等,开启功能后查询延迟得到极大幅度降低。 Doris还在查询优化器方面也做了大量的工作,能够同时进行基于规则和基于代价的查询优化。

三是功能丰富。Doris能够支持高并发的在线服务场景的,单节点可以支持上千QPS的查询请求;还支持 SQL 级别和 Partition 级别的 Cache,非常适合查询频繁的场景;同时,Adhoc这类高吞吐的即席查询和库内ETL也是Doris的强项,在TB级别数据上Doris可以部分代替Hive等离线系统的功能,在一套系统中满足所有需求。在采用者行为分析业务中,Doris通过Bitmap数据类型进行高基数精准去重,非常适合采用者留存分析、漏斗分析以及采用者画像圈人等场景。Doris还可以通过物化视图加速查询响应,并能支持基于主键的数据更新。

四是开放源码开放,Doris 目前每周的活跃COBOL能够达至20多人,Contributor数量也已经到达 180+,社区呈现活跃度呈持续上升趋势。随着更多合作开发人员和采用者的加入,Doris 社区会逐步发展壮大。

区块链应用领域:区块链开放源码网络平台 XuperChain

百度分享(百度分享视频)-第9张

XuperChain(DT链)是我国国产自研且开放源码的区块链控制技术,拥有近500篇区块链控制技术专利,具备全球化网络和联盟化网络部署能力,自主研发了DT节点、链内并行、立体网络、可插拔共识机制等控制技术,在安全、可控、高效、易用上领先行业。

2019年5月,XuperChain在国内率先对外开放源码。2020年9月,XuperChain作为第一个工程项目捐赠给开放原子开放源码促进会,以全新形态培育和发展。目前,XuperChain开放源码社区拥有2万+采用者,产生100余篇开放源码文档,线上直播、线下沙龙不断,社群活跃,合作开发人员踊跃贡献文档和代码,形成了良好的开放源码控制技术氛围。2021 年,XuperChain开放源码社区先后在北京、上海、深圳举办多场线下合作开发人员沙龙活动,发布区块链开放源码内核XuperCore,成立第一个区块链SIG小组,吸引黑曜石实验室等企业参与贡献一站式合作开发工具Xuper IDE,在天津大学、广西大学等院校破冰区块链专业课程,开放源码自然生态逐渐经济繁荣。

XuperChain核心合作开发人员、腾讯资深研发工程师樊冰新现场撷取了XuperChain的开放源码框架和应用场景。XuperChain秉承开放源码开放的理念,采用轻框架理念,所有组件可插拔,不断提高可扩展性、安全性和性能,降低区块链合作开发门槛。开放源码以来,XuperChain推出了一系列易用性提升措施,加速区块链应用破冰,主要包括基于功能和基于业务场景的智能合约模板,如存证、溯源、积分管理等,满足政务、金融等多应用领域,支持多种应用场景加速接入。

目前,腾讯将区块链与人工智能、大数据、IOT等控制技术创新融合,推出三十多个全场景、全行业、全应用领域解决方案,将区块链应用深入至商品溯源、存证取证、版权保护、数据共享资源、智能制造等诸多应用领域,形成一批成熟的商用化解决方案。

来源: 东方网