“TDengine 的写入和查询的效率非常高,平均在 10ms 以内,性能完全满足我们的要求。给人印象最深刻的是超强的数据压缩能力,以某个客户的数据情况为例:运行一个月时间,产生约 3.2 亿条记录的数据,每条记录包含约 800 列,实际占用的磁盘空间竟然不到 30GB。”
业务背景
工业设备物联采集是数字化工厂建设的基础,设备在运行过程中会产生大量有价值的数据,例如:设备状态、实时工艺参数、合格报废数量、生产节拍、异常报警信息等,设备物联采集可以为后续的数据分析挖掘提供最基础、透明、可靠的数据来源。我们对自研工业物联采集平台的定位是:可对物联数据进行采集、存储和查询,可用于单个工厂或多个工厂的设备物联采集。基于业务场景的需求,我们决定选择时序数据库作为物联采集平台的核心组件,并调研了 InfluxDB、OpenTSDB、TDengine 几款市面流行的产品,通过充分的测试和验证,TDengine 可以充分我们我们的业务需求。
架构图
查看案例详情中天钢铁 x TDengine“目前 TDengine 在我们的生产环境中运行平稳,通过对生产环境的机器进行检测,CPU 使用率平常不到 1%,内存使用率稳定在 25%。在 TDengine 平稳运行的数周时间里,中天钢铁的新系统平均每周收录 3000 多辆车辆表与 100 多条船只表,每张表中数据或多或少,累计数量已达百万,业务的实际效果也达到了预期。”
业务背景
为了满足业务发展需求,中天钢铁需要新开发一套功能,对厂内每辆运输车辆货运船只的实时 GPS 位置进行追踪和实时监控,通过大数据平台对 GPS 坐标进行处理、分析、可视化展示。这些 GPS 数据来自于中天云商 App,只要运输车辆司机打开云商 App,系统每隔 10 秒会自动发送该车辆 GPS 信号到大数据平台,再由大数据平台分析处理,数据量之大可见一斑。本质上来讲,行车记录、行船记录都是时序数据,也因此,从数据特点出发中天钢铁开始对时序数据库进行选型调研,在进行性能对比后选择了 TDengine。
架构图
查看案例详情广州某企业工业互联网项目 x TDengine“对应于我们应用的 TDengine 三节点(24 核,62GB)集群,程序轻轻松松就达到 qps 每秒 1 万记录的写入性能。至于查询性能,以当天的功率曲线为例,按照 1 分钟 1 个记录,总共 1440 个计算数据计算,可以轻松地在 1 秒钟内通过 1 句 SQL 聚合当天 1 万条记录而得到;还有每月的日温度曲线,总共 30 个计算数据,当月的 30 万条记录,也可以通过 avg 函数结合 Interval 在秒级查询的时间间隔内返回。”
业务背景
在作者所在企业的工业互联网项目中,框架技术组件非常“重”,用 Hadoop 的 HDFS/Hive 做原始数据保留、使用 HBase 保存计算后的数据、利用消息中间件 Kafka 同步各类数据库,计算框架是使用 Flink 还是 Spark、分布式协调上选择 ZooKeeper……这也导致学习和运维成本非常高。在深入接触 TDengine 后,作者发现其优势完全可以解决自身痛点——以设备数据模型创建超级表,以设备为单个子表,按时间先后顺序连续存储数据。在查询的时候,可以提供预计算的统计数据,可以基于设备单个子表的 tag 做聚合的功能,结合流计算中的滑动窗口、滚动窗口概念,还可以快速地基于原始数据得到聚合统计结果。作者所在团队开始基于 TDengine 进行数据架构升级,并将经验汇总成用户案例在 TDengine 官网进行发表。
查看案例详情格创东智 x TDengine“目前我们已经将 TDengine 应用在数据采集、数据处理、数据边缘计算、数据存储等诸多方面,在实际业务中也展现出了超强性能,特别是在处理超高频的数据采集、边缘智能计算框架、数据流引擎和数据模型等方面效果显著,面对海量数据轻松实现实时全生命周期管理。”
业务背景
作为东智工业应用智能平台产品家族的物联网平台,G-Things 为工业设备提供了安全可靠的连接通信能力,其支持数据采集、规则引擎、数据转发、指令下发、数据可视化,同时提供开放的 API 与第三方系统快速对接,为工业企业提供高效率、低成本、高可靠的工业物联网解决方案。为了让用户在最大程度上实现降本增效,G-Things 在接入不同的租户时,会从用户类型(轻量级、重量级等)、设备规模、设备采集的数据量等角度帮助用户选择适配合理的时序数据持久化落地方案。格创东智将 TDengine、Cassandra、OpenTSDB 在同等条件之下进行了相关的读写性能对比测试,TDengine 以最优性能脱颖而出。
查看案例详情从以上案例中可以明显看出,在工业大数据场景下,处理庞大的时序数据需求是一个挑战。传统的数据解决方案可能无法满足这种特殊需求,还因日渐臃肿的架构产生更加高昂的维护成本,而如 TDengine 一般专业的时序数据库则显示出更加明显的优势。通过进行架构改造,上述企业成功实现了工业大数据处理的降本增效目标。如果你也面临着类似的困扰,可以添加小T微信(tdengine)寻求帮助,和专业的解决方案架构师进行一对一的沟通。
参考文献[1] 《数据可视化分析技术在工业大数据领域的开放式应用研究》.陈洪军 林树青 叶丽珠 余华
[2] 《加强数据治理体系建设,推动工业数据资源化深度融合》.大数据时代. 2023(10)
[3]《制造业中智能数据中台的设计与实现》.智能制造. 2023(05)
[4]《TDengine 3.0 如何助力工业互联网实现边云协同?taosX 功能详解》.侯江燚
[5]《替换 Wonderware,云原生时序数据库 TDengine 助力工业数字化》.TDengine 售前团队
[6]《动辄百万的工业数据处理软件,现在60秒就能用上》.陶建辉
[7]《TDengine 在数益工联工业物联采集平台建设中的初步实践》.易永耀 夏杭泰 邓炜兴
[8]《TDengine 在中天钢铁 GPS、 AIS 调度中的落地》. 王旦
[9]《从 Hadoop 到 TDengine,我们走过的路和展望》.黄斯郡
[10]《格创东智选择 TDengine,实现海量数据实时全生命周期管理》.唐时涛
推荐词条物联网IoT平台物联网IoT平台是什么?物联网平台是通过互联网将各种物理设备、传感器、软件和网络连接起来的网络系统…… 智能制造智能制造是一种基于现代信息技术和先进制造技术的制造方法,它的核心目标是提高生产效率、降低成本…… 能源数据能源数据是指对能源相关信息进行大规模存储、处理和分析的数据集合。它能为能源的发展提供决策支持…… 工业大数据工业大数据是指在工业领域中产生的大量数据,通过采集、存储、处理和分析这些数据……