Oracle and IoT


传统意义上的基础设施主要是公路、铁路、桥梁、隧道、机场、港口、电网、供水等设施,

“新型基础设施”则包含5G网络物联网特高压,城际铁路,工业联网,数据中心等数字化设施

            新基建分为三类,分别是通信网络及高性能计算、应用大数据等技术的传统基础设施、支撑科研创新的设施。


高捕获率工作负载案例: SK Telecom,纽约股票交易所。。。

NoSQL vs Oracle 优化设计,配置,性能优于NoSQL Database

主要需求: 可扩展,灵活性,实时分析。


--------------快速加载------------------

Oracle RAC, Sharding

使用Oracle bigfile 表空间。 使用autoallocate扩展管理, 注意在表上指定较大的扩展大小,防止等待事件 enq:HW

单行插入 vs 数组插入, 允许通过数据库API使用单个语句插入多行,适用于所有编程语言,降低redo生成和CPU需求,减少网络通信量,每个绘画 18000/s

禁用表级锁定,防止DDL命令

使用异步提交

Oracle Direct Path Loads + 外部表, 采用分区扩展语法防止表级锁

外部临时文件的位置,格式可能会对加载效率有很大影响。单字节分隔符。。。

数据压缩。 IoT的特点: 一次捕获,数据很少改变,包含大量重复的值

       compress for direct_load operations

       compress for all operations

       DMLcompress for [query|archive] [high|low]


Memoptimized Rowstore: 快速捕获支持         DBMS_MEMOPTIMIZE, 直接写入内存,需要application确认数据装载一致性和完整性

alter table meter_readings memeoptimize for write;

insert /*+ memoptimize_write*/ into meter_readings

select * from ext_tab_mr_aug_25;


Json 的原生SQL支持, 所有Oracle功能都支持Json。 

select m.json_column.address.city from meter_readings;


Oracle 分区提供灵活性和高效率

按数据列上的范围进行分区

              每小时的分区更新

              按设备划分的子分区,Oracle分区修剪

              使用Hash算法分区,为保证均匀分布,分区数量建议为 2*n


--------------实时分析------------------

并行执行,在特定进程上指定并行度

Oracle提供多种索引,保持索引事务一致性的开销,部分稳定索引

物化视图 materialized views/MV, Query rewrite特性,物化视图对外部保持透明

Oracle Database In-Memory: 双格式架构, 与企业级数据库搭配 RAC, DG, flashback

In-Memory JSON.. Oracle使用IM表达式


--------------------------------------------

针对物联网负载的Oracle测试 Exadata X6-2, Oracle 12cR2

使用OCI Oracle Call Interface驱动的C程序插入数据

200M/s inserting on 5000数组,5000条提交


Garmin, 

RWE, 

Canon


--End of File--




Comments

Popular posts from this blog

SQL Monitor and SQL Quarantine