Oracle and IoT
传统意义上的基础设施主要是公路、铁路、桥梁、隧道、机场、港口、电网、供水等设施,
“新型基础设施”则包含5G网络、物联网、特高压,城际铁路,工业联网,数据中心等数字化设施
新基建分为三类,分别是通信网络及高性能计算、应用大数据等技术的传统基础设施、支撑科研创新的设施。
高捕获率工作负载案例: SK Telecom,纽约股票交易所。。。
NoSQL vs Oracle 优化设计,配置,性能优于NoSQL Database
主要需求: 可扩展,灵活性,实时分析。
--------------快速加载------------------
Oracle RAC, Sharding
使用Oracle bigfile 表空间。 使用autoallocate扩展管理, 注意在表上指定较大的扩展大小,防止等待事件 enq:HW
单行插入 vs 数组插入, 允许通过数据库API使用单个语句插入多行,适用于所有编程语言,降低redo生成和CPU需求,减少网络通信量,每个绘画 18000/s
禁用表级锁定,防止DDL命令
使用异步提交
Oracle Direct Path Loads + 外部表, 采用分区扩展语法防止表级锁
外部临时文件的位置,格式可能会对加载效率有很大影响。单字节分隔符。。。
数据压缩。 IoT的特点: 一次捕获,数据很少改变,包含大量重复的值
compress for direct_load operations
compress for all operations
DMLcompress for [query|archive] [high|low]
Memoptimized Rowstore: 快速捕获支持 DBMS_MEMOPTIMIZE, 直接写入内存,需要application确认数据装载一致性和完整性
alter table meter_readings memeoptimize for write;
insert /*+ memoptimize_write*/ into meter_readings
select * from ext_tab_mr_aug_25;
Json 的原生SQL支持, 所有Oracle功能都支持Json。
select m.json_column.address.city from meter_readings;
Oracle 分区提供灵活性和高效率
按数据列上的范围进行分区
每小时的分区更新
按设备划分的子分区,Oracle分区修剪
使用Hash算法分区,为保证均匀分布,分区数量建议为 2*n
--------------实时分析------------------
并行执行,在特定进程上指定并行度
Oracle提供多种索引,保持索引事务一致性的开销,部分稳定索引
物化视图 materialized views/MV, Query rewrite特性,物化视图对外部保持透明
Oracle Database In-Memory: 双格式架构, 与企业级数据库搭配 RAC, DG, flashback
In-Memory JSON.. Oracle使用IM表达式
--------------------------------------------
针对物联网负载的Oracle测试 Exadata X6-2, Oracle 12cR2
使用OCI Oracle Call Interface驱动的C程序插入数据
200M/s inserting on 5000数组,5000条提交
Garmin,
RWE,
Canon
--End of File--
Comments
Post a Comment