Posts

Showing posts from May, 2020

Oracle Golden Gate Workshop

-
##### Meeting Outline ######## 数据同步的需求和挑战 Golden Gate 实现数据实时同步 零停机数据库迁移如云 Oracle -> ADW, Mysql ->Oracle  异构，实时，双活，保证数据一致性 为Kafka，大数据环境供数 分入侵式的数据抽取 Oracle，mysql，msSQL--- DBMS，Cloud，Big Data，NoSQL，Streams（Kafak，Spark） 单向查询分流 合并实时BI Oracle Golden Gate Marketplace,  Oracle GG for Big Data，  Oracle GG for Kafka 专属XStream APIs 达到4Gb/s GG 19c 新增并行投递性能提升5倍以上。  延迟小于100ms的网络与本地捕获类似 Year 2017 对Oracle和非Oracle数据库远程抽取和投递取能力 Golden Gate 支持跨操作系统的远程抽取，减少了Golden Gate日常维护量 GG Marketplace 开通三步部署，免费试用 搜索OCI Marketplace 在OCI上部署Golden Gate 访问Golden Gate GG微服务版本 Case 1：云端网络同步 单向传送数据，对源端无干扰，只开放需要的网络端口 实时数据传送 Case 2：EBay GG实时投递 Case 3： QuickBooks 实现数据库高可用，和流数据分发 Case 4： GG零停机的迁移 启动extrace 传送到目标端同步 数据pump做数据初始化 veridata 数据验证 --反向数据传送以保证迁移后数据同步到legacy系统 select dbms_flashback.get_system_change_number from dual; DBoptions enable_instantiation_filtering         OGG 12.2, DB version 11gR2 数据库GG迁移中常见的错误 1. 目标端没有及时禁用触发器，级联删除和数据库job 2. 导出数据时数据库有长事务没有提交，事务开始时间在启用捕获之前 3. R...
Post a Comment
Read more

Oracle Autonomous Database Workshop

-
1. Autonomous Database Technical Overview ---Oracle Cloud Infrastructure OCI Region - HA Building Blocks, Availability Domain(AD) Fast and Scalable Bare Metal, VM, and GPU compute Cluster Networking Consistant Performance Storage IoT, ADB, AI/ML, Analytics, Mobile Apps, Colud Native Architectures ---ADB Overview ADB Revolutionizes data management Innovate faster with lower costs A. Data Warehouse (ADW), A. Transaction Processing (ATP) ---ADB Key Features Lower cost, reduce risk, accelerates innovation Simple, Fast, Elastic Self-driving, Self-securing, Self-repairing Gathering Satistics and Hints Capture--identify--verify--decide--monitor ---ADB Architectural Components Exadata system based on Region,  Oracle controls all patching, software version, and isolation Low minimum size/cost - 1 OCPU and 1 TB of storage Low minimum time commitment - 1 hour OCI integration: Connection Manager services, Application Servicer, Oracle ML servers               ...
Post a Comment
Read more

Oracle Database 20c New Features

-
Oracle 20c Preview Release, only available on OCI 1. 20c云端上线     February 14, 2020  Version 20.2.0     May 14, 2020 Version 20.3.0 2. 20c区块链表     区块链技术使用Hash加密技术，将记录连接在一起。      Oracle 20c中作为数据库产品的一部分，无需额外安装     只允许插入操作， 区块链上的参与者都可以对链上数据进行验证     create blockchain table ssn_records     (bank varchar2(128), deposit_date date, deposit_amout number)     no drop unitl 31 days idle       --- day min = 16     no delete locked     hashing using "sha2_512" version 'v1"     partition by range(deposit_date)     (     partition p1 values less than (to_date('2020/01/01','yyyy/mm/dd')),     partition p2 values less than (to_date('2021/01/01','yyyy/mm/dd'))     ); 3. 20c In-Memory增强     基于Oracle 向量连接      inmemory_automatic_level  [HIGH, middle, low], 根据数据被访问的热度，进行对象压缩，调整     混合扫描， buff...
Post a Comment
Read more

Oracle OCI Architect Associate Workshop

-
Identity and Access Management (IAM) --IAM Policies --IAM compartment --Policy Inheritance and Attachment --IAM-Tags Virtual Cloud Network(VCN) --CIDR --Intro VCN --Routing and Gateway --Peering --Security VCN --DNS Connectivity - VPN Connect & FastConnect --Conectivity to On-Premises Networks --VPN Connect --FastConnect Load Balancer --Public, Private --Primary, Standby Compute --Compute Intro --Images --Boot Volumne --Autoscalling --Instance Metadata and lifecycle OCI Storage Services       Type, Durability, Capacity, Unit Size, Use cases --Local NVMe --Block Volume --File Storage --Object Storage --Archive Storage Oracle Database on OCI --OCI Databasse services       Bring your won license, OCI paltform integration, Security, Storage, Scaling,  RAC/ADG --VM Database System --Bare Metal DB system  --Exadata DB systems       All benefits of Public Cloud, full Oracle DB with advanced options --Database Editions     ...
Post a Comment
Read more

Oracle Log Analytics Cloud Service

-
#####LACS日志采集方式#####                      通过安装Cloud Agent           通过Log server/Duplicated server/syslog           手动上传， LACS客户端命令行 Customer Proxy #####技术点一览##### 解析器：从非结构化日志中获取有用信息并结构化，内容转换成Key-Value                 引导式的解析日志，正则表达式                 开箱即用的解析工具                            Oracle ebusiness, Database, Middleware                        Non-Oracle (SAP, Apache, DB2, MS-SQL, NetApp, Juniper)                       手工书写 日志源：目标/主机上目录位置                 关联目标和日志源，将日志与实体（对象）项相关联                 有利于从应用application 角度分析日志 人工上传： 命令行，交互式， UI   ...
Post a Comment
Read more

Oracle and IoT

-
传统意义上的基础设施主要是公路、铁路、桥梁、隧道、机场、港口、电网、供水等设施， “新型基础设施”则包含 5G网络 、 物联网 、 特高压，城际铁路，工业联网， 数据中心等数字化设施                新基建分为三类，分别是通信网络及 高性能计算 、应用 大数据 等技术的传统基础设施、支撑科研创新的设施。 高捕获率工作负载案例： SK Telecom，纽约股票交易所。。。 NoSQL vs Oracle 优化设计，配置，性能优于NoSQL Database 主要需求： 可扩展，灵活性，实时分析。 --------------快速加载------------------ Oracle RAC， Sharding 使用Oracle bigfile 表空间。 使用autoallocate扩展管理， 注意在表上指定较大的扩展大小，防止等待事件 enq：HW 单行插入 vs 数组插入， 允许通过数据库API使用单个语句插入多行，适用于所有编程语言，降低redo生成和CPU需求，减少网络通信量，每个绘画 18000/s 禁用表级锁定，防止DDL命令 使用异步提交 Oracle Direct Path Loads + 外部表， 采用分区扩展语法防止表级锁 外部临时文件的位置，格式可能会对加载效率有很大影响。单字节分隔符。。。 数据压缩。 IoT的特点： 一次捕获，数据很少改变，包含大量重复的值        compress for direct_load operations        compress for all operations        DMLcompress for [query|archive] [high|low] Memoptimized Rowstore: 快速捕获支持         DBMS_MEMOPTIMIZE， 直接写入内存，需要application确认数据装载一致性和完整性 alter table meter_readings memeoptimize for wri...
Post a Comment
Read more