亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

OGG普通抽取模式轉(zhuǎn)換成集成模式遇到的坑

IT那活兒 / 2533人閱讀
OGG普通抽取模式轉(zhuǎn)換成集成模式遇到的坑
點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！
一

問題背景

大數(shù)據(jù)平臺(tái)需要通過配置OGG抽取進(jìn)程，對數(shù)據(jù)庫中壓縮表進(jìn)行抽取投遞，因?yàn)樵寂渲玫腛GG抽取進(jìn)程是普通抽取模式，而普通抽取模式無法針對壓縮表進(jìn)行抽取，需要升級(jí)OGG抽取模式從普通模式升級(jí)到集成捕捉模式，因生產(chǎn)環(huán)境按照標(biāo)準(zhǔn)設(shè)定的連接數(shù)是2000，當(dāng)前固定的連接數(shù)一直維持在1800。

1）環(huán)境介紹

  • 數(shù)據(jù)庫版本：11.2.0.4
  • 操作系統(tǒng)內(nèi)核版本：Red Hat Enterprise Linux Server release 6.10 (Santiago)

  • 數(shù)據(jù)庫架構(gòu)：11G R2單實(shí)例數(shù)據(jù)庫

2）環(huán)境依賴

  • 測試環(huán)境
    數(shù)據(jù)庫版本：11.2.0.4  oracle數(shù)據(jù)庫
    OGG版本：12.1.2.1.10

    （此版本支持集成模式，可以抽取壓縮表，版本太低無法完成壓縮表的抽?。?/span>

  • 生產(chǎn)環(huán)境
    數(shù)據(jù)庫版本：11.2.0.4  oracle數(shù)據(jù)庫
    OGG版本：12.1.2.1.10
二

實(shí)際升級(jí)步驟

2.1 源環(huán)境現(xiàn)狀

源環(huán)境有兩組進(jìn)程，一組是普通的抽取模式，一種是集成抽取模式。
因?yàn)镵AFKA進(jìn)程依賴的抽取數(shù)據(jù)和源進(jìn)程有沖突，因此新建了針對多帶帶特定表的抽取投遞進(jìn)程，普通抽取進(jìn)程（Log Read Checkpoint  Oracle Redo Logs），集成模式抽取進(jìn)程（Log Read Checkpoint  Oracle Integrated Redo Logs）。
集成模式依賴LogMiner的抽取進(jìn)程：

2.2 測試環(huán)境模擬驗(yàn)證

測試環(huán)境模式生產(chǎn),兩個(gè)抽取進(jìn)程一個(gè)普通模式，一個(gè)集成模式,可以看到普通模式不會(huì)在數(shù)據(jù)庫中注冊進(jìn)程，不會(huì)占用數(shù)據(jù)庫進(jìn)程數(shù)。
見下圖可以看到集成模式會(huì)在數(shù)據(jù)庫中注冊捕獲進(jìn)程，而普通模式不會(huì)，同時(shí)啟動(dòng)集成模式會(huì)占用數(shù)據(jù)庫連接數(shù)15個(gè)。
2.3 升級(jí)集成模式

2.3.1 升級(jí)抽取進(jìn)程

1）注冊抽取進(jìn)程
stop EXT_KFK
register EXTRACT EXT_KFK database
2）啟動(dòng)抽取進(jìn)程確保抽取點(diǎn)在注冊進(jìn)程之后，否則無法升級(jí)
start EXT_KFK
info EXT_KFK
3）升級(jí)抽取進(jìn)程為集成模式
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
alter extract EXT_KFK ,downgrade tranlog

2.3.2 查看進(jìn)程

可以看到新增抽取進(jìn)程，數(shù)據(jù)庫會(huì)新增15條左右的連接數(shù)，需要確保連接數(shù)足夠，整體看連接數(shù)是充足的，整個(gè)升級(jí)過程中未預(yù)見超出預(yù)期的情況。

2.4 正式環(huán)境開始實(shí)施

stop EXT_KFK
register EXTRACT EXT_KFK database
start EXT_KFK
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
同樣的操作，當(dāng)執(zhí)行upgrade后：

1）數(shù)據(jù)庫連接數(shù)飆升

2）OGG 報(bào)ORA-01372錯(cuò)誤

ORA-01372: 用于指定 LogMiner 操作的進(jìn)程數(shù)不足。

3）數(shù)據(jù)庫alter報(bào)連接數(shù)超限進(jìn)程未再次分配

2.5 回退

因連接限制升級(jí)并非成功，緊急回退：unregister EXTRACT EXT_KFK database。
由于此操作是下班時(shí)間做，系統(tǒng)使用的人少，進(jìn)程超限后未再次分配，使得還有幾個(gè)空閑連接，緊急回退后連接數(shù)告警消除。
三

升級(jí)解決方案

此庫為1核128G單實(shí)例節(jié)點(diǎn)，DOP=128，由于OGG配置4路并發(fā)導(dǎo)致啟動(dòng)升級(jí)后系統(tǒng)會(huì)形成4*128個(gè)并行進(jìn)程去收集統(tǒng)計(jì)信息。
單實(shí)例數(shù)據(jù)：
ogg并發(fā)配置：

  • 1）增大process值（需要重啟數(shù)據(jù)庫）

    alter system set processes=3000 scope=spfile;

  • 2）調(diào)整parallelism為1

    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 4)  調(diào)整為
    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 1)；

  • 3）調(diào)整并行度參數(shù)

    調(diào)整parallel_degree_limit,parallel_threads_per_cpu, cpu_count, or parallel_max_servers參數(shù)來限制并行度。


本文作者：朱澤劍(上海新炬中北團(tuán)隊(duì)）

本文來源：“IT那活兒”公眾號(hào)

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/129128.html

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<