1、AWT緩存組

AWT緩存組是TimesTen的異步寫緩存，數(shù)據(jù)只允許在TimesTen中修改，然后同步到Oracle。當(dāng)然，TimesTen中的數(shù)據(jù)最初是從Oracle加載而來。對(duì)于存儲(chǔ)來說，cache分為write-through（直接寫）和write-back（回寫），而TimesTen的AWT對(duì)應(yīng)的就是存儲(chǔ)的write-back。由于有雙向的數(shù)據(jù)流動(dòng)，對(duì)于AWT，除了只讀緩存組所需的cacheagent外，還需要一個(gè)replicationagent，負(fù)責(zé)數(shù)據(jù)從TimesTen到Oracle的同步。使用AWT緩存的好處除了性能外，還可以保證當(dāng)后端Oracle失效時(shí)，TimesTen仍可以接收和修改數(shù)據(jù)，保證數(shù)據(jù)不丟失，待Oracle正常后，數(shù)據(jù)自動(dòng)同步到后端。

AWT緩存組可以保證：

1.不會(huì)因?yàn)镺racle失效而丟數(shù)據(jù)，且可以通過復(fù)制代理replicationagent自動(dòng)恢復(fù)。

2.不會(huì)因復(fù)制代理replicationagent失效而丟數(shù)據(jù)，自動(dòng)恢復(fù)。

3.保證數(shù)據(jù)的一致性。

AWT緩存組數(shù)據(jù)流向圖

2、ClassicReplication(傳統(tǒng)復(fù)制)

當(dāng)前應(yīng)用的TimesTen內(nèi)存庫(kù)的復(fù)制方式為ClassicReplication。Replication就是在多個(gè)數(shù)據(jù)庫(kù)中存在多份數(shù)據(jù)拷貝，對(duì)性能影響最小的同時(shí)保證數(shù)據(jù)高可用，除了數(shù)據(jù)恢復(fù)外，還可以均衡工作負(fù)載，以最大化性能和實(shí)現(xiàn)滾動(dòng)升級(jí)和維護(hù)。它的特點(diǎn)是比較靈活，支持豐富的復(fù)制拓?fù)湫问剑梢岳秒p活復(fù)制實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的橫向擴(kuò)展，利用一對(duì)多復(fù)制實(shí)現(xiàn)數(shù)據(jù)分發(fā)和讀寫分離等。

對(duì)TimesTen的AWT核心緩存組的誤操作進(jìn)行恢復(fù)

2.1故障現(xiàn)象

（1）運(yùn)維人員和應(yīng)用人員收到告警通知，包括日志告警、服務(wù)告警、內(nèi)存使用率告警

（2）用戶查余額異常，日志積壓嚴(yán)重且長(zhǎng)時(shí)間刷不掉

2.2故障分析

（1）后因客戶通報(bào)，操作人員在AWT緩存組上進(jìn)行了delete全表刪除誤操作，該表接近1000萬的數(shù)據(jù)量。由于是AWT緩存組，刪除操作會(huì)同步到物理庫(kù)，直接導(dǎo)致嚴(yán)重的數(shù)據(jù)丟失。

（2）kill掉delete進(jìn)程后，日志積壓的問題仍未緩解

（3）急停replicationagent，切斷AWT緩存組到Oracle的數(shù)據(jù)同步

（4）經(jīng)各方討論，原因應(yīng)該是delete操作已經(jīng)寫入了TimesTen的日志記錄，timesten是通過日志的方式將數(shù)據(jù)同步到Oracle，日志是自動(dòng)排序的且是按順序進(jìn)行同步處理的，因replicationagent已停，日志就不能自動(dòng)同步。因此陷入死循環(huán)：若停止replicationagent，日志會(huì)積壓，數(shù)據(jù)不能同步；若開啟replicationagent，delete操作會(huì)同步到oracle造成數(shù)據(jù)丟失。

2.3故障處理

第一階段：主庫(kù)恢復(fù)

1、備份物理庫(kù)中的相關(guān)表數(shù)據(jù)，同時(shí)備份TT中異常緩存組的數(shù)據(jù)(TT中備份語句如下)
如：ttbulkcp-o -s "|" "DSN=ABM_BAL_WH"ABM1_BAL_WH.ACCT_BALANCE_T ACCT_BALANCE_T.txt

2、停相關(guān)應(yīng)用或應(yīng)用切離線

3、刪除TT庫(kù)中異常緩存組的復(fù)制關(guān)系
如：ALTERREPLICATION ABM_BAL_wh.biwholestore ALTER element abm1_abm2 EXCLUDEcache group ABM1_BAL1.WH_ACCT_BALANCE_C ALTER ELEMENT abm2_abm1EXCLUDE cache group ABM1_BAL1.WH_ACCT_BALANCE_C;

4、刪除異常緩存組
如：dropcache group ABM1_BAL1.WH_ACCT_BALANCE_C;

5、由于物理庫(kù)中對(duì)應(yīng)表的object_id已經(jīng)記錄在Timesten的日志文件中，重建緩存組不會(huì)改變object_id，delete操作仍會(huì)通過日志文件同步到oracle，所以在重建緩存組之前需要刷新物理庫(kù)中對(duì)應(yīng)表的object_id（已踩坑，這點(diǎn)很關(guān)鍵）

6、啟動(dòng)replicationagent
如：ttadmin-repstart ABM_BAL_WH

7、重建AWT緩存組

createasynchronous writethrough cache group ABM1_BAL1.WH_ACCT_BALANCE_C

fromABM1_BAL_WH.ACCT_BALANCE_T ……

8、從物理庫(kù)中重新載入數(shù)據(jù)到TT
如：loadcache group ABM1_BAL1.WH_ACCT_BALANCE_C_NEW commit every 2000 rowsparallel 8;

9、將新建的緩存組加入到復(fù)制關(guān)系中(加入前需停止復(fù)制代理，加入后需啟動(dòng)復(fù)制代理)
如：callttrepstop;

ALTERREPLICATION ABM_BAL_WH.BIWHOLESTORE ALTER element abm1_abm2 includecache group WH_ACCT_BALANCE_C_NEW ALTER ELEMENT abm2_abm1 includecache group WH_ACCT_BALANCE_C_NEW;

callttrepstart;

10、驗(yàn)證TT庫(kù)是否正常，并檢查TT日志是否正常
如：callttbookmark;

callttlogholds;

11、重啟相關(guān)應(yīng)用并驗(yàn)證是否正常

第二階段：重建備庫(kù)

因主備TT庫(kù)已存在數(shù)據(jù)差異，備庫(kù)數(shù)據(jù)已無用，應(yīng)重建備庫(kù)

1、停應(yīng)用，不停TT監(jiān)聽，可能存在其他TT庫(kù)也在用同一個(gè)監(jiān)聽
2、注釋crontab，避免重建過程中出現(xiàn)異常報(bào)錯(cuò)
如：crontab-e
3、停復(fù)制代理和緩存代理
如：ttadmin-repstop ABM_BAL_WH
  ttadmin-cachestop ABM_BAL_WH
5、從內(nèi)存中卸載datastore

如：ttadmin-ramunload ABM_BAL_WH
6、刪除datastore
如：ttdestroy-force ABM_BAL_WH
7、重建備庫(kù)(應(yīng)確保主庫(kù)復(fù)制代理已開啟)
如：nohupttrepadmin -duplicate -from ABM_BAL_WH -host bossabm2 -UID abm1_bal1-PWD oInc5d46 -setMasterRepStart -ramLoad -compression 0 -verbosity 2-keepCG -cacheUid abm1_bal1 -cachePwd oInc5d46 -localhost bossabm1-connStr "dsn=ABM_BAL_WH" &
8、修改內(nèi)存策略為manual
如：ttadmin-query ABM_BAL_WH

ttadmin-rampolicy manual ABM_BAL_WH
9、啟動(dòng)復(fù)制代理和緩存代理
如：ttadmin-repstart ABM_BAL_WH
  ttadmin-cachestart ABM_BAL_WH
10、檢查主備庫(kù)是否正常，并檢查TT日志是否正常
如：callttbookmark;

callttlogholds;
11、檢查應(yīng)用是否正常

1、需對(duì)在TT庫(kù)上的操作進(jìn)行評(píng)審把控，特別是delete、drop、load、unload、refresh等操作應(yīng)提前準(zhǔn)備腳本待評(píng)審?fù)ㄟ^后再操作

2、研究針對(duì)在TT庫(kù)中操作語句的監(jiān)控

3、針對(duì)核心表縮短監(jiān)控的刷新時(shí)間間隔，有10分鐘縮短至5分鐘