亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

Ogg For Bigdata 同步數(shù)據(jù)多一列

IT那活兒 / 1114人閱讀
Ogg For Bigdata 同步數(shù)據(jù)多一列

點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

最近業(yè)務(wù)反饋kafka解析出的sql語句多一列，對比表字段后發(fā)現(xiàn)果然多一列，并且多的這一列在倒數(shù)第三行且是0。該數(shù)據(jù)源是ogg for bigdata。在復(fù)制進程的report 文件中發(fā)現(xiàn)了端倪。

源端表結(jié)構(gòu)是沒有這一列的。由于是往kafka同步，附加日志添加的是全字段。在向公司老哥說明情況后，發(fā)現(xiàn)與跨年見表期間一個現(xiàn)象很類似。根據(jù)當(dāng)時的mos發(fā)現(xiàn)了問題所在。

下面的例子證明了這一點：
--創(chuàng)建這個表，但是先不創(chuàng)建 DEAL_TYPE 列。
SQL> CREATE TABLE "TEST"
( "MIDPLATORDERID" VARCHAR2(64) NOT NULL ENABLE,
"OPPOORDERID" VARCHAR2(64) NOT NULL ENABLE,
"SERVICETYPE" VARCHAR2(2) NOT NULL ENABLE,
"PHONEID" VARCHAR2(20) NOT NULL ENABLE,
"REGION" VARCHAR2(3) NOT NULL ENABLE,
"PRODUCTID" VARCHAR2(32) NOT NULL ENABLE,
"PRODUCTNAME" VARCHAR2(128) NOT NULL ENABLE,
"PRODUCTNAMEANDFEE" VARCHAR2(128) NOT NULL ENABLE,
"FEECOURSE" VARCHAR2(128),
"ORIGINFEE" VARCHAR2(9) NOT NULL ENABLE,
"PREFEE" VARCHAR2(9) NOT NULL ENABLE,
"TOTALFEE" VARCHAR2(9) NOT NULL ENABLE,
"COSTUNIT" VARCHAR2(2) NOT NULL ENABLE,
"ORDERTIME" DATE NOT NULL ENABLE,
"REQUESTTIME" DATE NOT NULL ENABLE,
"PROORDERID" VARCHAR2(32) NOT NULL ENABLE,
"REALFEE" VARCHAR2(9) NOT NULL ENABLE,
"DEDUCTTIME" DATE NOT NULL ENABLE,
"STATUS" VARCHAR2(2) NOT NULL ENABLE
) ;
--可以看到有19個列被創(chuàng)建出來了：
SQL> select column_name,data_type,DATA_LENGTH from user_tab_cols where table_name = TEST;

COLUMN_NAME DATA_TYPE DATA_LENGTH
------------------------- -------------------- -----------
MIDPLATORDERID VARCHAR2 64
OPPOORDERID VARCHAR2 64
SERVICETYPE VARCHAR2 2
PHONEID VARCHAR2 20
REGION VARCHAR2 3
PRODUCTID VARCHAR2 32
PRODUCTNAME VARCHAR2 128
PRODUCTNAMEANDFEE VARCHAR2 128
FEECOURSE VARCHAR2 128
ORIGINFEE VARCHAR2 9
PREFEE VARCHAR2 9
TOTALFEE VARCHAR2 9
COSTUNIT VARCHAR2 2
ORDERTIME DATE 7
REQUESTTIME DATE 7
PROORDERID VARCHAR2 32
REALFEE VARCHAR2 9
DEDUCTTIME DATE 7
STATUS VARCHAR2 2

19 rows selected.
--添加一個帶 default value 的 列 DEAL_TYPE：
SQL> ALTER TABLE TEST ADD (DEAL_TYPE VARCHAR2(1) DEFAULT 0);

Table altered.
--這之后可以看到 user_tab_cols / dba_tab_cols 顯示了 21 個列，并且包括一個 SYS_NC000XX$ 的列：
SQL> select column_name,data_type,DATA_LENGTH from user_tab_cols where table_name = TEST;

COLUMN_NAME DATA_TYPE DATA_LENGTH
------------------------- -------------------- -----------
MIDPLATORDERID VARCHAR2 64
OPPOORDERID VARCHAR2 64
SERVICETYPE VARCHAR2 2
PHONEID VARCHAR2 20
REGION VARCHAR2 3
PRODUCTID VARCHAR2 32
PRODUCTNAME VARCHAR2 128
PRODUCTNAMEANDFEE VARCHAR2 128
FEECOURSE VARCHAR2 128
ORIGINFEE VARCHAR2 9
PREFEE VARCHAR2 9
TOTALFEE VARCHAR2 9
COSTUNIT VARCHAR2 2
ORDERTIME DATE 7
REQUESTTIME DATE 7
PROORDERID VARCHAR2 32
REALFEE VARCHAR2 9
DEDUCTTIME DATE 7
STATUS VARCHAR2 2
SYS_NC00020$ RAW 126 <===============
DEAL_TYPE VARCHAR2 1

21 rows selected.
知道了問題所在后，解決方法很簡單，只要在源端抓取數(shù)據(jù)的時候，指定具體的列名稱。
如：
TABLE test.test ,cols(col1,col3);



本文作者：呂金臣(上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/129188.html

相關(guān)文章

  • OGG Integrated Native DDL簡單測試

    OGG Integrated Native DDL簡單測試 img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%;...

    IT那活兒 評論0 收藏1085

  • Hive的安裝及配置

    摘要：本文將逐一介紹連接這三種數(shù)據(jù)庫數(shù)據(jù)庫的安裝和配置。配置環(huán)境變量在文件中添加如下內(nèi)容，執(zhí)行使其生效。 title: Hive的安裝及配置summary: 關(guān)鍵詞：Hive ubuntu 安裝和配置 Derby MySQL PostgreSQL 數(shù)據(jù)庫連接date: 2019-5-19 13:25urlname: 2019051903author: foochaneimg: /media...

    v1 評論0 收藏0

  • Hadoop分布式集群的搭建

    摘要：分布式集群的搭建關(guān)鍵詞分布式集群環(huán)境搭建網(wǎng)絡(luò)配置環(huán)境大數(shù)據(jù)大數(shù)據(jù)本文作者本文鏈接安裝說明用到的軟件軟件版本下載地址節(jié)點安排名稱主節(jié)點子節(jié)點子節(jié)點創(chuàng)建用戶所有的節(jié)點均創(chuàng)建一個名為的用戶，并添加管理員權(quán)限。后續(xù)的軟件均可使用此方式配置。 title: Hadoop分布式集群的搭建summary: 關(guān)鍵詞： Hadoop ubuntu 分布式集群 環(huán)境搭建 ssh 網(wǎng)絡(luò)配置 java環(huán)境 ...

    leon 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<