mongoexport帶過(guò)濾條件導(dǎo)出

IT那活兒發(fā)布于2023-01-11 13:20 / 3450人閱讀

點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

mongodb數(shù)據(jù)庫(kù)

mongodb跟其他數(shù)據(jù)庫(kù)產(chǎn)品一樣，提供了數(shù)據(jù)導(dǎo)出工具，包含導(dǎo)出bson文件的mongodump和導(dǎo)出json/csv的mongoexport，并且都支持帶過(guò)濾條件導(dǎo)出數(shù)據(jù)。

CSV數(shù)據(jù)報(bào)錯(cuò)

某日，接客戶反饋使用Mongoexport導(dǎo)出CSV數(shù)據(jù)報(bào)錯(cuò)，如下圖：

導(dǎo)出命令是：

mongoexport -u root --authenticationDatabase=admin -d c***prod -c Vr***foDO --type=csv -f 
contentId,to**me,createdTim,t**idDa -q {$and:[{ $or: [ {contentId:{ $regex:/^6009266/}}, {contentId:{ 
$regex:/^6009261/}} ]} ,{createdTime : {$gte : new 
Date(1610553655000)}} ]}  -o /home/mongo/t**id_20220210.csv

看到報(bào)錯(cuò)信息，我首先想到的就是查詢子句寫錯(cuò)了，但是當(dāng)我將子查詢放到數(shù)據(jù)庫(kù)里面查詢時(shí)并沒(méi)有報(bào)錯(cuò)。

此時(shí)，我一臉懵逼，仔細(xì)檢查了符號(hào)之類的也沒(méi)有問(wèn)題。問(wèn)了度娘，基本上所有的說(shuō)法都是什么加雙引號(hào)轉(zhuǎn)義之類的，一一嘗試之后報(bào)錯(cuò)依舊。

通過(guò)仔細(xì)查詢官方文檔，發(fā)現(xiàn)如下提示：

Extend JSON是什么鬼？為什么以前使用query條件導(dǎo)出時(shí)沒(méi)有報(bào)錯(cuò)呢？？接著往下看。

如下圖所述，從4.2版開(kāi)始，mongoexport等工具必須遵循Extended JSON 2.0。

當(dāng)前我們操作的數(shù)據(jù)庫(kù)版本確實(shí)是新裝不久的4.2版，所以子查詢必須是要經(jīng)擴(kuò)展JSON。

什么是擴(kuò)展JSON

Extend JSON包含規(guī)范擴(kuò)展JSON和寬松擴(kuò)展JSON兩種格式，但是不論哪種格式，JSON文檔中的所有字符串都應(yīng)有雙引號(hào)，而Mongodb的增刪改查的格式也是個(gè)json，所以也應(yīng)用雙引號(hào)包起來(lái)。
在規(guī)范的擴(kuò)展JSON中，每一個(gè)數(shù)值都必須包含其字段類型，如時(shí)間數(shù)據(jù)必須是{"$date": {"$numberLong": "1610553655000"}}，長(zhǎng)整型數(shù)據(jù) {"$numberLong": 50}。

下圖摘自官方文檔

是擴(kuò)展JSON兩種格式各類型數(shù)據(jù)的數(shù)據(jù)格式：

所以，綜上分析，修改本例導(dǎo)出命令的子查詢?yōu)椋?/span>

{"$and":[{ "$or": [ {"contentId":{ "$regex":"^6009266"}}, 
{"contentId":{ "$regex":"^6009261"}} ]},{"createdTime" : 
{"$gte" : {"$date": {"$numberLong": "1610553655000"}}}} ]}