【架構(gòu)學(xué)習(xí)】大數(shù)據(jù)在線比賽平臺架構(gòu)設(shè)計(jì)

ThinkSNS 發(fā)布于2019-07-01 17:25 / 3458人閱讀

摘要：實(shí)現(xiàn)架構(gòu)基于這些調(diào)查以及一些小的編寫，設(shè)計(jì)出一個(gè)可定制化的在線比賽平臺的架構(gòu)在中我使用的是，所以這里的持久卷是的持久化卷，用來管理用戶數(shù)據(jù)集和上傳和訪問。在管理的同時(shí)，也作為代理服務(wù)，可以直接把的內(nèi)容返回給在線比賽平臺。

背景
最近使用科賽發(fā)現(xiàn)這個(gè)和jupyter長的差不多的在線比賽平臺非常有趣，用戶可以上傳自己的數(shù)據(jù)，創(chuàng)建自己的項(xiàng)目并且可以使用交互式的筆記本，支持實(shí)時(shí)代碼，數(shù)學(xué)方程，可視化和markdonw。讓人不經(jīng)思考它是如何把jupyter集成和擴(kuò)展的這么好的，使用的什么樣的架構(gòu)。

隨后，我調(diào)查了相關(guān)技術(shù)。首先是jupyter-notebook, 一款本地的ipython的筆記本，以及如何擴(kuò)展插件。然后就是Jupyter-hub, 管理多用戶-筆記本的服務(wù)。

實(shí)現(xiàn)架構(gòu)
基于這些調(diào)查以及一些小demo的編寫，設(shè)計(jì)出一個(gè)可定制化的在線比賽平臺的架構(gòu)：

在demo中我使用的是kubespawner，所以這里的持久卷是k8s的持久化卷，用來管理用戶數(shù)據(jù)集和上傳和訪問。
jupyter-hub在管理notebook的同時(shí)，也作為代理服務(wù)，可以直接把jupyter-notebook的內(nèi)容返回給在線比賽平臺。

USDP大數(shù)據(jù)平臺托管Hadoop集群大數(shù)據(jù)架構(gòu)設(shè)計(jì) 大數(shù)據(jù)架構(gòu)與設(shè)計(jì) 大數(shù)據(jù)架構(gòu)學(xué)習(xí) 大數(shù)據(jù)平臺架構(gòu)

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/33015.html

相關(guān)文章

【架構(gòu)學(xué)習(xí)】大數(shù)據(jù)在線比賽平臺架構(gòu)設(shè)計(jì)

摘要：實(shí)現(xiàn)架構(gòu)基于這些調(diào)查以及一些小的編寫，設(shè)計(jì)出一個(gè)可定制化的在線比賽平臺的架構(gòu)在中我使用的是，所以這里的持久卷是的持久化卷，用來管理用戶數(shù)據(jù)集和上傳和訪問。在管理的同時(shí)，也作為代理服務(wù)，可以直接把的內(nèi)容返回給在線比賽平臺。背景最近使用科賽發(fā)現(xiàn)這個(gè)和jupyter長的差不多的在線比賽平臺非常有趣，用戶可以上傳自己的數(shù)據(jù)，創(chuàng)建自己的項(xiàng)目并且可以使用交互式的筆記本，支持實(shí)時(shí)代碼，數(shù)學(xué)方程，...

chaosx110 2019-07-31 11:01 評論0 收藏0
當(dāng)S8遇上邊緣計(jì)算：談阿里云ENS對直播業(yè)務(wù)場景的支撐

摘要：阿里云推出的邊緣節(jié)點(diǎn)服務(wù)這個(gè)云產(chǎn)品，就是針對前面提到的目標(biāo)場景，來應(yīng)對客戶自建邊緣設(shè)施遇到的痛點(diǎn)和挑戰(zhàn)的。針對賽事直播業(yè)務(wù)場景的優(yōu)化阿里云團(tuán)隊(duì)針對常規(guī)活動賽事電競直播這一業(yè)務(wù)場景，也做了很多技術(shù)優(yōu)化。近日，英雄聯(lián)盟S8全球總決賽落下帷幕，中國戰(zhàn)隊(duì)IG零封FNC奪得冠軍。這場比賽引起了國內(nèi)網(wǎng)友的超高關(guān)注度，也給直播平臺帶來了不小的技術(shù)挑戰(zhàn)。虎牙直播平臺結(jié)合阿里云邊緣節(jié)點(diǎn)技術(shù)方案，保障了...

lily_wang 2019-06-21 16:51 評論0 收藏0
專訪 | Angel團(tuán)隊(duì)負(fù)責(zé)人黃明：歷時(shí)半年，騰訊Angel為了開源都經(jīng)歷了些什么？

摘要：詳見騰訊正式版發(fā)布基于與的機(jī)器學(xué)習(xí)高性能計(jì)算平臺在談及新一代平臺時(shí)，黃明表示，是此次平臺升級的一大亮點(diǎn)，而只是生態(tài)圈的第一個(gè)成員。對此，黃明表示，在的開發(fā)過程中，我們一直都是在同和對標(biāo)性能。機(jī)器之心原創(chuàng) 作者：高靜宜 2017 年 6 月 16 日，騰訊新一代高性能計(jì)算平臺 Angel 在 Github 上低調(diào)開源。開源兩周，這個(gè)項(xiàng)目在 Github 上持續(xù)得到關(guān)注，截至目前為止，已...

William_Sang 2019-08-20 17:40 評論0 收藏0
道器相融，由Angel論一個(gè)優(yōu)秀機(jī)器學(xué)習(xí)平臺的自我修養(yǎng)

摘要：而道器相融，在我看來，那煉丹就需要一個(gè)好的丹爐了，也就是一個(gè)優(yōu)秀的機(jī)器學(xué)習(xí)平臺。因此，一個(gè)機(jī)器學(xué)習(xí)平臺要取得成功，最好具備如下五個(gè)特點(diǎn)精辟的核心抽象一個(gè)機(jī)器學(xué)習(xí)平臺，必須有其靈魂，也就是它的核心抽象。 *本文首發(fā)于 AI前線，歡迎轉(zhuǎn)載，并請注明出處。摘要 2017年6月，騰訊正式開源面向機(jī)器學(xué)習(xí)的第三代高性能計(jì)算平臺 Angel，在GitHub上備受關(guān)注；2017年10月19日，騰...

leo108 2019-06-26 18:16 評論0 收藏0