欧美亚洲韩国_av电影院在线看_久久久久97_台湾佬中文娱乐网欧美电影

站長資訊網(wǎng)
最全最豐富的資訊網(wǎng)站

中國信通院郭亮:數(shù)據(jù)中心發(fā)展綜述

0  引言

當(dāng)前,全球數(shù)字經(jīng)濟(jì)高速發(fā)展,加速推進(jìn)。在線辦公、智能駕駛等智能化數(shù)字應(yīng)用不斷涌現(xiàn),極大地推動了生產(chǎn)力向前發(fā)展,提升了社會總體生產(chǎn)效率。數(shù)字應(yīng)用場景的落地離不開算力的支撐,是融合計(jì)算、存儲和網(wǎng)絡(luò)能力,對外提供高性能算力的核心載體,也是承載各類信息技術(shù)應(yīng)用,推動數(shù)字經(jīng)濟(jì)發(fā)展的重要底座[1]。美日歐等世界主要國家和地區(qū)均在加速推動數(shù)據(jù)中心建設(shè),通過政策引領(lǐng)、資金扶持等手段促進(jìn)算力產(chǎn)業(yè)發(fā)展。如圖1所示,截至2021年年底,全球算力總規(guī)模達(dá)到521 EFLOPS(FP32),美、中、日、德、英算力規(guī)模位居世界前列,分別占比31%、27%、5%、4%、3%[2]。筆者重點(diǎn)對數(shù)據(jù)中心算力布局、算力類型、算力網(wǎng)絡(luò)、算力運(yùn)維、算力調(diào)度、綠色低碳和算力賦能等方面進(jìn)行分析和研究,以期為算力技術(shù)與產(chǎn)業(yè)發(fā)展提供借鑒。

中國信通院郭亮:數(shù)據(jù)中心發(fā)展綜述圖1   2021年全球算力規(guī)模情況

1  發(fā)展現(xiàn)狀

1.1  我國整體情況近年來,我國數(shù)據(jù)中心機(jī)架規(guī)模快速增長。中國信息通信研究院統(tǒng)計(jì)數(shù)據(jù)顯示,截至2022年年底,我國在用數(shù)據(jù)中心機(jī)架總規(guī)模超過650 萬標(biāo)準(zhǔn)機(jī)架,算力總規(guī)模為180 EFLOPS(FP32),近五年年均增速超過30%,算力規(guī)模排名全球第二。

長期以來,我國數(shù)據(jù)中心呈現(xiàn)東密西疏、東多西少的布局特點(diǎn)。我國東部地區(qū)轉(zhuǎn)型進(jìn)程較快,數(shù)字經(jīng)濟(jì)發(fā)展水平較高;而西部地區(qū)數(shù)字化轉(zhuǎn)型進(jìn)程相對緩慢,算力需求相對較低。從省市數(shù)據(jù)來看,江蘇、上海、廣東、河北算力規(guī)模較高,均超過10 EFLOPS(FP32)。北京、浙江、貴州、山東、內(nèi)蒙古算力規(guī)模處于第二梯隊(duì),均超過5 EFLOPS(FP32)[3]。在數(shù)據(jù)中心總體規(guī)模增長的同時(shí),我國數(shù)據(jù)中心行業(yè)市場收入也在不斷提升。2022年,我國數(shù)據(jù)中心行業(yè)市場收入近2 000 億元,近三年年均復(fù)合增長率達(dá)到30.69%[4]。未來,隨著我國各地區(qū)、各行業(yè)數(shù)字化轉(zhuǎn)型的深入推進(jìn),數(shù)據(jù)中心市場有望持續(xù)保持增長態(tài)勢。

1.2  各樞紐情況“東數(shù)西算”工程通過設(shè)立八大樞紐節(jié)點(diǎn)和十大引導(dǎo)我國數(shù)據(jù)中心產(chǎn)業(yè)均衡布局、協(xié)同一體發(fā)展。樞紐節(jié)點(diǎn)的選取過程充分考察了各地區(qū)資源、能源、氣候等地理自然因素以及各地區(qū)算力需求狀況,在此基礎(chǔ)上確立了京津冀、長三角、粵港澳大灣區(qū)、成渝、貴州、內(nèi)蒙古、甘肅、寧夏八大樞紐節(jié)點(diǎn)。其中,京津冀、長三角、粵港澳大灣區(qū)、成渝樞紐節(jié)點(diǎn)的數(shù)字化轉(zhuǎn)型程度較高,算力需求旺盛,數(shù)據(jù)中心可重點(diǎn)支撐工業(yè)互聯(lián)網(wǎng)、金融證券、災(zāi)害預(yù)警等高頻實(shí)時(shí)交互的業(yè)務(wù)需求;貴州、內(nèi)蒙古、甘肅、寧夏等西部節(jié)點(diǎn)自然資源充沛、氣候適宜,適合開展數(shù)據(jù)中心的綠色低碳化建設(shè),可重點(diǎn)承接全國范圍的渲染加工、離線分析、存儲備份等非實(shí)時(shí)算力需求。

目前,八大樞紐均在積極推動數(shù)據(jù)中心相關(guān)項(xiàng)目落地,并構(gòu)建完善的算力產(chǎn)業(yè)生態(tài),全面提升本地區(qū)算力服務(wù)水平。具體來看,長三角樞紐蕪湖集群已簽約投建多個算力項(xiàng)目,如推動中國電信全國一體化算力網(wǎng)絡(luò)長三角國家樞紐節(jié)點(diǎn)蕪湖數(shù)據(jù)中心集群建設(shè)運(yùn)營,依托瓏騰數(shù)據(jù)打造圍繞無人駕駛、人工智能、的高新算力服務(wù)產(chǎn)業(yè)園,依托安恒信息投資建設(shè)“數(shù)盾”產(chǎn)線長三角總部基地,保障算力服務(wù)可靠安全等;粵港澳大灣區(qū)樞紐韶關(guān)集群開展《韶關(guān)數(shù)據(jù)中心集群產(chǎn)業(yè)發(fā)展規(guī)劃》等編制工作,積極培育上下游產(chǎn)業(yè);寧夏樞紐重視集群高質(zhì)量發(fā)展,2022年8月,北京市通信管理局、寧夏回族自治區(qū)通信管理局、中國信息通信研究院等單位聯(lián)合主辦“全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點(diǎn)(北京·寧夏)高質(zhì)量發(fā)展研討會”,研究探討全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點(diǎn)建設(shè)的新問題、新趨勢,推動信息通信行業(yè)數(shù)字化轉(zhuǎn)型。

1.3  非樞紐情況《全國一體化中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案》對樞紐節(jié)點(diǎn)以外地區(qū)數(shù)據(jù)中心建設(shè)的發(fā)展方向也給出了相應(yīng)指引:對國家樞紐節(jié)點(diǎn)以外地區(qū),要重點(diǎn)建設(shè)面向本地區(qū)業(yè)務(wù)需求的數(shù)據(jù)中心;根據(jù)發(fā)展需要,適時(shí)增加國家樞紐節(jié)點(diǎn)。隨著我國數(shù)字化轉(zhuǎn)型的深入推進(jìn),越來越多的非樞紐節(jié)點(diǎn)地區(qū)認(rèn)識到了發(fā)展數(shù)字經(jīng)濟(jì)、加強(qiáng)數(shù)據(jù)中心算力基礎(chǔ)設(shè)施建設(shè)的重要性,紛紛強(qiáng)化本地區(qū)算力產(chǎn)業(yè)的政策引領(lǐng)和產(chǎn)業(yè)扶持,打造具有地方特色、輻射周邊區(qū)域的數(shù)據(jù)中心產(chǎn)業(yè)集群,成為“東數(shù)西算”工程下非樞紐節(jié)點(diǎn)全國一體化算力網(wǎng)絡(luò)建設(shè)的重要補(bǔ)充。

2  發(fā)展特點(diǎn)與趨勢

2.1  多類算力并駕齊驅(qū)2.1.1  通用算力通用算力是以中央處理器(Central Processing Unit,CPU)為基礎(chǔ)構(gòu)成,以通用數(shù)據(jù)中心為承載主體,通過CPU提供強(qiáng)大的業(yè)務(wù)流程邏輯處理能力。同時(shí),通用算力可實(shí)現(xiàn)計(jì)算、存儲、網(wǎng)絡(luò)、安全等功能的高效協(xié)同,面向電子商務(wù)、即時(shí)通信、遠(yuǎn)程辦公等互聯(lián)網(wǎng)應(yīng)用提供算力服務(wù),是一種應(yīng)用最為普遍的算力服務(wù)形態(tài)。在我國總體算力構(gòu)成中,通用算力規(guī)模占比最高,超過70%。隨著數(shù)字化轉(zhuǎn)型的深入推進(jìn)和數(shù)字經(jīng)濟(jì)的快速發(fā)展,通用算力規(guī)模總量仍將進(jìn)一步提升。但通用數(shù)據(jù)中心增速預(yù)期將低于智算算力,整體占比或有所下降。

2.1.2  智算算力智算算力是以圖形處理器(Graphics Processing Unit,GPU)、現(xiàn)場可編程邏輯門陣列(Field Programmable Gate Array,F(xiàn)PGA)、專用集成電路(Application Specific Integrated Circuit,ASIC)等異構(gòu)計(jì)算芯片為基礎(chǔ)構(gòu)成,以智算中心為承載主體,通過GPU等異構(gòu)芯片提供高并發(fā)、大規(guī)模的并行計(jì)算和矩陣運(yùn)算能力,具備渲染、推理和模擬能力,可面向智能駕駛、人臉識別等人工智能應(yīng)用提供智算服務(wù)的一種算力服務(wù)形態(tài)。我國智算算力發(fā)展起步較晚,但隨著人工智能應(yīng)用的興起,智算算力發(fā)展非常迅速。未來,智算算力將成為全球算力競爭的關(guān)鍵賽道。相對歐美國家,我國在GPU等異構(gòu)芯片研發(fā)生產(chǎn)方面處于劣勢,智算算力發(fā)展存在潛在風(fēng)險(xiǎn),亟需強(qiáng)化智算算力技術(shù)和產(chǎn)業(yè)投入,提升智算能力。

2.1.3  邊緣算力邊緣算力是指靠近用戶側(cè),實(shí)時(shí)性較高的算力服務(wù)形態(tài),以邊緣數(shù)據(jù)中心或邊緣機(jī)房為主要承載主體,可部署于工廠廠房、樓頂、車間等位置,由于廠房、樓頂?shù)任恢孟鄬ΚM小,且空間環(huán)境相對復(fù)雜,因此邊緣服務(wù)器規(guī)格通常較小[5]。隨著工業(yè)互聯(lián)網(wǎng)、智慧城市等智能應(yīng)用場景的不斷擴(kuò)展,以及智能終端傳感設(shè)備、移動通信設(shè)備的快速發(fā)展,邊緣算力需求也在不斷提升,進(jìn)一步激發(fā)了邊緣算力市場的發(fā)展。

盡管邊緣計(jì)算具有敏捷性、便捷性等特征,能夠就近提供算力支持,但是其算力規(guī)模通常較小,難以滿足算力需求較高的應(yīng)用,因此在實(shí)際的算力應(yīng)用中通常采用云邊協(xié)同的算力供給方案。云邊協(xié)同是一種協(xié)同利用云端算力和邊緣算力,為用戶提供算力服務(wù)的形式,同時(shí)兼具云端算力規(guī)模大、可靠性強(qiáng)、邊緣算力靠近用戶、敏捷性高等特點(diǎn),可更好地滿足高實(shí)時(shí)性、大數(shù)據(jù)量的算力需求場景。

2.2  算力網(wǎng)絡(luò)日漸重要2.2.1  數(shù)據(jù)中心網(wǎng)絡(luò)數(shù)據(jù)中心網(wǎng)絡(luò)(Data Center Networking,DCN)通常是指數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò),主要用于實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)計(jì)算、存儲設(shè)備間的數(shù)據(jù)傳輸,以及數(shù)據(jù)中心內(nèi)外部數(shù)據(jù)交互。隨著計(jì)算和存儲資源的池化和虛擬化發(fā)展,數(shù)據(jù)中心承載業(yè)務(wù)需求快速提升,計(jì)算設(shè)備、存儲設(shè)備間的數(shù)據(jù)交互變得更加頻繁,東西向流量快速增長,DCN性能要求不斷提升。在網(wǎng)絡(luò)架構(gòu)上,大二層胖樹結(jié)構(gòu)在數(shù)據(jù)中心內(nèi)得到了廣泛應(yīng)用[6],蜻蜓(Gragonfly)、偶圖(BiGraph)等架構(gòu)也有一些部署。

高性能DCN成為重要研究方向。在傳統(tǒng)DCN網(wǎng)絡(luò)中,服務(wù)器間主要采用無限帶寬(InfiniBand,IB)網(wǎng)絡(luò)連接,服務(wù)器與存儲設(shè)備間主要采用光纖通道(Fibre Channel,F(xiàn)C)網(wǎng)絡(luò)連接,前端網(wǎng)絡(luò)則以網(wǎng)際互連協(xié)議(Internet Protocol,IP)網(wǎng)絡(luò)為主,這種差異化的網(wǎng)絡(luò)連接形式不利于提升數(shù)據(jù)中心內(nèi)的數(shù)據(jù)傳輸效率。同時(shí),IB和FC具有較高的網(wǎng)絡(luò)建設(shè)與運(yùn)維成本以及受限的供應(yīng)情況,一定程度上影響了數(shù)據(jù)中心網(wǎng)絡(luò)的高效部署。為了進(jìn)一步提升計(jì)算設(shè)備間、算存設(shè)備間的數(shù)據(jù)傳輸和交互能力,中國信息通信研究院、中國電信集團(tuán)有限公司、中國移動通信集團(tuán)有限公司、深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司(簡稱騰訊)、百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司(簡稱百度)和華為技術(shù)有限公司(簡稱華為)等單位積極推動數(shù)據(jù)中心高性能網(wǎng)絡(luò)研究,在IEEE 802面向下一個十年工業(yè)連接活動的網(wǎng)絡(luò)增強(qiáng)(Network Enhancements for the Next Decade Industry Connections Activity,Nendica)工作組發(fā)布了《IEEE 802 Nendica報(bào)告:數(shù)據(jù)中心無損網(wǎng)絡(luò)》(IEEE 802 Nendica Report: The Lossless Network for Data Centers)和《IEEE 802 Nendica報(bào)告:智能無損數(shù)據(jù)中心網(wǎng)絡(luò)》(IEEE 802 Nendica Report: Intelligent Lossless Data Center Networks)兩份白皮書,在國內(nèi)發(fā)布了YD/T 4026-2022《基于遠(yuǎn)程直接內(nèi)存訪問的數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)要求和測試方法》等一系列國家通信行業(yè)標(biāo)準(zhǔn)。

2.2.2  數(shù)據(jù)中心互聯(lián)數(shù)據(jù)中心互聯(lián)(Data Center Interconnect,DCI)是指實(shí)現(xiàn)數(shù)據(jù)中心間的網(wǎng)絡(luò)互聯(lián)互通。DCI的部署主要與用戶訪問需求的高速增長,以及業(yè)務(wù)連續(xù)性需求的提升等因素有關(guān)。從業(yè)務(wù)訪問量角度來看,在不同的時(shí)間段,數(shù)據(jù)中心云資源使用情況存在差異,以電子商務(wù)為例,在特定的促銷期間,其用戶訪問需求激增,原有的數(shù)據(jù)中心云資源無法滿足這種激增的算力需求,就需要通過DCI將本地應(yīng)用請求傳送到其他數(shù)據(jù)中心,緩解本地云資源壓力。從業(yè)務(wù)連續(xù)性角度來看,隨著數(shù)字化轉(zhuǎn)型的逐步深化,越來越多的業(yè)務(wù)向云上遷移,對于一些安全性、連續(xù)性要求較高的業(yè)務(wù),如金融交易、企業(yè)資源計(jì)劃(Enterprise Resource Planning,ERP)、移動辦公等,一旦發(fā)生信息系統(tǒng)崩潰或數(shù)據(jù)丟失,將可能對企業(yè)造成巨大的損失。為了確保業(yè)務(wù)的連續(xù)性和數(shù)據(jù)的安全性,往往需要通過異地災(zāi)備來實(shí)現(xiàn)數(shù)據(jù)級或應(yīng)用級災(zāi)備,異地災(zāi)備的實(shí)現(xiàn)同樣離不開數(shù)據(jù)中心間網(wǎng)絡(luò)互聯(lián)的支持。隨著各類資源池的增大,DCI必然會發(fā)揮更重要的作用。

2.3  算力運(yùn)維智能發(fā)展數(shù)據(jù)中心是資源密集型、技術(shù)密集型產(chǎn)業(yè),隨著數(shù)據(jù)量的高速增長,新建數(shù)據(jù)中心以大規(guī)模、超大規(guī)模為主,在應(yīng)對物理基礎(chǔ)設(shè)施局部故障或突發(fā)故障時(shí),因海量“風(fēng)火水電”設(shè)備的技術(shù)較為繁雜,需要專業(yè)的技術(shù)人員進(jìn)行服務(wù)和支持,由此孕育出智能運(yùn)維的市場機(jī)會。開放數(shù)據(jù)中心委員會調(diào)研數(shù)據(jù)顯示,2022年,我國數(shù)據(jù)中心基礎(chǔ)設(shè)施運(yùn)維市場超過100 億元,且近5年的市場增長率都超過20%[7]。

2.3.1  智能監(jiān)控為應(yīng)對數(shù)據(jù)中心向綠色化、集約化、智能化建設(shè)發(fā)展演進(jìn)過程中的新需求,數(shù)據(jù)中心運(yùn)維管理由人力驅(qū)動的被動體系逐步向智能化技術(shù)驅(qū)動的主動體系演進(jìn),運(yùn)維管理生命周期的起點(diǎn)是將監(jiān)控信息進(jìn)行標(biāo)準(zhǔn)化收集和管理。早在2015年,百度、騰訊、阿里巴巴集團(tuán)控股有限公司(簡稱阿里)等互聯(lián)網(wǎng)企業(yè)已經(jīng)開始研究“風(fēng)火水電”設(shè)備應(yīng)向監(jiān)控系統(tǒng)提供的監(jiān)控點(diǎn)位信息,完成了點(diǎn)位數(shù)量、名稱、精度、單位、取值定義等方面的標(biāo)準(zhǔn)化工作,定義了數(shù)據(jù)中心配電類、環(huán)境類、弱電類基礎(chǔ)設(shè)施應(yīng)滿足的監(jiān)控指標(biāo),在開放數(shù)據(jù)中心委員會發(fā)布了《互聯(lián)網(wǎng)數(shù)據(jù)中心基礎(chǔ)設(shè)施監(jiān)控指標(biāo)規(guī)范》等技術(shù)規(guī)范,縮短了數(shù)字化管理系統(tǒng)的建設(shè)工期并且降低了難度,提升了運(yùn)維工作與管理效率。

2.3.2  智能管理數(shù)據(jù)中心基礎(chǔ)設(shè)施管理等數(shù)字化管理系統(tǒng)的建設(shè)與應(yīng)用也經(jīng)歷了近10年的發(fā)展期,早期的信息技術(shù)無法滿足數(shù)據(jù)中心智能化監(jiān)控與管理的需求,倒逼數(shù)據(jù)中心企業(yè)不斷融合新技術(shù)并應(yīng)用到運(yùn)維過程中,運(yùn)維軟件層逐漸走深向?qū)崱rv訊、華為等公司探索采用數(shù)字孿生技術(shù)實(shí)現(xiàn)對基礎(chǔ)設(shè)施的配電、暖通進(jìn)行圖形建模,可視化表征實(shí)時(shí)運(yùn)行工況。萬國數(shù)據(jù)通過引入智能技術(shù)、可編程邏輯控制器自動控制技術(shù)進(jìn)行設(shè)施層的智能化建設(shè),可實(shí)現(xiàn)電氣、暖通、安防等設(shè)施的自動化預(yù)測性排障和應(yīng)急處置。數(shù)據(jù)中心智能化運(yùn)維是一項(xiàng)系統(tǒng)性工程,需要打通從建造到運(yùn)營、硬件到軟件各個環(huán)節(jié),除了培養(yǎng)觀念與習(xí)慣之外,還需要結(jié)合業(yè)務(wù)需求,搭建精細(xì)化運(yùn)維體系。

2.4  算力調(diào)度研發(fā)深入2.4.1  算力對接我國算力基礎(chǔ)設(shè)施建設(shè)規(guī)模不斷加快,初步形成了多樣異構(gòu)算力協(xié)同發(fā)展的局面。但是,我國算力供需矛盾依然存在。從地域上來看,我國東部地區(qū)算力需求旺盛,算力供不應(yīng)求;西部地區(qū)算力需求相對較低,算力供過于求。東西部算力資源難以實(shí)現(xiàn)有效對接,西部地區(qū)的部分算力資源無法得到有效利用。從企業(yè)角度來看,隨著算力需求的不斷提升,傳統(tǒng)單一、孤立的算力資源在服務(wù)過程中的瓶頸逐漸顯現(xiàn)出來。因此,需要實(shí)現(xiàn)多種算力資源的連接,實(shí)現(xiàn)算力需求的遷移,更好地應(yīng)對用戶算力需求的增長。我國算力資源在區(qū)域上以及企業(yè)內(nèi)部均需要進(jìn)行有效的對接。通過跨地域、跨主體的算力資源的統(tǒng)一接入,打造更加泛在的算力資源互聯(lián)環(huán)境。

2.4.2  算力調(diào)度算力調(diào)度是實(shí)現(xiàn)算力供需高效對接的一種重要技術(shù)手段,通過算力調(diào)度可以有效地將算力需求調(diào)度到合適的算力設(shè)施,實(shí)現(xiàn)彈性泛在、高效敏捷的算力供給。算力調(diào)度的實(shí)現(xiàn)離不開算網(wǎng)資源感知、度量、編排和路由等關(guān)鍵技術(shù)的支撐。

其中,算網(wǎng)資源感知主要對當(dāng)前全網(wǎng)各節(jié)點(diǎn)算力資源、網(wǎng)絡(luò)資源的狀態(tài)進(jìn)行感知,明確當(dāng)前算力資源、網(wǎng)絡(luò)資源的空余量;算力度量是指使用統(tǒng)一量綱對計(jì)算、存儲、通信和安全等資源進(jìn)行度量,通過算力度量能夠更加全面客觀地評價(jià)算網(wǎng)資源調(diào)度和使用的代價(jià);算力編排是指根據(jù)用戶算網(wǎng)資源需求快速分配算力和網(wǎng)絡(luò)資源,并且在算網(wǎng)資源使用完成后快速收回相應(yīng)的資源,更新算網(wǎng)資源信息,為下次資源分配做好準(zhǔn)備,算力資源分配通常是借助相應(yīng)的調(diào)度策略、算法來完成;算力路由是指對算力資源需求和算力資源部署的實(shí)時(shí)狀態(tài)進(jìn)行感知,并在此基礎(chǔ)上將算力需求引入到路由域,使應(yīng)用需求能夠沿著最佳路由路徑到達(dá)相應(yīng)的算力節(jié)點(diǎn)。整體來看,算力一體化調(diào)度是算力基礎(chǔ)設(shè)施發(fā)展的大勢所趨,但仍需要時(shí)間進(jìn)行技術(shù)的突破與商業(yè)的探索。

2.4.3  算力交易算力交易是算力調(diào)度進(jìn)一步市場化、形成成熟的商業(yè)模式的階段。在算力交易平臺的支持下,用戶可以將閑置的算力資源接入到交易平臺,進(jìn)行共享或售賣,使算力資源在市場機(jī)制中得到高效的配置,滿足各類用戶的算力使用需求。算力交易的參與方包括運(yùn)營商、云廠商、行業(yè)用戶和個人用戶,其中運(yùn)營商是算力資源和網(wǎng)絡(luò)資源的主要提供者,行業(yè)用戶和個人用戶是算力資源的主要消費(fèi)者。算力交易平臺提供算網(wǎng)資源的一站式交易,行業(yè)用戶和個人用戶能夠在算力交易平臺上選擇購買供給方的資源。與此同時(shí),行業(yè)用戶和個人用戶也可以作為算力資源的供給方,將自己閑置的算力資源對接到算力交易平臺進(jìn)行售賣。上海市于2023年2月,基于超算中心發(fā)布了人工智能公共算力服務(wù)平臺,探索算力調(diào)度新模式,以更好地滿足科研機(jī)構(gòu)和廣大中小微企業(yè)實(shí)際算力需求。

2.5  綠色低碳全面強(qiáng)化2.5.1  概況當(dāng)前,我國各行業(yè)均在大力推進(jìn)節(jié)能減排工作。數(shù)據(jù)中心作為耗能大戶,其耗電量和碳排量不容忽視。從政策角度來看,近年來,我國持續(xù)強(qiáng)化數(shù)據(jù)中心綠色低碳引領(lǐng),工業(yè)和信息化部發(fā)布《新型數(shù)據(jù)中心發(fā)展三年行動計(jì)劃(2021—2023年)》,將綠色低碳作為新型數(shù)據(jù)中心發(fā)展的重要目標(biāo),并提出通過加快先進(jìn)綠色技術(shù)產(chǎn)品應(yīng)用、提升能源高效清潔利用水平、優(yōu)化綠色管理能力等舉措,全面提升數(shù)據(jù)中心綠色低碳水平。

從產(chǎn)業(yè)發(fā)展角度來看,提升數(shù)據(jù)中心能效水平能夠促使數(shù)據(jù)中心將更多電能供給到互聯(lián)網(wǎng)技術(shù)(Internet Technology,IT)設(shè)備上,以服務(wù)更多的算力需求,并產(chǎn)生經(jīng)濟(jì)效益。中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所數(shù)據(jù)中心團(tuán)隊(duì)長期致力于數(shù)據(jù)中心綠色低碳領(lǐng)域研究,并聯(lián)合開放數(shù)據(jù)中心委員會推出了數(shù)據(jù)中心綠色等級測試、數(shù)據(jù)中心低碳等級測試,通過測試評估手段促進(jìn)數(shù)據(jù)中心綠色低碳水平提升[8]。

2.5.2  ICT產(chǎn)品數(shù)據(jù)中心能耗主要由服務(wù)器、存儲、網(wǎng)絡(luò)等信息與通信技術(shù)(Information and Communications Technology,ICT)設(shè)備能耗及供配電、制冷等配套設(shè)施能耗共同構(gòu)成。在數(shù)據(jù)中心發(fā)展早期,數(shù)據(jù)中心ICT設(shè)備耐熱、散熱能力較差,需要依靠大量制冷保障ICT設(shè)備正常運(yùn)行。近年來,數(shù)據(jù)中心ICT設(shè)備電能利用效率不斷提升,在相同能耗下可以提供更多計(jì)算、存儲和數(shù)據(jù)傳輸服務(wù)。與此同時(shí),ICT設(shè)備耐熱、散熱能力也得到進(jìn)一步改善。由于ICT設(shè)備耐熱、散熱性能得到提升,數(shù)據(jù)中心ICT設(shè)備的能效優(yōu)化空間更大。

從數(shù)據(jù)中心整體的碳排放深入到IT設(shè)備的碳效指標(biāo),2022年底,開放數(shù)據(jù)中心委員會發(fā)布的《數(shù)據(jù)中心算力碳效白皮書》提出了一種服務(wù)器的算力碳效模型,定義如下:CEPS=C/S,其中C是碳排放量;S是服務(wù)器算力性能[9]。由于IT設(shè)備特別是服務(wù)器在數(shù)據(jù)中心能耗中占比極大,數(shù)據(jù)中心的碳排放將在很大程度上取決于服務(wù)器和芯片,這逐漸成為數(shù)據(jù)中心綠色低碳發(fā)展的關(guān)鍵。

2.5.3  供配電、制冷產(chǎn)品供配電和制冷產(chǎn)品是保障數(shù)據(jù)中心內(nèi)ICT設(shè)備穩(wěn)定運(yùn)行的輔助性基礎(chǔ)設(shè)施,降低供配電、制冷環(huán)節(jié)能耗有助于提升數(shù)據(jù)中心能效水平。隨著數(shù)據(jù)中心綠色低碳發(fā)展要求的不斷強(qiáng)化,數(shù)據(jù)中心供配電、制冷環(huán)節(jié)的綠色低碳技術(shù)也日益活躍。在供配電方面,高效率、低損耗的供配電創(chuàng)新技術(shù)不斷涌現(xiàn)并逐漸成熟應(yīng)用,如高壓直流、不間斷電源(Uninterruptible Power Supply,UPS)智能休眠、絕緣柵雙極型晶體管(Insulated Gate Bipolar Transistor,IGBT)整流、3N架構(gòu)等。與傳統(tǒng)UPS配電相比,高壓直流配電取消了UPS交流逆變環(huán)節(jié)和服務(wù)器電源端的整流環(huán)節(jié),極大地提升了電流轉(zhuǎn)換效率,同時(shí)也提升了供電系統(tǒng)的穩(wěn)定性和可維護(hù)性。UPS智能休眠主要是根據(jù)IT負(fù)載情況進(jìn)行模塊化智能休眠,當(dāng)負(fù)載量低于某一設(shè)定值時(shí),進(jìn)入休眠模式,降低UPS電能損耗[10]。除了現(xiàn)有供配電設(shè)備的創(chuàng)新外,“新能源+儲能”的供電方案也逐步應(yīng)用于數(shù)據(jù)中心,“新能源+儲能”的技術(shù)方案可有效避免新能源發(fā)電穩(wěn)定性差的問題,通過與儲能技術(shù)配合,提升了數(shù)據(jù)中心對新能源的利用率。

制冷環(huán)節(jié)的綠色低碳技術(shù)創(chuàng)新體現(xiàn)在多個方面:一是空調(diào)送風(fēng)方案逐步優(yōu)化,部分?jǐn)?shù)據(jù)中心機(jī)房通過軟件模擬氣流組織制定更加高效的制冷送風(fēng)方案;二是冷水機(jī)組、末端空調(diào)等制冷設(shè)備的電能利用效率逐步提升,可用更少的電能提供更多制冷;三是液冷技術(shù)從技術(shù)概念逐步走向落地實(shí)施,有效解決了機(jī)房高密部署和局部過熱的問題[11]。阿里、OPPO廣東移動通信有限公司等已經(jīng)規(guī)模部署浸沒式液冷技術(shù),獲得了優(yōu)異的電源使用效率收益。

2.6  算力賦能千行百業(yè)2.6.1  產(chǎn)業(yè)發(fā)展需要算力支撐在數(shù)字經(jīng)濟(jì)時(shí)代,算力已經(jīng)成為推動經(jīng)濟(jì)發(fā)展的重要生產(chǎn)力,廣泛服務(wù)于各行業(yè)的數(shù)字化轉(zhuǎn)型。企業(yè)大力推動信息系統(tǒng)建設(shè),并對業(yè)務(wù)處理環(huán)節(jié)、生產(chǎn)環(huán)節(jié)進(jìn)行信息化改造。其中,通信、互聯(lián)網(wǎng)、金融等行業(yè)的企業(yè)信息化程度較高,初步具備了利用算力全方位服務(wù)業(yè)務(wù)的能力。同時(shí),隨著智能傳感終端的廣泛應(yīng)用以及云邊端算力服務(wù)模式的發(fā)展成熟,工業(yè)、農(nóng)業(yè)、交通、能源等傳統(tǒng)行業(yè)也在加快數(shù)字化轉(zhuǎn)型,通過云邊端協(xié)同的算力服務(wù)模式實(shí)現(xiàn)終端數(shù)據(jù)的自動采集,并基于云端和邊緣側(cè)的算力資源對終端數(shù)據(jù)進(jìn)行分析、存儲,通過人工智能、建模分析及控制響應(yīng)機(jī)制對終端設(shè)備進(jìn)行控制,實(shí)現(xiàn)各類智能化操作。

2.6.2  算力推動社會智能發(fā)展算力應(yīng)用不僅能夠促進(jìn)產(chǎn)業(yè)數(shù)字化發(fā)展,為產(chǎn)業(yè)轉(zhuǎn)型升級提供支撐。同時(shí),數(shù)字技術(shù)的應(yīng)用,也為人們的日常生活帶來了極大的便利,并進(jìn)一步在科研、辦公、娛樂等領(lǐng)域發(fā)揮重要的輔助作用,全面推動社會智能化發(fā)展。在科研方面,研究機(jī)構(gòu)正在積極利用數(shù)據(jù)中心開展大規(guī)模的數(shù)據(jù)分析計(jì)算,為新藥品研發(fā)、地質(zhì)探測、航空航天等研究提供了重要支撐。在辦公方面,視頻會議已經(jīng)成為人們?nèi)粘^k公溝通交流的重要形式,極大地提升了遠(yuǎn)距離辦公效率。在娛樂方面,虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等技術(shù)的應(yīng)用能夠進(jìn)一步強(qiáng)化用戶的場景體驗(yàn),各類電影也需要大量的算力進(jìn)行渲染以呈現(xiàn)更加精致的畫面,帶來更好的觀影效果。

3  結(jié)束語

近年來,我國數(shù)據(jù)中心產(chǎn)業(yè)面臨全新挑戰(zhàn)。“國家新型數(shù)據(jù)中心”“東數(shù)西算”工程等重要政策的實(shí)施落地,通用、智能和超級算力的多樣性算力供給,調(diào)度、交易等算力應(yīng)用全過程的研究和落地,ICT、供配電、制冷設(shè)備等全鏈條的綠色低碳發(fā)展等共同驅(qū)動數(shù)據(jù)中心創(chuàng)新演進(jìn)。數(shù)據(jù)中心已經(jīng)從簡單的建筑轉(zhuǎn)變成為復(fù)雜的融合了設(shè)施、ICT產(chǎn)品、智能運(yùn)維、數(shù)字化應(yīng)用等要素的綜合性算力基礎(chǔ)設(shè)施。未來,隨著數(shù)字中國、數(shù)字經(jīng)濟(jì)和數(shù)字社會規(guī)劃和建設(shè)的進(jìn)一步深入,數(shù)據(jù)中心等算力基礎(chǔ)設(shè)施的作用會更強(qiáng),對產(chǎn)業(yè)技術(shù)等各方面的要求會更高,迎來的發(fā)展機(jī)遇也會更大。

作者簡介

郭亮  中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所副總工程師,正高級工程師,主要負(fù)責(zé)數(shù)據(jù)中心等方面的政府支撐、技術(shù)研究和標(biāo)準(zhǔn)制定工作。

延伸閱讀:


贊(0)
分享到: 更多 (0)
網(wǎng)站地圖   滬ICP備18035694號-2    滬公網(wǎng)安備31011702889846號
主站蜘蛛池模板: 亚洲福利视 | 福利亚洲| 久久久ww | 国产三级观看 | 日本黄网在线观看 | 激情小视频在线观看 | 91区 | 免费亚洲视频 | 欧美 变态 另类 人妖 | a视频在线| 国产免费看黄 | 亚洲欧美大片 | 国产精品久久久久一区二区国产 | 欧美黄色图片 | a√天堂中文字幕在线 | 草久在线观看 | 91免费看大片 | 琪琪久久 | 国产影视一区二区 | 日本一本久草 | 中文字幕一级片 | 国产成人激情 | 国产拍拍拍 | 先锋影音一区二区三区 | 国产精品亚洲视频 | avtt在线观看 | 中文字幕视频一区 | 一区二区三区四区欧美 | 久久欧美 | 亚洲女同tvhd | 台湾佬久久 | 韩日欧美 | 麻豆成人在线 | 午夜影院私人 | 一二三区视频 | 一级免费av | 中日韩黄色一级片 | 国产免费福利视频 | 51精品国自产在线 | 亚洲青涩在线 | 国产aaaa视频 | 国产经典一区 | 欧美日韩亚洲视频 | 日韩孕交 | 亚洲精品合集 | 超碰操 | 精品久久久免费视频 | 久久6| 五月天伊人网 | 久久久噜噜噜久久中文字幕色伊伊 | 久久99久久99精品蜜柚传媒 | 超黄av| 日本色婷婷 | 亚洲第一页在线 | 免费黄色三级网站 | 成人午夜淫片免费观看 | 麻豆av在线 | 亚洲欧美日韩天堂 | 超碰人人搞 | 三点尽露的大尺度国产 | 二区三区在线视频 | 亚洲综合91 | 欧美久久网 | 中文字幕一二区 | 成人一区视频 | 香蕉污视频 | 91麻豆视频 | 国产精品一二三四区 | 一级特黄色片 | 伊人色av | 亚洲国产日韩a在线播放性色 | 最新中文字幕免费 | 久久人人视频 | 亚洲乱码国产乱码精品 | 爱爱动态图 | 亚洲欧洲国产精品 | 99九九久久| 青青操视频在线播放 | 欧洲亚洲一区 | 伊人小视频| 日韩网站免费 | 色亚洲视频 | 一区二区三区免费看 | 插综合| 亚洲久久久 | 亚洲一区在线免费视频 | 久久国产精品免费视频 | 自拍偷拍 亚洲 欧美 | 中国男人操女人 | 久久久久国产精品人 | 国产福利在线观看视频 | 日韩av免费在线观看 | 久久成年人 | 亚洲产国偷v产偷自拍网址 亚洲成色777777女色窝 | 午夜激情啪啪 | 国产人妖在线播放 | 欧美搞逼视频 | 国内精品久久久久久久影视麻生 | 国产三级韩国三级日本带黄 | 插吧插吧综合网 | 三级免费网站 | 精品国产一区二区三区四区 | 久久蜜桃精品 | 精品国产精品 | 中国在线观看免费高清视频播放 | 国产尤物在线观看 | 久久国产精品偷 | 99热超碰在线 | 九色国产精品 | 狠狠做深爱婷婷综合一区 | 亚洲精品国产一区 | 亚洲一区和二区 | 午夜爱爱网 | 国产免费三片 | 成人靠逼视频 | 欧美一级视频在线观看 | 中文字幕国产 | 一级美女视频 | 7777精品久久久久久 | www精品| 一区在线观看视频 | 偷拍欧美另类 | 久久久久久久久久久久福利 | 91香蕉在线视频 | 亚洲视频福利 | 麻豆精品久久 | 国产综合一区二区 | 伊人av网| 91伊人国产| 深夜成人福利视频 | 国产精品久久久久久久久久久新郎 | 亚洲最大的成人网 | 久久裸体视频 | 咪咪av| 自拍21区 | 中日一级片| 看片一区| 国产成人自拍视频在线 | 亚洲v成人天堂影视 | 国产视频在线观看一区二区 | 国产精品刘玥久久一区 | 美国黄色片网站 | 黄瓜视频91 | 国产麻豆免费观看 | 一级做a在线观看 | 激情五月婷婷综合 | 一级黄色免费大片 | 91免费网站在线观看 | 一区二区视频网 | 999av视频| 欧美性俱乐部 | 97超级碰碰| 蜜乳av 懂色av 粉嫩av | 亚洲涩网| 久久久久久国产精品免费播放 | 国产区视频在线观看 | 日韩精品黄| 久久久精品久久 | 精久久久久 | 91视频第一页 | 操人视频在线观看 | 久久五月天综合 | 韩国一区二区视频 | www.成人免费视频 | 天天干,天天操,天天射 | 性做久久久 | 久久最新视频 | 日韩精品久久久久 | 午夜爽爽视频 | 国产亚洲精品女人久久久久久 | 国产夫妻露脸 | 亚洲男人的天堂在线播放 | 91精品免费在线观看 | melody在线高清免费观看 | 人人做人人爽人人爱 | 偷自拍| 污片网站 | 国产精品一区二区三区在线免费观看 | 中文字幕一区二区三区免费看 | 亚洲911精品成人18网站 | 欧美经典一区二区 | 日韩黄色一级视频 | av资源网站| 拍国产真实乱人偷精品 | 国产午夜麻豆影院在线观看 | 九九九久久久 | 国产欧美视频一区二区三区 | 午夜精品久久久久久久久久 | 男人的天堂在线 | 天堂av资源在线 | 亚洲国产视频在线观看 | 天堂色区| 中文字幕一区二区三区乱码 | 日批网站在线观看 | 中文字幕av二区 | 国产精品午夜一区二区三区视频 | 欧美色亚洲色 | 人人澡人人澡人人 | 日韩中文字幕精品 | 天堂在线中文 | 在线永久免费观看 | 黄色小视频在线 | 好吊日在线观看 | 亚洲乱码一区av黑人高潮 | 久久久久婷| 91久久在线观看 | 国产精彩视频 | 伊人视屏| 中国女人啪啪69xxⅹ偷拍 | 免费日韩毛片 | 韩日黄色 | 超碰夜夜| 亚洲欧美视频一区 | 欧美日韩大片在线观看 | 三级爱爱 | 一级a毛片在线观看 | 天天干天天插天天射 | 国产群p| 亚洲 丝袜 自拍 清纯 另类 | 午夜精品在线播放 | 夜夜嗨一区二区 | 黄色私人影院 | www 在线观看视频 | www.色图| 成人福利在线视频 | 亚洲视频在线视频 | 97国产成人 | 亚洲国产剧情 | 天堂在线视频免费 | 日韩国产欧美一区 | 桃色视频网站 | 国产视频黄 | 午夜在线观看视频网站 | 超碰香蕉 | 日韩免费福利视频 | 国产对白精品刺激二区国语 | www狠狠操 | 朝桐光一区二区 | 国产高清视频在线 | 天堂成人av| 日本成人午夜 | 国产精品国产三级国产专业不 | 欧美激情性做爰免费视频 | 青青草原国产在线观看 | 欧美三级a做爰在线观看 | 亚洲国产精品成人av | 国内精品一区二区三区 | 性色av免费观看 | 极品少妇一区 | 大桥未久视频在线观看 | 久久黄色大片 | 久久久亚洲国产 | 丝袜综合网 | 国模在线观看 | 免费亚洲精品 | 一色桃子av在线 | 国产尤物在线观看 | 久久久国产成人 | 成人国产精品蜜柚视频 | 在线观看成年人视频 | 中文字字幕在线中文 | 日本欧美在线播放 | 日本在线成人 | 人人舔人人插 | 久久999| 日韩精品免费在线 | 天天综合精品 | 久久精品99 | 成人欧美一区二区三区在线播放 | 国产v片 | 夜夜久久 | 国内自拍第三页 | 你懂的亚洲 | 欧美在线日韩 | 色噜噜狠狠一区二区三区 | 日韩色综合| 色综合精品 | 99久久精品免费看国产一区二区三区 | 中文字幕av免费 | 国内精品久久久久久久久久久 | 国产一区二区三区成人 | 日批视频免费在线观看 | 黄色日批视频 | 久久久人人爽 | 国产首页 | 亚洲欧美丝袜中文综合 | 免费日b视频 | 久操欧美 | 国产裸体无遮挡 | 欧美精品一区二区视频 | 久久国产高清 | 国产精品1区二区 | 最新av网址大全 | 爱操视频| 日韩社区 | 国产精品入口 | 97视频国产| 欧美人狂配大交3d | 91丨九色丨海角社区 | 亚洲精品日韩丝袜精品 | 一区二区三区欧美视频 | 国产性色av | 男女av免费 | 精品伦精品一区二区三区视频 | 久草福利在线视频 | 久久网av | 精品久久9999| 久久精品男人 | 亚洲欧美一区二区三区视频 | 一区免费视频 | 欧美精品一卡二卡 | www.97ai | 性色tv | 亚洲黄色影院 | 日韩精品欧美在线 | 国产无套在线观看 | 丁香激情小说 | 国产视频一二三 | 污污视频在线播放 | 成年人毛片视频 | 一本在线 | 免费成人在线观看视频 | 久久久久99啪啪免费 | 看全色黄大色黄大片女图片第一次 | 国产伦精品视频一区二区三区 | a最新天堂网资源 | 欧洲一区二区在线观看 | 在线观看中文字幕一区 | 91调教打屁股xxxx网站 | 1000部av| 九九九在线 | 日韩成人小视频 | 日韩精品导航 | 国产国拍精品亚洲 | 国产精品久久久精品 | 伊是香蕉大人久久 | 婷婷午夜激情 | 亚洲专区一区二区三区 | 中文字幕欧美日韩精品 | 激情丁香| 国产精品福利视频 | 91video | 九九久久国产 | 在线观看av的网站 | 免费日批视频 | 四虎视频在线观看 | 日韩欧美一区在线观看 | 成人性生交大片 | 久久亚洲区 | 日美韩av| 亚洲最大视频网站 | 天天插视频| 成人精品福利视频 | 亚洲国产成人在线视频 | 黄色片网站在线观看 | 色综合视频网 | 中文字幕黄色网 | 日本丰满少妇裸体自慰 | 日韩免费视频观看 | 国产又粗又猛视频免费 | 一级中文字幕 | 国产精品一二三四五区 | 国产精品自产拍高潮在线观看 | 久久久久久久久久久久久久久久久久久久 | 在线aa | 国内自拍偷拍 | 九九热国产视频 | 中文字幕网址在线 | 日韩av一区在线观看 | 91免费视 | 手机在线免费看av | 国产人久久人人人人爽 | 天堂色区 | 夜夜高潮久久做爽久久 | 国产成人精品a视频一区 | 亚洲天堂手机在线 | 精品国产一二区 | 久久精品片 | 欧美中文字幕在线视频 | 国产色91| 欧美精品亚洲精品 | 99热2| 亚洲性夜 | 天天插天天操 | 日韩激情中文字幕 | 国产夫妻露脸 | 第一福利在线 | 成人午夜精品福利 | 在线免费观看国产视频 | 日韩1级片| 性生活视频软件 | 91福利在线导航 | 亚洲久热 | 奇米影视一区二区 | 免费看黄色aaaaaa 片 | 久久久久久美女 | 国产寡妇色xxⅹ交肉视频 | 国产情侣激情自拍 | 一级aaa毛片 | 成人免费网站www网站高清 | 日本精品在线视频 | 伊人色网| 制服.丝袜.亚洲.中文.综合懂 | 少妇日皮视频 | 永久免费看成人av的动态图 | 新天堂在线 | 美国黄色一级大片 | 9999国产精品 | 最近中文字幕在线中文高清版 | 久久国产精品波多野结衣 | 国产成人影视 | 精品乱子伦一区二区三区 | 亚洲精品国产一区二区三区四区在线 | 国产欧美日韩免费看aⅴ视频 | 亚洲精选在线观看 | 日韩三级一区 | 久久久久国产精品一区二区三区 | 国产精品久久久久影院老司 | 黄色av网站在线 | 午夜精品久久久久久久蜜桃 | 影音先锋激情在线 | 日韩毛片一区 | 亚洲国产欧美一区 | 亚洲最大av在线 | 久在线观看 | 国产精品精品国产 | 亚洲成年人网址 | 国产国产精品人在线视 | 欧洲久久久久 | 香蕉视频成人在线 | 日本免费一级片 | 性一交一乱一色一视频麻豆 | 精品少妇一区二区三区免费观 | 伊人草草 | www五月婷婷| 国产男女啪啪 | 日日噜噜噜夜夜爽爽狠狠视频97 | 亚洲精品二区 | 44444kk在线观看三免费 | 午夜精品一区二区三区在线播放 | 久久视频精品在线 | 一级一级特黄女人精品毛片 | 国产福利一区二区 | 午夜在线国语中文字幕视频 | 欧美三级欧美成人高清 | 日本91在线 | 激情网五月 | 亚洲毛片在线 | 亚洲一区二区三区综合 | 久久免费视频网站 | 欧美激情黑白配 | 日韩福利在线观看 | 日韩一区免费视频 | 91在线成人 | 国产黄色www | 在线综合视频 | 成年人黄色大全 | 久久九九国产 | 欧美做受| 亚洲免费观看高清在线观看 | 夜夜嗨av一区二区三区网页 | 欧美日韩在线视频免费播放 | 四虎免费久久 | 欧美日色| 欧美激情亚洲综合 | 激情欧美成人 | 夜夜夜夜操 | 久久精品韩国 | 久久久亚洲一区 | 成人黄色小说视频 | 又湿又紧又大又爽a视频国产 | 欧美成人精品欧美一级乱黄 | 天堂免费av | 波多野结衣视频在线播放 | 九九精品影院 | 在线有码视频 | 69久久久 | 国内外成人在线视频 | 男女透逼视频 | 国产一级黄色 | 综合伊人| 播放黄色一级片 | 少妇精品偷拍高潮白浆 | 亚洲精品久久久久久久久久久 | 亚洲va欧美va天堂v国产综合 | 亚洲精品99 | 另类欧美亚洲 | 麻豆精品一区二区 | 狠狠艹av | 99色热 | 91传媒理伦片在线观看 | 国内外成人在线视频 | 欧美性在线视频 | 一区二区三区久久久久 | 国产香蕉久久精品综合网 | 精品999在线观看 | 免费黄网站在线观看 | 亚洲永久精品一区 | 激情五月av| 色综合天天综合综合国产 | xxxxx在线| 色戒在线免费 | 成人免费高清在线播放 | 手机在线精品视频 | 一本大道香蕉大a√在线 | 操操网站 | 91丨九色丨丰满人妖 | 免费看的av网站 | caoporn视频在线 | 欧美福利一区二区 | 在线国产不卡 | 欧美偷拍视频 | 婚后打屁股高h1v1调教 | 五月色婷 | 成人h片在线观看 | 亚洲日本在线观看 | 一区二区视 | 在线观看免费毛片视频 | av在线黄色 | 成av人片一区二区三区久久 | 午夜在线观看网站 | 成人免费看类便视频 | 一级片免费看视频 | 免费av观看| 夜夜嗨网站| 午夜做爰xxxⅹ性高湖视频美国 | 黄色一级网址 | xxx色| 成人av一区 | 国产综合影院 | www.国产在线观看 | 日韩啪啪片 | 欧美福利小视频 | 作爱视频在线 | 日本中文字幕久久 | 久久婷婷影院 | 逼特逼视频在线观看 | 亚洲精品美女久久久 | 亚洲蜜臀av乱码久久精品 | 亚欧洲乱码视频 | 亚洲永久免费 | 小嫩嫩12欧美 | 日本aaa级片| 夜夜爽少妇777777 | 欧美日韩中文字幕一区 | 国内精品久久久 | 128tv在线观看免费 | 亚洲综合一区中 | 天堂网av在线播放 | 欧美一级色| 国产美女永久免费无遮挡 | 日韩av大片 | aaaaa一级片 99精品欧美 | 国产成人福利片 | 91av亚洲| 丁香婷婷激情五月 | 午夜在线免费视频 | av黄色免费 | 午夜影院在线看 | 日日噜噜噜噜人人爽亚洲精品 | 五月天综合激情网 | 这里只有精品在线观看视频 | 国产一级片久久 | 国产丰满农村老妇女乱 | 国产精品久久久久久模特 | 国产免费成人av | 好吊一区| 在线观看视频国产 | 手机在线一区二区 | av在线不卡播放 | 黄色一大片 | 黄色在线资源 | 成 人 黄 色 片 在线播放 | 五月天婷婷丁香花 | 伊人久久久久久久久久久久 | 欧美成网站 | 揄拍自拍 | 日韩精品视频在线免费观看 | 国产女女调教女同 | 国产网站在线免费观看 | 一区久久 | 优优色欧美 | 野花视频免费在线观看 | 自拍偷拍 校园春色 | 在线视频国产一区 | 亚洲精品一区二区三区不 | 五月婷婷久 | 快色在线观看 | 欧美一区二区三区成人 | 2024av| 亚洲欧美日韩天堂 | 久久影音先锋 | 懂色av| 小说区图片区亚洲 | 久久av导航 | 爱爱视频在线免费观看 | 日本在线一区二区三区 | 亚洲www色| 成人国产免费 | 亚洲国产二区 | 欧美日本在线 | 天天操天天射天天舔 | 久久黄色一级片 | 女人高潮特级毛片 | 欧美福利视频一区二区 | 涩涩爱影院 | 老女人毛片50一60岁 | 97毛片| exo妈妈mv在线播放高清免费 | 动漫毛片 | 一本一道久久a久久 | 亚洲黄网站在线观看 | 综合色婷婷一区二区亚洲欧美国产 | 国产理论视频在线观看 | 国产又大又黄视频 | 欧美视频区 | 国产福利av| av播放网站 | 毛片首页| 歪歪视频在线观看 | 国产精品视频成人 | 日本一级淫片免费放 | 青青操国产视频 | 日本韩国欧美在线 | www.色在线观看 | 亚洲区 欧美区 | 中文字幕在线观看网址 | 欧美一级淫片bbb一84 | 91亚洲综合 | 久久久www成人免费无遮挡大片 | 国产精品午夜视频 | 亚洲最大视频网站 | 日韩三级在线免费观看 | 操www| 国产精品久久久久久二区 | 欧美99 | 人人色视频 | 我爱av好色 | 69视频在线免费观看 | 黄色的毛片 | 中文字幕精品在线观看 | a级片在线观看 | 黄色片网站国产 | 久久免费视频网站 | 黄色a级大片 | 一区三区视频 | 国产剧情av一区 | 亚洲美女一黄大片 | 国产一区欧美二区 | 久久调教 | 日韩女优在线播放 | 一区二区三区视频在线观看 | 99久久影院 | 中国一级特黄视频 | 国产欧美在线观看视频 | 精品视频免费看 | 亚洲精品久久久久久久久 | 国产精美视频 | 日韩射| 午夜专区 | 成人午夜激情视频 | 久久久网 | 黑巨茎大战欧美白妞 | 欧美精品久久 | 国产伦精品一区二区三区在线播放 | 亚洲区精品 | chien国产乱露脸对白 | 亚洲精品少妇久久久久久 | 影音先锋成人资源 | 亚洲成人www| 一级特黄肉体裸片 | 欧美一级日韩一级 | 毛片看看 | 午夜黄网| 中文在线不卡 | 波多一区二区 | www.天堂av.com | 婷婷天天 | 伊是香蕉大人久久 | 欧美在线免费 | 一区二区蜜桃 | 黄视频免费看在线 | 国产精品二 | 欧美激情一区二区三区p站 自拍av在线 | 三级精品在线 | 午夜精品一区二区三区三上悠亚 | 国产一区99 | 奇米四色7777 | 欧美特黄一级视频 | 久久久久夜色精品国产老牛91 | 免费啪视频在线观看 | 国产伦精品视频一区二区三区 | 亚洲va久久久噜噜噜久久天堂 | 在线天堂6 | 亚洲综合色网 | 国产一区二区免费在线 | 毛片网站视频 | 人人澡人人干 | av大片在线观看 | 欧美v亚洲 | 亚洲激情在线播放 | 51国产偷自视频区免费播放 | 午夜久久久久久久久久 | 一级做a在线观看 | 中文字幕观看 | 色鬼久久 | 亚洲一级黄色 | 伊人黄色| www.精品| 国产私拍 | 在线午夜| 91免费精品视频 | 亚洲乱熟 | 国产对白叫床清晰在线播放 | 日本欧美三级 | 毛片基地免费 | 欧美日韩亚洲一区二区 | 久久久久久久九九九九 | 伊人网一区 | 国产成人短视频在线观看 | 精品色综合 | 亚洲欧美日韩国产一区 | 蜜桃综合网 | 天天色天 | 欧美亚洲专区 | 免费大片av | 特级一级片 | 国产色视频在线观看免费 | 亚洲图片在线 | 少妇精品偷拍高潮白浆 | 91视频合集 | 免费特级毛片 | 91华人在线| 午夜美女福利视频 | 欧美激情视频一区二区三区不卡 | 写真福利片hd在线播放 | 完全免费在线视频 | 日产精品久久久 | 91免费看国产 | 国产精品久久久久久久久久久久久久不卡 | 国产一级在线观看 | 日韩有码av| 久久刺激 | 亚洲精品aⅴ中文字幕乱码 一二级毛片 | 97香蕉久久夜色精品国产 | 最近中文字幕在线播放中 | av一区免费 | 91视频在线观看网 | 人人射 | av老司机久久 | 日韩在线一二三区 | 久热精品视频在线观看 | 国产黄色网址在线观看 | 国产精品欧美久久久久天天影视 | 久久久久久久久久久影院 | 精品黑人| 久久久网 | 男人的天堂va | 久久欧美视频 | 高潮久久久久久久久 | 欧美日韩一区二区三区视频 | 亚洲精选中文字幕 | 日韩成人免费在线 | 黄在线免费 | 香蕉视频好色先生 | 成年人黄视频 | 在线观看亚洲专区 | 亚洲123区| 国产精品国产成人国产三级 | 伊人av在线 | 久久久久色 | 好吊日在线 | 丰满大乳少妇在线观看网站 | 日韩一级免费毛片 | 手机看片欧美日韩 | 欧美日韩高清一区二区 | 91在线中文字幕 | 国产一级做a爱片久久毛片a | 老牛影视av牛牛影视av | 超碰91在线| 99国产在线| 亚洲福利视频一区二区 | 久久久一区二区三区精品 | 欧美一级性生活视频 | 日本美女动态图 | 国产女人高潮大叫毛片 | 中文字幕第15页 | 欧美一区亚洲一区 | 成人看片在线 | 欧美福利片在线观看 | 国产一级做a爰片在线看免费 | 在线观看视频色 | 在线观看亚洲精品视频 | 国产亚洲美女精品久久久2020 | 欧美日韩激情在线观看 | 久久这里只有精品国产 | 国产精品一区二区三区四区 | 男女三级视频 | 色哟哟网站 | 日本中文字幕在线视频 | 免费中文字幕日韩欧美 | 亚洲黄色www | 国产精品30p | 亚洲国产精品一区二区久久 | 亚洲精品久久久蜜桃网 | 樱桃成人精品视频在线播放 | 特黄一级大片 | 亚洲黄色成人网 | 五月婷婷爱 | 国产麻豆一区 | 麻豆一级片 | 在线国产一区二区三区 | 国产精品久久久久久久久久10秀 | 久久精品9 | 一区二区三区精品国产 | 男人的天堂久久 | 久久视频一区 | 亚洲网站免费观看 | 国产18照片色桃 | 国产传媒视频 | 亚洲第一色在线 | 久草资源在线 | 一级免费大片 | 亚洲视频免费在线 | 亚洲欧洲综合在线 | 亚洲天堂国产精品 | 国产毛片在线视频 | www.96av| 欧美日韩免费一区二区三区 | 91免费在线播放 | 69国产精品| aaaa一级片 | 三级视频网站在线观看 | 黄色影院国产 | 亚洲图片小说综合 | 韩国三级hd两男一女 | 成年人视频在线观看免费 | 91精品久久久久久久久久入口 | 国产最新地址 | 一区视频免费在线观看 | 国产精品久久久久久久久久久不卡 | av在线不卡免费观看 | 波多野结衣久久 | 国产精品自产拍高潮在线观看 | 久久99久久99精品免视看婷婷 | 91久久久久 | 国产新婚疯狂做爰视频 | 国产午夜免费福利 | av每日更新在线观看 | 亚洲高清视频在线 | 天天色天天色天天色 | 在线免费观看福利 | av网站免费在线观看 | 夜夜高潮夜夜爽精品视频 | 国产精品污网站 | 青春草视频在线免费观看 | 亚洲五月婷| 激情欧美一区 | 少妇精品高潮欲妇又嫩中文字幕 | 精品无码久久久久久国产 | 日韩av一卡二卡 | 国产在线二区 | 夜夜看 | 韩国三级hd中文字幕的背景音乐 | 中文成人精品久久一区 | 小草毛片 | 九一精品视频 | 亚洲综合在线观看视频 | 亚洲一区网站 | 夜夜摸夜夜爽 | 亚洲自拍成人 | 午夜视频色 | 久久久欧美 | 成人毛片在线视频 | 激情文学久久 | 在线免费观看av网址 | 亚洲日皮| 青娱乐99| 亚洲专区在线 | 四虎精品在线观看 | 国产精品婷婷午夜在线观看 | 成人黄网免费观看视频 | 欧美激情国产精品免费 | 成人黄色三级视频 | 最近2019中文字幕大全视频10 | 日韩av手机在线播放 | 欧美特黄视频 | 激情精品 | 99国产精品一区二区三区 | 国产网红主播精品av | 亚洲字幕成人中文在线观看 | 国产伦精品一区二区三区免费迷 | 国产成人精品亚洲 | 色婷婷狠 | 成人午夜又粗又硬又大 | 91精品一区二区三区在线观看 | 姐姐av | 香蕉大人久久国产成人av | 久久综合精品视频 | 欧美一区二区三区激情 | 国产亚洲精品久久久久四川人 | 欧美午夜大片 | 亚洲男人天堂网址 | 久久中文字幕免费 | 亚洲激情六月 | 国产精品久久久久aaaa | 日韩成人精品一区二区 | 2020毛片| 欧美男人天堂 | 欧美专区在线观看 | 高清日韩av | 综合激情伊人 | 亚洲在线影院 | 激情春色网 | 亚洲精品av在线 | 亚洲精品国产suv一区 | 国产色一区二区 | 国产一区免费在线观看 | 中文字幕乱码在线 | 日韩在线视频免费观看 | 激情婷婷丁香 | 欧美第1页 | 欧美日韩久久久久久 | 亚洲春色另类 | 亚洲成人aaaa | 完全免费av| 伦理片波多野结衣 | 欧美在线中文 | 伊人二区| 黄在线免费观看 | 在线一二三区 | 国产1区2区3区 | 免费一区视频 | 国产精品久久久久久久久图文区 | 综合五月 | 这里只有精品视频在线 | 日本精品入口免费视频 | 欧美黄色片 | 国产91免费在线观看 | 亚洲精品美女视频 | 中文字幕28页 | 资源av| 亚洲作爱网| 第一福利在线 | 国产香蕉视频在线播放 | 成年人视频在线播放 | 欧美日本精品 | 麻豆porn| 深爱激情综合 | 久久久片 | 国产伦理一区二区 | 黄色成人在线 | 精品成人av一区二区三区 | 91污片| 亚洲欧美强伦一区二区 | 亚洲最大色网站 | 亚洲黄网在线观看 | 窝窝在线视频 | 大桥未久av在线播放 | 日韩欧美精品中文字幕 | japanese国产在线观看 | 日本不卡在线播放 | 久久国产精品亚洲 | 亚洲怡春院 | 少妇又白又嫩又色又粗 | 成人久久大片91含羞草 | 精品久久国产 | 美女视频一区 | 17c国产精品 | 尤物av在线 | 亚洲视频三区 | 国产精品免费久久 | 丁香六月激情 | 毛片a区 | 黄色片欧美 | 日韩和一区二区 | 日韩精品亚洲一区 | 亚洲伊人色欲综合网 | 奇米影视奇米色 | 欧美日韩国产麻豆 | 日韩性色 | 欧美日本在线播放 | 国产污视频在线观看 | 黄色在线观看国产 | 青青草免费看 | 在线一级| 理论片午午伦夜理片影院99 | 手机看片1024国产 | 末发成年娇小性xxxxx | 橘梨纱av一区二区三区在线观看 | 在线观看亚洲精品视频 | 男人天堂免费视频 | 亚洲男女免费视频 | 丁香激情网 | 国产网红女主播精品视频 | 久久久www成人免费精品 | 永久在线观看 | 97潮色 | 日韩美女在线视频 |