九章云極DataPilot：大模型駛?cè)胂蛄亢５臄?shù)據(jù)領(lǐng)航員
算力、算法、數(shù)據(jù)，被譽為AI的三大要素。對于當(dāng)前大火的生成式AI、大模型，也不例外。
隨著國內(nèi)外硬件廠商、云廠商的百花齊放，AI算力成為最容易實現(xiàn)的要素；AI算法也有相對成熟的經(jīng)典算法、調(diào)優(yōu)手段，況且還有眾多的AI基礎(chǔ)軟件提供堅實保障。
而大模型之所以“大”，更多的與數(shù)據(jù)相關(guān)。數(shù)據(jù)量越大、數(shù)據(jù)質(zhì)量越高，大模型的效果就越好。PC互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等產(chǎn)生了海量的數(shù)據(jù)，而文字、圖片、視頻等多模態(tài)的形式，則進一步加大了數(shù)據(jù)的復(fù)雜度。如何有效地解決數(shù)據(jù)存儲、計算和流通，使之為大模型進化提供可靠的學(xué)習(xí)源，成為大模型發(fā)展的當(dāng)務(wù)之急。
2023年6月30日，AI基礎(chǔ)軟件提供商九章云極DataCanvas在北京召開新品發(fā)布會，發(fā)布人工智能應(yīng)用構(gòu)建基礎(chǔ)設(shè)施平臺AIFS的同時，面向全球首提數(shù)據(jù)“向量海”（Vector Ocean），并推出暢游于“向量海”的基于大模型的新一代數(shù)據(jù)架構(gòu)工具產(chǎn)品DataPilot數(shù)據(jù)領(lǐng)航員。
九章云極DataCanvas產(chǎn)品戰(zhàn)略地圖
向量海，數(shù)據(jù)發(fā)展的終極形態(tài)
一直以來，AI和數(shù)據(jù)關(guān)系密切。以往更多的是數(shù)據(jù)對AI的單向輸出，通常被認為是AI的原料、基礎(chǔ)要素，而大模型的出現(xiàn)，讓數(shù)據(jù)得到了AI的反向賦能。
當(dāng)AI能力躍升而與數(shù)據(jù)實現(xiàn)“雙向奔赴”時，數(shù)據(jù)的未來在哪里？DataPilot給出的答案是——“向量?！薄?/p>
向量，一個數(shù)學(xué)名詞，是指具有大小和方向的量。在二維空間中，向量通常由兩個數(shù)值組成，表示在水平和豎直方向上的大小。在三維空間中，向量通常由三個數(shù)值組成，表示在三個方向上的大小。
在計算機科學(xué)中，向量是一種常用的數(shù)據(jù)結(jié)構(gòu)，也被稱為數(shù)組或列表。每個向量都包含多個元素，每個元素都有一個索引，可用于訪問或修改其對應(yīng)的值。
在機器學(xué)習(xí)和數(shù)據(jù)科學(xué)中，向量通常表示為一組數(shù)字，它們構(gòu)成了一個多維的數(shù)值空間。向量的每個維度代表該空間的一個不同的特征或?qū)傩?，例如圖像中不同像素點的顏色值、文本中每個詞的出現(xiàn)頻率等。通過對向量進行數(shù)學(xué)運算，可以實現(xiàn)各種機器學(xué)習(xí)算法和數(shù)據(jù)分析技術(shù)，例如聚類、分類、回歸等。
“向量海”的提出，是九章云極DataCanvas基于多年來在數(shù)據(jù)庫領(lǐng)域的研究和實踐，結(jié)合向量數(shù)據(jù)的發(fā)展方向，創(chuàng)造性提出的數(shù)據(jù)發(fā)展的終極形態(tài)。
DataPilot，大模型駛?cè)胂蛄亢５臄?shù)據(jù)領(lǐng)航員
作為向量海和大模型之間需要一座橋梁，九章云極DataCanvas此次提出的DataPilot便是這樣的角色，為向量數(shù)據(jù)在大模型中的應(yīng)用建立鏈接和指明方向。
作為一種數(shù)據(jù)處理新范式、基于大模型的新一代數(shù)據(jù)架構(gòu)工具產(chǎn)品，DataPilot通過充分利用DataCanvas Alaya九章元識大模型的通用文本的理解和生成能力以及在數(shù)據(jù)領(lǐng)域的微調(diào)優(yōu)化，幫助用戶實現(xiàn)數(shù)據(jù)在建模全生命周期的智能化與自動化。
據(jù)九章云極DataCanvas公司副總裁周曉凌介紹，DataPilot的特性包括多?！跋蛄亢！睌?shù)據(jù)架構(gòu)，按需自動化數(shù)據(jù)集成、代碼生成、流程編排和分析計算，以及基于自然語言的數(shù)據(jù)獲取、分析和機器學(xué)習(xí)建模能力。DataPilot能夠大幅降低數(shù)據(jù)集成、治理、建模、計算、查詢、分析、機器學(xué)習(xí)建模全鏈路的技術(shù)門檻，降低數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展的成本，加快數(shù)字化創(chuàng)新的進程。
正是基于“向量?！崩砟睿珼ataPilot所包含的DataCanvas RT實時決策中心平臺、開源DingoDB多模向量數(shù)據(jù)庫等各類數(shù)據(jù)軟件，讓用戶具備AI技術(shù)突破情況下亟需的實時、多模態(tài)的數(shù)據(jù)能力。
其中，DingoDB作為一款開源的多模態(tài)向量數(shù)據(jù)庫，將是向量海時代的強大引擎。它結(jié)合了數(shù)據(jù)湖和向量數(shù)據(jù)庫的特性，支持存儲任何類型（鍵值、PDF、音頻、視頻等）和任何大小的數(shù)據(jù)。通過DingoDB，用戶可以構(gòu)建專屬的數(shù)據(jù)“向量海”，不論是結(jié)構(gòu)化還是非結(jié)構(gòu)化數(shù)據(jù)，僅通過1套SQL即可完成多模態(tài)數(shù)據(jù)的分析與科學(xué)計算。
向量數(shù)據(jù)庫，未來已來
去年以來，隨著生成式AI及大模型的爆火，向量數(shù)據(jù)庫站上風(fēng)口浪尖。
作為一種專門用于存儲、索引和查詢嵌入向量的數(shù)據(jù)庫系統(tǒng)，向量數(shù)據(jù)庫可以讓大模型更高效地存儲和讀取知識庫，并且以更低的成本進行 Fine Tune（模型微調(diào)）。同時，向量數(shù)據(jù)庫還自帶多模態(tài)功能，可以大幅度拓展大模型的時間邊界和空間邊界。這些都注定向量數(shù)據(jù)庫成為了大模型的數(shù)據(jù)好伴侶。
向量數(shù)據(jù)庫市場空間巨大，目前尚處于從 0-1 階段。去年以來，國內(nèi)外多個向量數(shù)據(jù)庫產(chǎn)品均獲得了可觀的融資。據(jù)東北證券預(yù)測，到 2030 年，全球向量數(shù)據(jù)庫市場規(guī)模有望達到 500 億美元，國內(nèi)向量數(shù)據(jù)庫市場規(guī)模有望超過600億元人民幣。
“數(shù)據(jù)的有效存儲、計算和流通仍然具有廣闊的發(fā)揮空間，在現(xiàn)實世界中，行業(yè)、企業(yè)、專業(yè)之間存在眾多獨立的數(shù)據(jù)領(lǐng)地，龐大的數(shù)據(jù)量和貫通數(shù)據(jù)領(lǐng)地的難度預(yù)示著通用大模型的落地難度。”九章云極DataCanvas公司董事長方磊表示。
DataPilot攜向量海、向量數(shù)據(jù)庫DingoDB的出現(xiàn)，正是為了解決大模型的新一代數(shù)據(jù)難題而生。面向未來，DataPilot有望在大模型發(fā)展中留下濃墨重彩的一筆。
