AI基礎設施業者Crusoe與AI搜尋服務商Perplexity宣布達成多年期合作。此次合作涵蓋AI服務從模型訓練到正式環境推論的完整流程,雙方將各自的核心優勢結合起來,共同深化這項合作關係。

訓練與推論一站式完成

此次合作的核心,是Crusoe提供的搭載NVIDIA GB300 NVL72的專屬叢集。透過配備NVIDIA InfiniBand高速互連技術的這些叢集,Perplexity將在其上訓練前沿模型。訓練完成後,模型將直接接入Crusoe的「Managed Inference」推論服務,用於正式環境中的即時回應生成。不必再向不同廠商分別採購與管理訓練及推論用的基礎設施,是這次合作的一大特色。

當「速度」本身就是產品

對Perplexity而言,推論速度與穩定性至關重要。該公司的AI搜尋服務據稱每月處理超過15億次提問,任何回應延遲都會直接影響使用者體驗。與傳統搜尋引擎不同,Perplexity的答案生成需要進行大規模即時運算,因此延遲與吞吐量已不只是技術指標,而是直接左右產品品質的關鍵因素。

Crusoe定位為「全端式」AI基礎設施業者

Crusoe將自身定位為垂直整合的AI基礎設施供應商,業務範圍從硬體採購、資料中心營運一直延伸到推論服務。與傳統雲端業者不同,該公司從電力採購、資料中心建置到GPU叢集架設都由自己一手包辦。在此次合作中,Crusoe也將為旗下約1,800名員工導入Perplexity的企業版方案「Enterprise Pro」與「Max」,從基礎設施供應與產品使用兩個層面深化雙方關係。雙方均未公開此次合作的具體金額或運算資源規模。

AI專業基礎設施業者的影響力持續擴大

隨著生成式AI需求持續成長,GPU叢集的採購競爭日益激烈。除了大型雲端業者之外,像Crusoe這樣將電力、設施與GPU營運整合為一體的專業基礎設施業者,正逐漸成為AI企業的有力選項。模型訓練與正式環境運作對基礎設施的要求各不相同,要同時在兩方面都維持高水準並不容易。像這次「訓練到推論由同一套基礎設施承擔」的合作模式,為AI服務企業減輕基礎設施採購與維運負擔、把更多資源投入提升回應速度與穩定性,提供了一種可行方案。

總結

Crusoe與Perplexity的這次合作,是將模型訓練與推論這兩個特性迥異的環節,整合到同一基礎設施平台上的一次嘗試。Perplexity有望提升其每月處理約15億次查詢的搜尋服務回應效能,而Crusoe則藉此獲得驗證自身基礎設施實力的案例。隨著生成式AI應用持續擴大,基礎設施專業業者與AI服務企業以這種方式加深相互依存關係的趨勢,預期今後將更加常見。