AI時代

Perplexity Labs 引入 pplx-api:開源LLM的快速高效API

AI領域的創新公司Perplexity Labs宣布推出新的API接口pplx-api,這被設計為訪問Mistral 7B、Llama2 13B、Code Llama 34B、Llama2 70B、replit-code-v1.5-3b模型的最快方法之一。pplx-api提供了簡單易用的方式,使開發人員能夠將先進的開源LLMs(Large Language Models)集成到他們的項目中。

pplx-api的特點包括:

  • 易用性:開發人員可以使用現成的開源模型並在幾分鐘內通過熟悉的REST API開始。
  • 快速推斷:我們的推斷系統經過深思熟慮的設計,高效且比Replicate快2.9倍,比Anyscale快3.1倍。
  • 經過實戰測試的基礎設施:pplx-api已經證明是可靠的,能夠在我們的Perplexity答案引擎和Labs遊樂場中服務生產級流量。
  • 開源LLM的一站式商店:我們的團隊致力於添加新的開源模型。例如,我們在沒有預先發布訪問權限的情況下,在幾個小時內添加了Llama和Mistral模型。

pplx-api現在處於公開測試階段,Perplexity Pro訂閱用戶可以免費使用。pplx-api可以作為休閒周末的黑客松活動,或作為建立新的創新產品的商業解決方案。

Perplexity Labs的pplx-api不僅在易用性上取得了突破,還在推斷速度上取得了驚人的效果。他們的API最大化地利用了AWS提供的A100 GPU和NVIDIA的TensorRT-LLM,從而實現了快速的推斷。

藉助於AWS的p4d實例和NVIDIA A100 GPU,以及TensorRT-LLM這種開源庫,pplx-api的基礎設施能夠達到一流的性能數字。除了硬件,AWS的強大和其與Kubernetes的深度集成使得我們能夠彈性地擴展到數百個GPU,並最小化停機時間和網絡開銷。

pplx-api已經在Perplexity的核心產品特性中發揮作用,僅僅將單一特性從外部API切換到pplx-api就有機會節省每年620,000美元的成本,這大約是成本的4倍減少。

用戶可以通過HTTPS請求訪問pplx-api REST API。為了驗證pplx-api,需要執行以下步驟:

  1. 通過Perplexity帳戶設置頁面生成API密鑰。API密鑰是一個長期訪問令牌,可以使用它,直到手動刷新或刪除。
  2. 將API密鑰作為承載令牌在每次pplx-api請求的授權頭中發送。

來源:https://blog.perplexity.ai/blog/introducing-pplx-api

TechApple.com 編輯部

堅持製作專業科技內容,全員擁有多種不同技術知識的特異科技媒體團隊。 電郵:editor@techapple.com