Locust性能測試工具的使用
極光clickhouse千億級數(shù)據(jù)分析實踐之路
極光筆記 | 用 WhatsApp 進(jìn)行海外用戶運(yùn)營的 N 個理由
海外郵件發(fā)送指南（二）
極光筆記 | 當(dāng)前最佳實踐：Header Bidding 與瀑布流混合請求技術(shù)
在人工智能領(lǐng)域，大語言模型（LLMs）是根據(jù)預(yù)訓(xùn)練數(shù)據(jù)集進(jìn)行”學(xué)習(xí)“，獲取可以擬合結(jié)果的參數(shù)，雖然隨著參數(shù)的增加，模型的功能也會隨之增強(qiáng)。但無論專業(yè)領(lǐng)域的小模型，還是當(dāng)下最火、效果最好的大模型，都有一個共同的劣勢：無法準(zhǔn)確/正確地回答出訓(xùn)練數(shù)據(jù)集以外（區(qū)別于驗證集和測試集的新增數(shù)據(jù)，如實時新聞、未公開的企業(yè)信息等）的結(jié)果，進(jìn)而編造答案進(jìn)行回復(fù)，即大模型幻覺問題。
為了解決上述問題，同時避免微調(diào)/重新訓(xùn)練帶來的成本，LLMs插件應(yīng)運(yùn)而生。 通過LLMs強(qiáng)大的內(nèi)容生成能力和上下文理解能力，結(jié)合插件提供的數(shù)據(jù)以及特定功能，不僅拓寬了LLMs的應(yīng)用領(lǐng)域，還增加了LLMs生成結(jié)果的可信度，更好地服務(wù)于使用者。
插件是一種軟件組件，它可以被添加到一個主要的應(yīng)用程序或系統(tǒng)中，以擴(kuò)展其功能或提供額外的特性。插件通常被設(shè)計成可獨立安裝和卸載，并且可以與主應(yīng)用程序進(jìn)行交互。插件的功能取決于所應(yīng)用的領(lǐng)域和具體的應(yīng)用程序，在AIGC快速發(fā)展的今天，大語言模型插件異軍突起，改變了插件存在的形態(tài)，這也是本篇文章重點的研究對象。結(jié)合當(dāng)前大語言模型插件的發(fā)展，插件分類如下：
傳統(tǒng)插件(Plug-in,又稱addin、add-in、addon或add-on,又譯外掛)是一種遵循一定規(guī)范的應(yīng)用程序接口編寫出來的程序。其只能運(yùn)行在程序規(guī)定的系統(tǒng)平臺下（可能同時支持多個平臺），而不能脫離指定的平臺單獨運(yùn)行，即插件的運(yùn)行依賴于宿主軟件，無差別地啟用或禁用插件功能。傳統(tǒng)插件可分為瀏覽器插件和客戶端軟件插件，傳統(tǒng)插件的存在形態(tài)如下圖所示。
大語言模型插件是隨著大語言模型發(fā)展而誕生的全新插件。 大語言模型插件的核心是Web API，獨立于大語言模型，插件開發(fā)過程不受大語言模型的約束，同時沒有開發(fā)語言的限制，更加通用，只要Web API遵循RESTful相關(guān)規(guī)則即可。只是在為大語言模型配置插件時遵循配置規(guī)則，如原生ChatGPT插件配置遵循OpenAPI格式以及添加相關(guān)描述。大語言模型與插件是相對獨立的兩個部分，大語言模型與插件關(guān)系示意如下圖所示。
大語言模型是插件的選擇器，按需使用插件功能，即只有當(dāng)用戶提供的問題或數(shù)據(jù)滿足插件調(diào)用條件時，才會調(diào)用插件，不是無差別地使用插件功能，大語言模型插件的工作流程如下圖所示。
目前最強(qiáng)大的商用大語言模型莫過于OpenAI的大語言模型ChatGPT-3.5/4.0，均支持插件功能（后面統(tǒng)一使用ChatGPT），并且對支持開發(fā)者開放了插件開發(fā)入口，開發(fā)者可以基于自身需求開發(fā)Web API作為ChatGPT插件。但是，ChatGPT創(chuàng)建插件的過程比較繁瑣，下面以GPTBots插件創(chuàng)建過程作為對比，兩者插件創(chuàng)建過程如下圖所示（左：ChatGPT創(chuàng)建插件；右：GPTBots創(chuàng)建插件）。
我們不一樣！GPTBots插件應(yīng)用的技術(shù)路線不同于ChatGPT，GPTBots插件融合了ChatGPT插件創(chuàng)建規(guī)范（通用的OpenAPI規(guī)范）和函數(shù)調(diào)用功能，這樣做有如下優(yōu)勢：
開發(fā)者只需專注于自身功能接口開發(fā)，無需開發(fā)額外的接口
插件配置遵循OpenAPI規(guī)范，開發(fā)者可以直接復(fù)用面向 ChatGPT Web 的插件，一鍵發(fā)布插件至 GPTBots
GPTBots 插件自動兼容市面上主流已支持插件能力的 LLM，開發(fā)者無需再去適配每個LLM
通過上面插件創(chuàng)建過程對比，我們知道，使用GPTBots插件只需四步：開發(fā)插件接口、新建插件、配置插件鑒權(quán)、添加符合OpenAPI規(guī)范的接口配置，其余的交給GPTBots。
（1）開發(fā)插件接口
這里與ChatGPT原生方式相同，需要開發(fā)者自行開發(fā)插件接口，但是，在GPTBots中不需要開發(fā)者另行開發(fā)插件清單接口、插件接口配置信息接口、插件Logo接口，只需要開發(fā)者專注于插件功能接口開發(fā)。
（2）新建插件
GPTBots新建插件入口如下圖。
（3）配置插件鑒權(quán)
GPTBots插件提供三種鑒權(quán)方式，即不鑒權(quán)(None)、Basic鑒權(quán)和Bearer鑒權(quán)，配置過程如下圖。
（4）添加符合OpenAPI規(guī)范的接口配置
完成上述準(zhǔn)備工作，最后為插件配置接口規(guī)則，即開發(fā)者的功能接口，GPTBots采用的接口規(guī)則遵循OpenAPI規(guī)范，配置說明如下圖。
完成插件創(chuàng)建后，可以在“我的插件”中看到已創(chuàng)建成功的插件，同時，GPTBots提供了插件一鍵發(fā)布功能，即將插件發(fā)布到插件市場，供其他開發(fā)者使用。
綜上，GPTBots插件最大程度簡化了用戶創(chuàng)建和使用插件的流程，極大降低了插件使用門檻。
GPTBots不僅創(chuàng)建插件流程非常簡單、對開發(fā)者非常友好，使用起來也非常順手。使用插件前，我們需要為Bot添加插件。以高德天氣插件為例，為“天氣小精靈”Bot添加插件過程如下：
當(dāng)我們?yōu)椤疤鞖庑【`”Bot添加天氣插件和搜索插件后，當(dāng)問題中出現(xiàn)天氣和實時信息相關(guān)問題時，插件會主動承擔(dān)內(nèi)容生產(chǎn)的責(zé)任，實測效果如下：
GPTBots官方為廣大開發(fā)者和用戶提供了眾多實用的插件，如PDF生成插件、天氣插件和搜索插件等等，GPTBots部分插件如下：
插件在實際業(yè)務(wù)應(yīng)用中，由于LLM每次調(diào)用token是有上限的，而插件也不可避免的占用token，這樣就導(dǎo)致無法在一次請求調(diào)用中提供多個插件備用?；蛘咭粋€插件協(xié)議如果過于復(fù)雜，可能導(dǎo)致直接調(diào)用失敗。
GPTBots平臺為了更好解決此類問題，推出了Flow功能。開發(fā)者可以在不同的步驟編排多個LLM參與業(yè)務(wù)處理，每個LLM可以最多添加3個插件，這樣就很好的解決了插件使用限制的問題，同時通過減少請求上下文內(nèi)容長度讓LLM更加專注，從而提升插件調(diào)用成功率。
LLMs插件區(qū)別于傳統(tǒng)插件，它獨立、靈活、自由、功能強(qiáng)大，大語言模型插件的核心是Web API，因此大語言模型插件完全擁抱互聯(lián)網(wǎng)，同時，沒有開發(fā)語言“歧視”，無論開發(fā)者的語言棧是Python、Java、Go、PHP等，只要可以開發(fā)HTTP協(xié)議接口，遵循RESTful規(guī)則，就可以構(gòu)建大語言模型插件，相信未來大語言模型插件種類會越來越豐富，功能越來越強(qiáng)大。相對于ChatGPT繁瑣的插件創(chuàng)建流程，GPTBots平臺簡化了插件創(chuàng)建流程，簡單、易用、好用，提高插件開發(fā)者效率，降低開發(fā)者學(xué)習(xí)成本，未來一定會有越來越多的開發(fā)者選擇GPTBots平臺。
極光GPTBots已上線，訪問https://www.gptbots.ai/developer，立即認(rèn)證成為開發(fā)者體驗!
關(guān)于極光
極光（Aurora Mobile，納斯達(dá)克股票代碼：JG）成立于2011年，是中國領(lǐng)先的客戶互動和營銷科技服務(wù)商。成立之初，極光專注于為企業(yè)提供穩(wěn)定高效的消息推送服務(wù)，憑借先發(fā)優(yōu)勢，已經(jīng)成長為市場份額遙遙領(lǐng)先的移動消息推送服務(wù)商。隨著企業(yè)對客戶觸達(dá)和營銷增長需求的不斷加強(qiáng)，極光前瞻性地推出了消息云和營銷云等解決方案，幫助企業(yè)實現(xiàn)多渠道的客戶觸達(dá)和互動需求，以及人工智能和大數(shù)據(jù)驅(qū)動的營銷科技應(yīng)用，助力企業(yè)數(shù)字化轉(zhuǎn)型。
熱門文章
相關(guān)文章
極光官方微信公眾號
關(guān)注我們，即時獲取最新極光資訊
現(xiàn)在注冊，領(lǐng)取新人大禮包
