2023年亞馬遜云科技re:Invent全球云計(jì)算大會，最引人注目的更新，當(dāng)屬亞馬遜云科技模型的大模型托管服務(wù)——Amazon Bedrock。這次更新該服務(wù)增加了Fine-tuning、Agents、Knowledge Bases、Guardrails等全新功能，旨在幫助客戶更高效、智能、安全地構(gòu)建應(yīng)用。下面就來了解下該服務(wù)的亮點(diǎn)、詳細(xì)使用教程，以及作為開發(fā)者如何快速上手Amazon Bedrock。

Amazon Bedrock的亮點(diǎn)是什么？

有大量的基礎(chǔ)模型(FM)供用戶選擇，功能覆蓋文字生成、聊天、圖片生成等。可選模型也包括了這次最新重磅發(fā)布的Anthropic Claude2.1模型，以及來自其他模型供應(yīng)商共計(jì)19個模型（下圖），目前支持的供應(yīng)商有AI21 Labs、Meta、Cohere、Stability AI和Amazon自研模型等。

可以在Modality一列中找到適用于自己需求的模型類型，如標(biāo)識了Image的大模型可以用于生成圖片，Text可以用于生成文字，Embedding用于將輸入轉(zhuǎn)為Embedding形式做對象相似性搜索。

可以借助企業(yè)知識庫功能，為FM擴(kuò)展檢索增強(qiáng)生成(RAG)功能。

安全與合規(guī)性：支持用戶賬戶內(nèi)私有化部署、用戶數(shù)據(jù)全生命周期保護(hù)、支持權(quán)限管理和日志與監(jiān)控功能。同時可以篩選、限制用戶輸入和模型輸出，構(gòu)建負(fù)責(zé)任的AI。

目前所有庫內(nèi)模型都已支持Fine-Tune模型微調(diào)，企業(yè)可以根據(jù)需求定制大模型。無需編寫代碼，通過GUI即可訓(xùn)練和驗(yàn)證模型。

Amazon自研模型Titan Text Express和Titan Text Lite FM已支持Pre-Training，可以對AI模型能力外的某一行業(yè)、新領(lǐng)域知識提供更強(qiáng)大的能力。

成本估算

首先，Bedrock不同模型的單位令牌價(jià)格略有差距其次根據(jù)模型功能劃分計(jì)費(fèi)模式：

文本生成模型按已處理的輸入令牌和生成的輸出令牌計(jì)費(fèi)。文本嵌入模型按已處理的輸入令牌計(jì)費(fèi)。圖像生成模型按生成的圖像計(jì)費(fèi)。

根據(jù)模型吞吐量模式劃分：

按需付費(fèi)和批量（多行輸入）付費(fèi)：這兩種模式只需按實(shí)際用量付費(fèi)，無需承諾使用期限。

預(yù)配置吞吐量：利用該模式可以預(yù)設(shè)指定模型的單元用量，時間范圍可選1-6個月，通過該模式可以提供模型穩(wěn)定的性能表現(xiàn)，同時大幅降低使用成本。

模型自定義：使用自定義模型推理需要采購預(yù)配置吞吐量，若無承諾時間，按1個模型單元付費(fèi)。如果想要吞吐量達(dá)到1個模型單元以上，需要配置承諾時間。

如何打開Bedrock并申請使用模型？

進(jìn)入操作臺Console，打開Bedrock。

主頁點(diǎn)擊”Get Started”。

點(diǎn)擊”Base Model”查看所有的基礎(chǔ)模型。

如果想在賬戶中開啟新的模型，如Claude 2.1。點(diǎn)擊左側(cè)”Model Access”，再點(diǎn)擊右上角”Manage Access”，申請并開啟模型。

在模型申請界面，選擇想要使用的模型，再點(diǎn)擊左下角確認(rèn)即可生效。

如何在Bedrock中使用模型做內(nèi)容生成？

文字生成

點(diǎn)擊模型場景，并選擇模型。

選擇想要使用的具體模型以及吞吐量模式。

在文字框中輸入問題并點(diǎn)擊Play生成回復(fù)。用戶可以調(diào)整輸出內(nèi)容長度，輸出隨機(jī)度、Top P采樣概率等參數(shù)，下圖是生成一個使用教程的場景。

聊天對話

點(diǎn)擊模型場景，并選擇模型。

選擇想要使用的具體模型以及吞吐量模式。

在文字框中輸入問題并點(diǎn)擊Run開始聊天。用戶可以調(diào)整輸出內(nèi)容長度，輸出內(nèi)容隨機(jī)度等參數(shù)，下圖是一個聊天的場景的例子。

圖片生成

點(diǎn)擊模型場景，并選擇模型。

選擇想要使用的具體模型以及吞吐量模式。

在文字框中描述想生成的圖片形式，并點(diǎn)擊Run開始生成。在右側(cè)可以配置圖片生成模式、輸出內(nèi)容限制、生成圖片尺寸/分辨率/尺寸、數(shù)量等，下圖是一個生成圖片場景的例子。

如何利用Amazon Bedrock

構(gòu)建負(fù)責(zé)任的AI

在re:Invent 2023中，亞馬遜云科技CEO Adam同時發(fā)布了Amazon Bedrock的新功能Guardrails for Amazon Bedrock，用戶可以利用該服務(wù)定義符合企業(yè)要求的AI模型回復(fù)安全策略，對用戶輸入和模型輸出中不合規(guī)內(nèi)容限制和篩選，從而構(gòu)建負(fù)責(zé)任的AI。

Guardrails for Amazon Bedrock目前支持三項(xiàng)控制功能，大家通過控制臺配置該服務(wù)。

Denied Topics

第一項(xiàng)控制功能就是通過定義禁止的話題，限制AI模型不合規(guī)的輸出。圖2-3就舉了一個銀行助手應(yīng)用的場景。在該場景中，我們不想讓AI模型回復(fù)和投資建議相關(guān)的話題。

此時我們需要添加禁止話題”Investment advice”，并添加話題具體的描述，讓AI模型更好的理解我們的要求。

當(dāng)用戶問被限制的投資建議相關(guān)問題時，在下圖中模型返回默認(rèn)回復(fù)”無法回復(fù)”。

Content Filter

第二項(xiàng)控制功能是對模型輸入、輸出的內(nèi)容中限制不良內(nèi)容，并提供限制程度設(shè)定。可以篩選的不良內(nèi)容包括：hate、insults、sexual和violence，可選擇的程度有None、Low、Medium、High。值得注意的是Bedrock中的模型已經(jīng)對上述不良內(nèi)容做過限制，該控制可以進(jìn)一步加強(qiáng)對不良內(nèi)容的篩選，以滿足企業(yè)內(nèi)部更高標(biāo)準(zhǔn)的AI輸出內(nèi)容限制策略。

PII脫敏(即將上線)

第三項(xiàng)控制功能就是通過定義PII類型，常用的如姓名、電話、地址、郵箱、ID等，限制用戶輸入PII信息，或者在模型輸出內(nèi)容中將PII信息脫敏、移除。

該如何學(xué)習(xí)Amazon Bedrock?

說到學(xué)習(xí)Amazon Bedrock，快速上手AI大模型，學(xué)習(xí)目前最前沿的AI技術(shù)。亞馬遜云科技官方的免費(fèi)課程平臺Skill Builder，該平臺不僅包括超過600多門的在線課程幫助大家學(xué)習(xí)云服務(wù)，還包含了亞馬遜云科技認(rèn)證的備考課程、動手實(shí)驗(yàn)和練習(xí)題，幫助大家更容易地考取高含金量的云計(jì)算技能認(rèn)證，為職場加速。

目前Skill Builder上已經(jīng)上線了免費(fèi)的中文版Amazon Bedrock學(xué)習(xí)課程，只需要1個小時，就能快速掌握Amazon Bedrock的理論知識、應(yīng)用場景和實(shí)操步驟，中文課程更好的幫助小伙伴們掌握該服務(wù)，快速將AI技術(shù)應(yīng)用于自己的工作中。該課程主要覆蓋如下內(nèi)容：

了解Amazon Bedrock的工作原理。

熟悉Amazon Bedrock的基本概念。

認(rèn)識Amazon Bedrock的優(yōu)勢。

列出Amazon Bedrock的典型使用案例。

介紹與Amazon Bedrock解決方案相關(guān)的典型架構(gòu)。

了解Amazon Bedrock的成本結(jié)構(gòu)。

在亞馬遜云科技管理控制臺中進(jìn)行Amazon Bedrock的演示。

申請創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！

本文素材來自互聯(lián)網(wǎng)，如有侵權(quán)，請聯(lián)系將及時刪除！