自己的AI自己練，如何驗證AI最佳化結果

最佳化完成之後，要怎麼驗證最佳化的結果呢？。畢竟，花這麼多時間最佳化AI，卻無法瞭解最佳化情況，也蠻詭異的。而也是我們另一個常被問到的問題之一。如果你對這個問題也同樣好奇，趕快試試AI TOP應用程式的驗證功能。

先點一下主程式的Validation選項，就可以啟動驗證功能。

驗證功能的第一個位置是Validation Type，這邊要選擇要驗證的類型，因為我們是驗證LLM的最佳化結果，所以選擇Text to Text，如果是要驗證其他型式的檔案，如圖片，就選擇相對應的形式，例如Text to Image。

Fine-Tuning Type，要跟之前Experiment的設定一樣，如果最佳化時選Full這邊就選Full。

System prompt這邊可以不用填，Maximum tokens這邊數值代表它能問答的字數，當你向AI輸入一句話時，AI首先會將這句話拆分成tokens，然後處理這些tokens來理解你的意思。同樣，當AI生成回應時，它也是基於tokens來產生句子，原則上100 tokens可以顯示約49個中文字串或75個英文短文。但每個大語言模型支援的Token數也不一樣，這邊我們先設400 tokens，大概可以回覆200個中文字串。

Top-p代表用來調整與控制AI模型輸出的隨機性。數值越低答案越收斂，或者說越精準，越高則越發散隨機，Temperature這一項，有人說是AI的溫度，這是調控AI模型輸出的創造性，讓模型有機會產生更多元、更有創造力的答案，簡單說就是她回答的時候幹話會比較多，但也更像人。這兩個設定也可以先用預設值就好。

最後回來設定Backbone Model部分。這個就是你想要驗證的大語言模型，這邊先試試還沒有最佳化過，看結果會是如何。設定完之後，按下Start Chat，就可以開始問它問題了。

先前文章裡，我們用來訓練的Dataset是跟台灣美食有關的，所以來問問它有沒有美食推薦。結果還沒最佳化的LLM，並不能正確回答問題。

接著，我們改用最佳化過，存在Output資料夾的裡面的模型。請注意，這邊必須選到資料夾最底層的檔案，才能正確驗證喔！

設定完之後，一樣按下Start Chat，問它有沒有美食推薦。它就可以正確回答出答案了！

當然，可能有人說：「我AI最佳化之後都看不到效果。」有一個主要的原因是訓練量不夠大，因為大語言模型可訓練參數會影響最佳化結果，這個可訓練參數就是我們常會看到的8B、13B、27B….這些，B指的是Billion，就是10億，簡單做個計算，Meta的Llama 3 8B，就會有80億個可訓練參數。

在這個情況下，用100個問答的dataset，對這個8B來說，就像在國家圖書館的大量藏書理面放一張小紙片，基本上是很難找到的。所以AI需要一直不斷重複訓練及最佳化，就像我們在教小朋友一樣，要一直給他新資訊，並不斷重複加深他的印象，這樣才會成功。所以各位在最佳化AI時需要有耐心，不要操之過急，也希望大家都可以成功最佳化自己要的AI模型。

如果有相關疑問或想進一步掌握最新資訊，請密切關注AORUS官方網站：https://www.gigabyte.com/tw/Consumer/Ai-Top/或AORUS台灣社群網站：FB、IG、YT