自己的AI自己”練” ：用技嘉AI TOP跨出人工智慧私有化的第一步

今年大家都在說AI，也都希望可以在AI潮流裡為大家帶來一些不一樣的東西，但是，目前大家所看到的AI應用大多是一些大廠開發出來的，不管是Open AI的Chat GPT、Meta的Llama或是Google的AI，功能都很強，但全都是固定形式，也就是說不管誰來問，它的回答都差不多，差別可能只是它會不會跟你說瞎話，而且答案的精準度跟正確性也很難拿捏。

 

舉個例子，顧客到Chat GPT輸入：「我想知道AORUS 2024年的筆電或是顯示卡有什麼特點？」然後，它回答：「我的資料庫內容只有到2023年，無法回答你的問題」或是隨便回答一些不正確的答案，這樣反而造成負面效果。另一個情況，就是今天大家要寫一個文案做產品促銷，或是請它產出建議的主視覺，結果生成的內容都差不多…，完全達不到預期的效果，也蠻讓人困擾的。

 

所以，在2024年COMPUTEX看過技嘉推出的AI TOP，希望可以透過這樣軟硬體搭配的解決方案，為企業甚至個人帶來AI私有化的契機。技嘉的AI TOP最大的特點是可以讓企業將市面上常見的LLM大語言模型進行最佳化訂製，創造出更符合需求的私有化AI。但很多人可能還不是很清楚怎麼透過AI TOP進行AI大語言模型訓練。今天的文章就來跟大家說明一下，要如何在不使用大型伺服器的情況下，訓練大語言模型並建構自己的私有AI。

 

 

AI TOP硬體配置。

 

AI TOP是技嘉研發的解決方案，所以要使用它必須搭配技嘉的硬體。最基本的硬體配置需要有包括TRX50 AI TOP或TRX50 AERO D這些技嘉TRX50系列主機板，以及一張技嘉RTX 40系列顯示卡，或者技嘉Radeon™ Pro W7000系列、Radeon™ RX7000系列顯示卡。至少要有這樣的板卡搭配，才能使用AI TOP應用程式，不然軟體會直接判定無法安裝。

 

當然，如果AI系統需要安裝比較多顯示卡，建議搭配一個大一點的電源供應器，舉例來說，如果你安裝了2片RTX 4070 TI SUPER顯示卡，就會需要2組12VHPWR供電線，建議使用UD1300GM PG5這款大瓦數的機種，會比較保險。至於AI專用SSD，並不是必要條件，但如果真的想要安裝的話，技嘉的AI TOP 100E SSD以及Phison的aiDAPTIVCache ai100 SSD這兩款產品，可以適當增加運算效率。

 

作業系統需求：

 

AI TOP是建構在Linux作業系統下的應用程式，一看到Linux，可能很多人會先往後退三步，這不是專業人士才懂用的”宅系”作業系統嗎？會不會很難阿？不可諱言，使用Linux需要有一點程式概念，或是需要懂得怎麼下參數。但是技嘉的工程師將整個流程簡單化，讓使用者基本上不太需要懂得艱深的程式語言，就能安裝操作。

 

 

 

 

而且在眾多Linux架構作業系統類別中，選擇ubuntu這個操作介面跟windows有87分像的作業系統。但這邊有一點要注意，AI TOP必須安裝在ubuntu 22.04版本上，主要原因是這個版本比較成熟穩定，同時它是LTS（Long-term support）版本，意味著這個作業系統是5年長期支援的，不會用一用就突然不更新而變成作業系統孤兒了，可以提供最基本的安全性，並降低使用及更換作業系統的難度。

 

 

安裝ubuntu 22.04的難度不高，請先到相關網站進行下載ISO檔案，之後使用Rufus把ISO檔製作成USB安裝碟，這個步驟跟做Windows安裝碟一樣。做好之後，用它開機，Linux的好處是可以先試用USB裡內建的可攜式作業系統，再決定要不要安裝，安裝的過程也很直覺，基本上用它預設的選項，大部分情況只要一直按下一步，就可以完成安裝了！

 

驅動程式安裝：

 

現在AI的運算，主要是使用顯示卡運算，特別是CUDA核心，所以繪圖記憶體跟CUDA核心越高，運算及訓練的速度也越快，但這邊要提醒另外一點，AI的運算跟大語言模型訓練，不同於顯示卡在運算遊戲圖素跟繪圖效能，使用的不是NV LINK這一類需要串接顯示卡的方式，而是在軟體裡可以指定哪些顯示卡要共同加入來進行AI運算，不需要使用支援NV LINK的產品就可以獲得不錯的協同運作能力。

 

所以安裝AI TOP之前，要先安裝顯示卡驅動程式，讓它發揮最佳效能。這邊會需要安裝NVIDIA 545版驅動程式以及CUDA 12.3等驅動程式。請依據下列步驟執行：

 

1. 首先到技嘉AI TOP官方網頁，下載AI TOP應用程式，這是一個壓縮檔，下載並解壓縮後，將整個資料夾複製到作業系統的”Home”資料夾裡。

 

2. 在AI TOP Utility裡面，按滑鼠右鍵，選擇開啟terminal（終端機），這邊記住要連接網路，以確保驅動程式的下載及安裝順利。

 

3. 由於每個人安裝的顯示卡不一樣，所以在terminal裡面要下的參數與不同，為避免指令下錯而導致安裝失敗，下表提供不同顯示卡所需的安裝指令，建議可以直接複製並貼在terminal裡，方便使用：

 

顯示卡	驅動程式指令
RTX 4090D之外的其他RTX 40系列顯示卡	bash nvidia_driver_cuda.sh
RTX 4090D顯示卡	cd RTX_4090D_installation bash 4090D_nvidia_driver_cuda.sh
AMD顯示卡	bash amd_driver_rocm.sh

 

在安裝過程中，會顯示訊息要求輸入Sudo密碼，這時請輸入開機密碼。同時請注意，輸入的密碼並不會顯示在畫面上，連*字形的暗碼都沒有，所以要自己記住輸入的情況，才不會因為密碼輸入錯誤而失敗。安裝程序結束之後，會重新啟動電腦，以進行下一個步驟。

 

安裝AI TOP應用程式：

 

在AI TOP Utility資料夾裡面找到”gigabyte-ai-top-utility-1.0.1.deb”這個檔案，用滑鼠右鍵點選它，並選擇以Software Install執行它，這時會跳出一個安裝視窗，請點左上角的Install按鍵，這時系統會要求你輸入開機密碼。輸入之後就會自動完成第一階段安裝工作。

 

 

接下來請點選桌面左下角的應用程式按鍵，並找到剛剛安裝的AI TOP Utility，用滑鼠點選啟動它。接著會跳出terminal，繼續下載並安裝AI TOP所需要的其他軟體元件，其間也會要求輸入幾次Sudo密碼這整個過程依照網路速度跟系統效能的不同，約需要15-30分鐘，之後就會跳出AI TOP的主程式，到這邊整個AI TOP應用程式就安裝完成了！

 

 

接下來，就可以開始安裝大語言模型來進行訓練，至於怎麼安裝呢？我們將再下一篇文章進行說明。也請密切關注AORUS官方網站：https://www.aorus.com/zh-tw/monitors 或AORUS台灣社群網站：FB、IG、YT，以獲得更多第一手資訊。