ブログを更新するのが面倒になって早１年ほど経過して、久しぶりの更新になります。（まー１年以上前から更新するのがめんどくさいのは変わりないですが。。。）
昨今のAI（LLM？）ブームで仕事でもAIを使用する頻度が多くなってきて、ローカルでもLLＭを動かしたくなりました。
ただローカルでLLMを動かくためには（モデルによりますが）大量のメモリが必要になるので本体メモリをGPUと共有できるユニファイドメモリに対応したAMD Ryzen AI Max+ 395を搭載したEVO-X2がGMKTecから発売されたので勢いで購入しました。（今まで10万円位のPCを使用していたので、かなりの値段です。。。）
購入したのは128GBモデルでGMKTecの公式サイトで先行購入で入手しました。
Amazonでも購入可能です。公式で買うより安心で値段も安いかもです。
まずは全体の形です。
正面です。
裏側
今まで使用していたミニPCのGMKtec NucBox K8 Plusに比べるとかなり大きいですね。
まー細かいことはさておきベンチマーク結果になります。
CINEBENCH R23を使用したCPUの結果です。
マルチコアは、「34107pts」になりました。
シングルコアだと「1999pts」になりました。
次に内臓GPUであるAMD Radeon 8060Sのベンチマークになります。
3DMark無料版のSteel Nomad Lightの結果は、「11126」となりました。
ファイナルファンタジーXIVのベンチマーク結果は、4Kで「5731」となりました。
OCuLink接続でeGPUとして使用していたRTX 3060 Tiと同じくらいの結果でした。
ちょっと大きめのミニPCにしてはかなりパワフルです。ただ値段を考えると置き場所や消費電力を気にしない人であれば、デスクトップPCをBTOなどで購入したほうがコスパは良さそうです。たぶん。
次のベンチマークは、LM Studioを使用したLLM（生成AI）のベンチマークになります。
EVO X2の強みでもあるユニファイドメモリで大きなモデルでもメモリ上に乗せることが可能です。
で、適当にサイズが大きそうなモデルを探して実行してみます。（実行にあたって各モデルの設定からGPU Offloadを最大にしています。）
「llama-3.1-70b-japanese-instruct-2407-Q5_K_S」でサイズが「48.66GB」
プロンプト：北海道について教えて結果：3.88 tok/sec・638 tokens
北海道！日本の最北端に位置する、大自然と美食の宝庫ですね！ここでは、北海道の基本情報から観光スポット、グルメまで幅広くご紹介します。
**基本情報**
* 北海道は、日本の都道府県の一つで、札幌市が最大の都市です。
* 面積は約83,000km²で、日本の総面積の約22%を占めています。
* 人口は約540万人（2020年推計）で、東京都に次ぐ第2位の人口規模です。
**観光スポット**
1. **札幌時計台**: 札幌市にある歴史的な建物で、日本最古の塔時計として有名です。
2. **大通公園（Odori Park）**: 札幌市中央区に位置する、長さ約1.5kmの緑豊かな公園です。夏にはビアガーデンや花火大会が開催されます。
3. **函館山（Hakodate-yama）**: 函館市にある活火山で、ロープウェイから見下ろす夜景は有名です。
4. **阿寒湖（Akan-ko）**: 釧路市にある湖で、マリモと呼ばれる特殊な藻類が生息しています。
5. **知床半島（Shiretoko Peninsula）**: 世界遺産に登録された自然豊かな半島で、トレッキングやクルージングを楽しめます。
**グルメ**
1. **海鮮丼（Kaisendon）**: 新鮮な魚介類がたっぷり乗った丼です。
2. **ジンギスカン（Genghis Khan）**: ラム肉を使った、北海道名物の焼き肉料理です。
3. **スープカレー（Soup Curry）**: 札幌発祥のスパイシーなカレーライスで、野菜やチキンが入っています。
4. **ラーメン（Ramen）**: 北海道はラーメンの激戦区でもあります。有名店がたくさんありますよ！
5. **白い恋人（Shiroi Koibito）**: 有名なお菓子で、ホワイトチョコレートを使ったラングドシャです。
**イベント・フェスティバル**
1. **札幌雪まつり（Sapporo Snow Festival）**: 毎年2月に開催される大規模な雪まつりです。
2. **さっぽろオータムフェスト（Sapporo Autumn Fest）**: 秋の食や酒を楽しむイベントで、毎年9月から11月にかけて行われます。
3. **函館港まつり（Hakodate Minato Matsuri）**: 函館市で開催される夏祭りです。花火大会もありますよ！実行中のシステム状況です。モデルが50GB弱ありますが、すべてGPUメモリに乗っています。すごい。
出力される速度は、3.88 tok/secと遅いですが大きなモデルもちゃんと実行できます。
次にコーディング用の大きなモデルを試してみます。
「qwen2.5-coder-32b-instruct-8_0」サイズが「34.82GB」
プロンプト：ブロック崩しゲームができるhtmlとjavascriptのソースコードを作成して結果：6.09 tok/sec・1575 tokens
せっせと出力されたHTMLとJavascriptのコードをコピペしたら修正なしでちゃんと動くゲームが出来上がりました！いやーすごい時代になりましたね。
生成されたブロックゲームで、キーボードで操作もできてちゃんとプレイできます。
まだまだメモリに余裕があるので、もっと大きなモデルでも乗せることができそうです。128GBモデルは最大でGPUに96GBのメモリを割り当てることが可能です。
最後に小さめのモデルの速度も試してきます。
「cyberagent-calm2-7b-chat-dpo-experimental-q4_K_M」サイズが「4.27GB」
プロンプト：猫の種類を教えて結果：39.47 tok/sec・163 tokens
回答：
猫の種類には、さまざまなものがあります。以下に代表的なものをいくつか挙げます。
アメリカンショートヘア：がっちりとした体格で、毛色は赤、黒、白などがあります。
マンチカン：短い足で歩く姿が愛らしい小型の猫です。
スコティッシュフォールド：丸みを帯びた短毛の猫で、「フワフワ」とした毛が特徴です。
ソマリ：独特な顔つきと長い被毛を持つ猫です。
メインクーン：大型の猫種で、大きくふさふさとした毛が特徴です。
日本猫：代表的な日本の猫として知られているのは、三毛（黒、茶、白）、縞模様（キジトラやサバトラ）の猫です。「cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-Q8_0」サイズが「15.70GB」
プロンプト：ユニファイドメモリについて簡潔に教えて結果：思考時間：20.90秒で、12.35 tok/sec・453 tokens
ユニファイドメモリ（Unified Memory）の簡潔な説明
目的: GPUとCPUが「同じメモリ空間で動作」し、データ転送コストを削減する技術
メリット:
高速化: CPU→GPU間のデータコピー不要 → パフォーマンス向上
資源効率化: 物理的に異なるメモリを統合し、使用量最適化
実装例:
CUDA Unified Memory (NVIDIA): GPUがCPUメモリ直接アクセス可能
DirectStorage (Microsoft): ゲーム用の大容量ファイル高速読み込み
課題: メモリ競合防止や帯域幅増加の必要性
（技術的詳細は省略）でした。何かの参考になればです。
後日、画像生成についてもベンチマークできればと思っています。
最後にEVO X2のトラブルシューティングです。（2025年5月20日時点）
・使用しているINNOCNのモニターを本体のDisplayportに接続しても認識しないため、DisplayPortからHDMI変換ケーブルで接続すると認識する。本体のHDMIポートにHDMIで接続すると問題がない。（相性？）
・GPUメモリを96GBにする方法は、PC起動時にDelキー連打で入れるBIOS画面で設定するが、公式サイトで公開されている5月14日のBIOSにアップデートしないと選択項目に96GBが表示されない（未アップデートだと64GBまでしか選択できない）