最近一陣子沒有更新 Blog，主因是沒有辦法在第一時間發出與眾不同的消息，畢竟不是靠炒知名度賺錢的網紅，有些業務相關的又不方便發表。另一點則是覺得AI文缺乏靈魂，自己寫的文章雖然粗鄙，卻有人味兒。
話說公司的Jetson Thor相容機因為研華的 Firmware 與原廠不相容，所以我還不能使用多媒體功能，而 LLM 推論速度之前一直上不去，直到最近幾個月受到開放原始碼的進步，終於達到勉強可用的程度。而公司內部的產品則是使用 5090 在推論。
我測試上週出現的 Qwen 3.8 27b 以體感來說，能力達到 Claude Sonnet 4.6 的程度，用 5090跑的速度可接受，也可以達到 120 tokens/sec，不使用 Subagents 的話，地端 coding 完全沒問題，可以不靠雲端LLM也可以 happy coding。因為主要拿來開發公司的內部系統，就不方便貼圖，有興趣的人自己弄2張 3060 Ti 16GB 也有類似的效果。
目前我主要用 Jetson Thor 跑 Qwen 3.8 27b長時間 code review 與 refactoring ，因為速度太慢，即時coding則不建議用 Jetson Thor 或 DGX Spark，還是用 5090 比較合適。
逛Ollama 時看到 huihui_ai/Qwen3.8-abliterated 似乎很猛，於是拿來叫它分析一些平時會被阻擋的內容，或是分析 apk 之類的工作，也可以分析網路攻擊，實在是太方便了，若不是現在 DGX Spark 漲到 17萬一臺實在買不下手（RTX 5090一張也漲到17萬），真想去買一臺在家跑 Qwen 3.8 27b + MiniMax H3 自己做些有趣的影片呀～
留言