跳到主要內容

在本地運作的 LLM ,可以解除一些字詞的限制,將解放 AI 的生產力

我在 ChatGPT 輸入了以下 Prompts ,讓它提供 Anki 閃卡的資料。

I want to set a rule of the following conversation.
1. show a example sentence with the word what I requested
2. Sentence meaning in Traditional Chinese.
3. the parts of  speech for the word and itsmeanings in Traditional Chinese

然後,我遇到了。


 

這樣的事件讓我思考著,或許在本地運作 LLM 的一些優點,Unleash AI productivity.

There are compelling reasons to run Large Language Models (LLMs) locally rather than in a data center. LLMs that are operated in data centers must often adhere to Diversity, Equity, and Inclusion (DEI) regulations, which can lead to certain words or phrases being restricted, even if they are commonly used in some contexts. These limitations may be implemented as a cost-saving measure, but they can hinder the model's ability to process and understand natural language effectively.

On the other hand, running an LLM model on a local PC allows for greater flexibility and unleashes the full potential of the technology. By avoiding the constraints imposed by DEI regulations in data centers, locally run LLMs can process and generate text more accurately, without arbitrary limitations on vocabulary or expression. This enables the model to better understand and respond to the nuances and complexities of human language, ultimately providing a more powerful and authentic language processing experience.

留言

這個網誌中的熱門文章

孩子沉迷手機怎麼辦?別急著沒收手機,看懂背後的「低能量」與大腦求救訊號

許多家長可能都面臨過這樣的困境:孩子好不容易考上了第一志願,卻被老師反映在學校狂滑手機,回家後一查,竟發現孩子一天使用手機長達12個小時。當家長試圖溝通時,孩子卻反駁:「我都把本分做好了,為什麼不能玩手機?」 面對逐漸對父母冷漠、一回家就抱著螢幕、甚至因為被限制而大發雷霆的孩子,家長往往感到無力又焦慮。 精神科名醫馬大元醫師在多年的看診經驗中發現,這樣的情況如今「非常非常常見」,且許多孩子已經滑手機滑到「面目全非」。他指出,嚴重手機成癮的孩子走進診間時,通常有三個明顯的生理特徵:第一是雙眼無神直視,失去靈活度;第二是因長期久坐躺臥導致臀部肌肉萎縮;第三是指甲長得像慈禧太后一樣長,這顯示他們已經完全不在意自我形象,內在世界可能已經崩壞。 面對這樣的情況,家長該如何是好?本文將帶您剖析孩子手機成癮的真正成因,並提供從「生理」到「心理」的全方位解方。 一、 破除迷思:手機成癮往往不是原因,而是「結果」 許多家長直覺認為,是手機的遊戲和社群太好玩,才讓孩子沉迷其中。然而,馬大元醫師提出了一個關鍵的「80/20法則」:真的單純因為手機好玩而沉迷的只佔20%,另外的80%是因為孩子有其他潛在問題,才導致了手機成癮。 在這些潛在問題中,排名第一的就是 「能量低的憂鬱症」 。現代青少年的憂鬱往往不會表現出傳統的悲傷,而是呈現沒耐性、容易暴躁,且對多數事物缺乏興趣的「低能量」狀態。 我們的大腦在進行任何有意義的活動時,都需要消耗能量。讀書需要能量、去戶外運動需要能量、交朋友需要能量,甚至早上起床跟父母打聲招呼,都需要能量。當一個孩子身心能量低落時,他甚麼都做不來,只能從事最不耗能的活動:吃飯、睡覺、滑手機。因為滑手機只需要動動手指和眼球,就能度過一天。因此,孩子整天滑手機,其實是他「低能量的結果」,而不是原因。 二、 評估指標:您的孩子是否已經落入「無奈姐夫」的陷阱? 要知道孩子是否已經達到了高風險或成癮的程度,可以透過四個指標來評估,口訣叫做「無奈姐夫」: 無(無法停止): 明天就要考試了,或逢年過節大家在團聚,孩子依然無法放下手機。 奈(耐受性): 胃口越來越大,本來一天玩一小時就滿足,現在要求更長的時間、更好的設備,或不斷想要課金。 姐(戒斷症狀): 當家長強行沒收手機時,孩子會出現野獸般的暴力攻擊;或者採取「被動攻擊」,例如直接躺平、拒絕上學、故意考砸來讓父母感到挫折。 夫(...

AI 給了我們傳說廚具,但傳說料理在哪裡?

最近聽到一個很有意思的比喻, 【 現在的 AI 讓企業突然擁有了「傳說廚具」,但是「傳說料理」呢? 】 刀很利、鍋很強、火候控制精準,甚至連備料、切菜、擺盤都可以自動完成。站在廚房裡看,確實會讓人感到興奮。好像只要擁有這套工具,就能做出前所未有的料理。 可是問題也在這裡。對於不是賣廚具的企業來說,廚具其實從來不是重點。 真正重要的是:料理是什麼? AI 可以讓公司寫得更快、算得更快、回覆得更快、設計得更快、分析得更快。這些都很重要,也確實會改變企業的成本結構與工作方式。但如果我們只停留在「更快完成原本的事情」,那 AI 的想像力可能還沒有完全展開。 因為真正重大的科技變化,通常不只是取代舊工作,而是創造新的行為、新的場景,以及新的市場。 不是取代,而是新賽道 很多人談 AI,第一個想到的是取代。取代人力、取代流程、取代重複性工作。這當然是 AI 很直接的價值,也會是企業導入 AI 的第一波動機。但如果我們回頭看一些真正改變市場的科技,它們的價值往往不只是「把舊東西做得更有效率」。 以 YouTube 為例 。YouTube 當然取代了一部分看電視、看影片的時間,但它真正厲害的地方,不只是讓影片播放更方便,而是切出了一條新的媒體賽道。 以前要成為媒體,需要電視台、攝影棚、製作團隊、播出頻道。後來只要一台手機、一個帳號、一個想法,普通人也可以成為創作者。它讓更多人進入內容市場,也讓更多細碎的觀看時間被填滿。 所以 YouTube 創造的,並不只是「線上影片」這件事,而是讓「成為媒體」這件事的門檻下降,進而創造出一整個新的內容經濟。 那麼 AI 呢? AI 不應該只是幫企業把原本的事情做得更快,而是讓更多人、更多企業、更多原本沒有能力參與的人,進入一個新的賽道。這才是 AI 為人類帶來真正的影響。 新需求,可能只是舊需求的新形式 當然,如果從很底層的人性來看,所謂「新需求」其實也不一定真的全新。用馬斯洛需求理論來看,人類需要的東西大概還是那些: 生存、安全、社交、尊重、自我實現 。 人一直需要娛樂,一直需要表達,一直需要被理解,一直需要學習,一直需要歸屬感,也一直需要證明自己的價值。所以很多時候,新科技創造的不是全新的需求,而是讓舊需求出現新的形式。 社群平台不是創造了「人想被看見」這件事。人本來就想被看見。短影音不是創造了「人需要娛樂」這件事。人本來就需要娛樂。...

為什麼我願意花一小時,去換取每次操作省下的 2 秒?

在旁人眼中,我大概是個矛盾的人。我可以在咖啡廳坐著發呆、到處亂逛一下午,但在某些時刻,我卻對「效率」有著近乎偏執的病態追求。 比如,在製作 PowerPoint 時,為了將物件對齊,一般人習慣用滑鼠點選選單,耗時大約 5 到 7 秒。而我,會不惜花上一個小時去研究配置、背誦快捷鍵與優化路徑,只為了把這個動作死死地 壓進 2 秒內 。 很多人不解:為了省那 3 到 5 秒,花 60 分鐘去研究,這數學怎麼算都不划算吧?但這背後,藏著我對生命主權的生存哲學: 「透過數位化理性行為與微秒級的操作優化,來換取生命自主權的自由主義者。」 透過微秒級複利效應,重拾生命主權 生命,從來就不是一道簡單的算術題。如果你的一生中,某個動作需要重複一萬次、十萬次,這「幾秒鐘」的差距就會累積成驚人的數字。更重要的是,行為轉變過程的 「頓挫感」是會消耗意志力的。 當你還在尋找滑鼠游標時,你的大腦頻寬正被瑣事蠶食;而當動作進入肌肉記憶,2 秒內完成,你的心流(Flow)就不會中斷。 身為一個追求躺平、悠閒生活信念的我,只要一件事重複做 3 次以上卻沒有優化,我就覺得是在浪費生命,不符合我看待生命一致性的風格。因此,我願意花那一小時去學習,找一次效率優化的小進步,換取的是未來無數次操作後的「流暢感」。 結果就是,透過不同作業中,省下來無數「秒」的時間,讓我的平常的生活,能夠擁有著到處逛逛、心安理得耍廢的底氣。 方法遠比天份、努力重要 我常覺得人生就像微積分。外人看來,人際關係、讀空氣(空氣を読む)、EQ 這些東西是一種天份,就像「類比」的數學表示樣態,是一條圓滑、不可捉摸的曲線。 但對我而言,這些感性行為都可以被「數位化」。只要方法與觀點對了,你可以用無數個「小方柱」(微小的指標、拆解後的技術、反應模板)去逼近那條曲線。別人看不出你的核心本質是方柱,他們只會看到一個社交流暢、反應敏捷的結果。 只要將這些潛意識的行動描述出來、模組化,所有的行動就可以被拆解,就可以變成「可優化」。當行為變成了可以呼叫的函數(Function),我就不再需要耗費多餘的心神去應對,當面對釋似的問題時,就變成一個使用工具的過程。 有時候刻意低效,是為了創造更高效能,擁有更大的自主 有趣的是,我偶爾會刻意選擇「低效」。順著本能,用最低耗能,直覺、身體記憶的方式去執行任務。這不是退步,而是一場「回溯測試」。在低速運行的過程...