跳到主要內容

在本地運作的 LLM ,可以解除一些字詞的限制,將解放 AI 的生產力

我在 ChatGPT 輸入了以下 Prompts ,讓它提供 Anki 閃卡的資料。

I want to set a rule of the following conversation.
1. show a example sentence with the word what I requested
2. Sentence meaning in Traditional Chinese.
3. the parts of  speech for the word and itsmeanings in Traditional Chinese

然後,我遇到了。


 

這樣的事件讓我思考著,或許在本地運作 LLM 的一些優點,Unleash AI productivity.

There are compelling reasons to run Large Language Models (LLMs) locally rather than in a data center. LLMs that are operated in data centers must often adhere to Diversity, Equity, and Inclusion (DEI) regulations, which can lead to certain words or phrases being restricted, even if they are commonly used in some contexts. These limitations may be implemented as a cost-saving measure, but they can hinder the model's ability to process and understand natural language effectively.

On the other hand, running an LLM model on a local PC allows for greater flexibility and unleashes the full potential of the technology. By avoiding the constraints imposed by DEI regulations in data centers, locally run LLMs can process and generate text more accurately, without arbitrary limitations on vocabulary or expression. This enables the model to better understand and respond to the nuances and complexities of human language, ultimately providing a more powerful and authentic language processing experience.

留言

這個網誌中的熱門文章

為什麼我願意花一小時,去換取每次操作省下的 2 秒?

在旁人眼中,我大概是個矛盾的人。我可以在咖啡廳坐著發呆、到處亂逛一下午,但在某些時刻,我卻對「效率」有著近乎偏執的病態追求。 比如,在製作 PowerPoint 時,為了將物件對齊,一般人習慣用滑鼠點選選單,耗時大約 5 到 7 秒。而我,會不惜花上一個小時去研究配置、背誦快捷鍵與優化路徑,只為了把這個動作死死地 壓進 2 秒內 。 很多人不解:為了省那 3 到 5 秒,花 60 分鐘去研究,這數學怎麼算都不划算吧?但這背後,藏著我對生命主權的生存哲學: 「透過數位化理性行為與微秒級的操作優化,來換取生命自主權的自由主義者。」 透過微秒級複利效應,重拾生命主權 生命,從來就不是一道簡單的算術題。如果你的一生中,某個動作需要重複一萬次、十萬次,這「幾秒鐘」的差距就會累積成驚人的數字。更重要的是,行為轉變過程的 「頓挫感」是會消耗意志力的。 當你還在尋找滑鼠游標時,你的大腦頻寬正被瑣事蠶食;而當動作進入肌肉記憶,2 秒內完成,你的心流(Flow)就不會中斷。 身為一個追求躺平、悠閒生活信念的我,只要一件事重複做 3 次以上卻沒有優化,我就覺得是在浪費生命,不符合我看待生命一致性的風格。因此,我願意花那一小時去學習,找一次效率優化的小進步,換取的是未來無數次操作後的「流暢感」。 結果就是,透過不同作業中,省下來無數「秒」的時間,讓我的平常的生活,能夠擁有著到處逛逛、心安理得耍廢的底氣。 方法遠比天份、努力重要 我常覺得人生就像微積分。外人看來,人際關係、讀空氣(空氣を読む)、EQ 這些東西是一種天份,就像「類比」的數學表示樣態,是一條圓滑、不可捉摸的曲線。 但對我而言,這些感性行為都可以被「數位化」。只要方法與觀點對了,你可以用無數個「小方柱」(微小的指標、拆解後的技術、反應模板)去逼近那條曲線。別人看不出你的核心本質是方柱,他們只會看到一個社交流暢、反應敏捷的結果。 只要將這些潛意識的行動描述出來、模組化,所有的行動就可以被拆解,就可以變成「可優化」。當行為變成了可以呼叫的函數(Function),我就不再需要耗費多餘的心神去應對,當面對釋似的問題時,就變成一個使用工具的過程。 有時候刻意低效,是為了創造更高效能,擁有更大的自主 有趣的是,我偶爾會刻意選擇「低效」。順著本能,用最低耗能,直覺、身體記憶的方式去執行任務。這不是退步,而是一場「回溯測試」。在低速運行的過程...

寫在閱讀前: 強大腦學習法

最強大腦學習法,一本關於學習科學的書,裡面有很多新穎的作法,可以嘗試理解。   學習除了努力外,用正確的方法也是十分重要的。雖然,每一個人的學習方法都不一樣,不能以一論之,就像是我們在討論運動技競,每一個人的天份都不同,但是培訓出能夠成為冠軍選手的方法,卻只有少數幾種。培訓方法的進步,有時會導致過去成功的培訓經驗,變成培養冠軍運動選手的障礙。     學習很重要,可以讓自己持續的進步,看到更好的社會。但是,有好的方法讓我們可以更有效的擴展自己的知識視野,進而感受更到更寬廣的世界。你或許不那麼在意學習,但是改善學習的效率,對人生將會有你想像不到的幫助。 何謂寫在閱讀前 當資訊越來越多,為了滿足我們對於「 知」 的需求,我們往往買了一堆書,卻沒有足夠的時間去閱讀它們。這種情況下,一個快速的閱讀方法變得尤為重要,這樣我們才能夠快速掌握書籍的資訊,並評估哪些書在當下閱讀對於自己最有幫助。 在閱讀前建立共識是一個很好的開始,我開始整理手邊的電子書,使用了《如何閱讀一本書》中提到的檢視閱讀方法,透過閱讀序言、目錄、導讀資訊和快速翻閱各個主題的章節內容,建構對書籍的基本認知,並作為選書標準,以挑選出當下最適合我閱讀的書籍。 也許有人會認為,參考他人的書評就能篩選書籍。但,我卻認為書籍是作者和閱讀者跨越時空的對話,有效閱讀是建立起作者和讀者間的共識。這種共識是無法假借他人之手,就像聽一場演講或音樂會,每個人都會用自己的生活經驗和表演者聯繫,進而產生不同的感受。 在閱讀前建立和書籍的共識,將有利於人們更了解書籍。當然,共識可能會隨著閱讀的深入而產生變化,但這也是最有趣的地方。透過深入閱讀,即是你試著和書籍作者交深彼此的交流,而人與人的交流必會帶來影響和改變。當書籍閱讀完畢後,審視自己在閱讀前後的認知改變,即是作為這一段閱讀旅程最好的見證。

20 歲談理想是情懷,40 歲談利益是負責任

二十歲的時候,我們眼裡只有「世界應該如何」。那個年紀的人們是天生的理想主義者,對現實的不公平感到憤怒,覺得談錢太俗氣,談利益太骯髒。強調追求各種的公平、追求普世價值,甚至覺得主管要求的「績效」過程的一些妥協,是對專業的一種羞辱。那時人們總是以「動機」來論斷好壞,深信只要出發點是善的,結果就不會差。然而,如果你到了四十歲還在用同樣的情緒應對世界,那不是純真,而是避責。真正的成長,是學會從理想主義的雲端降落,踩在現實主義的泥土裡,學會用「利益」的觀點來解決問題。 別糾結專業被埋沒,主管要的是「解決方案」而非「正確答案」 職場中常見的幻覺是:「我只要夠專業,別人就得聽我的。」當主管不採納建議時,理想主義者往往覺得對方能力不足無法識別出真正有價值的方向,卻忽略了職場本質上是一場價值交換。現實主義者明白,主管要的是不是你的技術展現,職位背後其實是責任的擔當,他需要的是能向上呈報、對客戶交地的實質成果。四十歲後的成熟,是學會放下專業自尊,去對接對方的實質訴求。當你懂得把「我以為」變成「對方需要」,你才真正開始負起專業人士的責任,讓你的專業轉化為對組織有用的資源。 追求「齊頭式平等」只會集體落後,真正的利己是「帶大家一起賺錢」 關於公平,理想主義者最容易陷入的誤區時追求「結果的均等」。這聽起來很美好,但這種思維若走向極端,往往會轉化為一種「我過得不好,你也別想過得好」的嫉妒心態。當這種心態成為一個環境的潛規則時,卓越反而成了一種罪過:如果大家都在這種「不准別人更好」的壓力下不敢發揮、不敢卓越,最終的結果就是集體平庸。 現實主義者的視野則截然不同。雖然他們同樣是從「利己」出發,但為了讓利益能夠永續且持久,最聰明的方法絕不是殺雞取卵、榨乾鄰居。相反地,他們會致力於把環境做大,讓合作夥伴也跟著變有錢;因為當每個人都變得更有錢了,他才能從這群具備更高消費力的人身上,賺到更豐厚、更長遠的利潤。這種「 由利己驅動,最終在客觀上實現利他 」的邏輯,才是維持繁榮的最優解。 手段比動機更真實:正道第一與魔道首位的「大善」悖論 這種「手段決定一切」的邏輯,可以用一個武俠世界的小故事來精準詮釋:想像在一個江湖中,同時並存著「正道聯盟」與「魔道榜單」。正道聯盟的第一人,滿心慈悲,立志要感化世人,他的一舉一動都符合道德的最高標準,但他為了維持「正道」的體面與和諧,處理事情時往往以正道利益為優先,平衡各方的...