Skip to main content

Command Palette

Search for a command to run...

Latest articles

  1. Ai與知識債

    技術債 technical debt 源自貪快/便宜/方便而採用的技術方案,犧牲可讀性、維護性、測試性、文件完整等等的面向,延後償還技術上的代價 隨著 vibe coding 的普及,另一種債也在慢慢累積:知識債 開發者抱著一個「可以跑就好」的想法就把產品推上架,卻不理解 AI 生成的程式碼到底在做什麼、不知道 AI 的作法到底對不對。前一陣子的鏟子英雄平台個資問題就是案例之一 哈佛教授 Jonathan Zittrain 已經在 2019 年將此現象取名為 intellectual debt,...

    Jan 8, 20261 min read
  2. 結巴分詞解析三部曲, 第三集

    How jieba works, part 3 本篇將用 Part 2 介紹的隱藏式馬可夫模型與 Viterbi 演算法將剩下的字 (大、學、與、老、師、討、論、力、學) 分詞。 字的隱藏狀態 一個人的身體可以有健康、生病的隱藏狀態。那一個字可以有幾種?結巴的程式碼定義了四種隱藏狀態:詞首、詞中、詞尾、以及單獨存在,分別用 B, M, E, S 標示。這四種狀態其實就是字位於詞的不同位置。 例如: 我: S 『我』只有一個字,所以標示 S 單獨存在。 的: S 『的』只有一個字,所以標示...

    Aug 19, 20229 min read
  3. 結巴分詞解析三部曲, 第二集

    How jieba works, part 2 這篇將解釋何謂馬可夫模型 Markov model、隱藏式馬可夫模型 Hidden Markov model (HMM)、與 Viterbi 演算法。 馬可夫模型 Markov model 馬可夫模型是一個用來解釋偽隨機系統的模型。它假設未來事件只受到現在事件影響,不受更早事件影響。 範例:假設你是醫生,從你的臨床經驗來看,一個人身體前一天健康、今天也健康的機率是 0.7;前一天健康、今天生病的機率是 0.3;前一天生病、今天健康的機率是 0.4;...

    Aug 19, 20223 min read
  4. 結巴分詞解析三部曲, 第一集

    How jieba works, part 1 有做過中文自然語言處理 (natural language processing, NLP) 的夥伴們一定都會面對中文分詞的問題:要怎麼把一個句子切成多個詞彙讓電腦理解一個句子的組成。 例如『我昨天去上海交通大學與老師討論量子力學』可以被分詞成『我』『昨天』『去』『上海』『交通』『大學』『與』『老師』『討論』『量子』『力學』。但這要如何實現呢? 結巴是一個由 Python 實現的中文分詞工具。除了分詞以外也支援關鍵字抽取 (TF-IDF keywo...

    Aug 19, 20225 min read