語言學與人工智能：基礎概念與實作

[1] 本課程的目的在於對當前人工智能理論進行介紹,並討論語言學在其中的角色。 [2] 嘗試將語法理論與人工智能加以結合,推進人工智能之運算效能。

語言學概論 II、計算機概論 或 Python 程式設計

無備註

教師未提供此項資料

[1] 作業 #1 (5%)  操作 draw.io 線上版。把前兩週的課程內容做成一個時間軸的事件表,要三個角色的視角: 「普羅大眾、AI/CS 專家、語言學家」。 [2] 作業 #2 (10%)  規劃一個 AI 系統。它應該具備哪些模組? 各模組會如何運作?  你如何証明這個模組的規劃是「工程上可行的」? [3] 期中線上討論與書面報告 (40%)  針對 2 個開放式題目,線上發表意見及參與討論。  每一位都要針對期中給定的題目,在線上: (a) 發表意見,並 (b) 參與討論。  討論期間為兩週。兩週結束後,應就給定的題目,每一位都要提交一份書面報告。 [4] 期末線上討論與書面報告 (45%)  針對 3 個開放式題目,線上發表意見及參與討論。  每一位都要針對期中給定的題目,在線上: (a) 發表意見,並 (b) 參與討論。  討論期間為兩週。兩週結束後,應就給定的題目,每一位都要提交一份書面報告。

• 人工智能發展歷史中對語言學的偏見與誤解

  本週的重點在於提出「結構」為什麼是重要的。 2012 年開始,全世界都被「人工智能」相關種種話題、消息、產品所圍繞。我們檢視「人工智能」對語言學的偏見和誤解,review 它少了什麼? 應該怎麼補救?

• 向量 vs. 語意: 「理解」的本質是什麼?

  檢視各種基於「向量語意」的產品 做出來了什麼東西。 帶同學們思考該如何定義什麼是 「語言理解」。

• 句法無用論?

  什麼是人工智能發展中的 bitter lesson? 檢視各種缺乏句法結構的產品做出來了什麼東西。我們怎麼証明它不懂句法,並思考它可能帶來的危險。

• 以二元階層結構為基礎的演算法

  以演算法的角度,為什麼二元樹是一個重要的思維路線。 以語言學的角度,證明為什麼語言是一個二元樹結構的系統。 怎麼實作一個二元階層結構的系統? 以西拉雅語/排灣語版的 Articut 為例。

• 結構依存性: 語言學與認知科學

  以語言學的角度,證明為什麼語言是一個結構依存性的系統。

• 當代人工智能理論與主流研究途徑

  什麼是類神經網路? 現在的 LLM 如何做 fine-tune? 如何做 LoRA? 如何做 Prompt Engineering 以及它為什麼有效? 為什麼無效?如果你要寫 paper 做研究,可以有哪些切入點?

• 結合結構特性的人工智能

  不帶結構的 AI 和帶結構的 AI,各自會有哪些實作?

• 混合式 AI

  RAG vs. Semantics 全部都用向量,就能解決問題嗎? 我們檢視各種搜尋引擎的表現、 媒體的報導、從業人員的實際意見等等。

• 「小語言模型」(SLM) vs. 「大語言模型」(LLM)

  比較 linguistics-based 的各種語言科技解決方案和 LLM 的各種解決方案。

• 人工智能簡史與現代語言學

  從 "What is language" 這個問題切入,講論類神經網路/人工智能以及現代語言學怎麼看待「語言」。講到 2012 年, 深度學習起飛以前,發生了什麼事。

自編講義

地點

To de determined

時間

To de determined

聯絡方式

peter.w@droidtown.co