自然語言處理
Natural Language Processing
| 節 | 週四 |
|---|---|
5 13:20–14:10 | 自然語言處理 EDB06（光復） 3 節連堂 |
6 14:20–15:10 | |
7 15:30–16:20 |
* 根據陽明交大上課時間表所列
自然語言處理是人工智慧和語言學的跨領域學科,探討如何運用電腦對語言文字的字詞、片語、詞組、句子、篇章、段落、全文等不同建構區塊的語言資訊處理、分析、生成、理解與應用。本課程會介紹語言處理的不同面向,包含詞性標記、句法剖析、詞義消歧、語意角色標記、統計推論、語言模型等基礎議題與核心技術,以及機器翻譯、問答系統、文章摘要、情緒分析、意見探勘等相關應用。另外,本課程會選定中文語言處理專題實作,適合有機器學習與深度學習背景知識,且具備Python程式設計能力的同學修習。
修過或正修習 (1) 機器學習 及 (2) 深度學習課程,需具備Python程式設計能力, 本課程期末有中文語言處理專題實作。
無備註
本課程前半以講授自然語言處理基礎議題與核心技術等應具備的知識為主,後半著重於自然語言處理衍生應用的論文閱讀研討,了解最新的研究發展,以及選定專題的語言處理模型實作,培養同學基礎研究與系統開發能力。修習完本課程的同學應具備以下的能力: (1) 了解自然語言處理相關的議題與技術 (2) 可自行研讀與自然語言處理相關的論文 (3) 可以用程式處理文本資料並開發應用系統
1.自選論文書面報告 (20%) 2.指定論文口頭報告 (30%) 3.期末專題實作與報告 (50%)
詞彙 Word
1.構詞學Morphology 2.詞性標記 Part-of-Speech Tagging
- 講授：
- 3
語法 Syntax
1.語法剖析 Syntactic Parsing 2.相依剖析 Dependency Parsing
- 講授：
- 3
語意 Semantics
1.詞彙語義消歧 Word Sense Disambiguation 2.語意角色標記 Semantic Role Labeling
- 講授：
- 3
文句 Discourse
1.文句理解 Discourse Coherence 2.代名詞解析 Coreference Resolution
- 講授：
- 3
統計語言模型 Statistical Language Models
1.N元語法語言模型 N-gram Language Model 2.隱藏馬可夫模型 Hidden Markov Model
- 講授：
- 3
神經語言模型 Neural Language Models
1.向量語意與嵌入Vector Semantics and Embeddings 2.類神經網路Neural Networks: RNNs and LSTMs
- 講授：
- 3
預訓練語言模型 Pre-trained Language Models
1.基於轉換器的雙向編碼BERT 2.生成預訓練模型BART
- 講授：
- 3
大型語言模型 Large Language Models
1.生成式預訓練轉換器 GPT-series Models 2.羊駝系列模型 LLaMa-series Models
- 講授：
- 3
NLP應用 Applications (I)
1.資訊擷取 Information Extraction 2.資訊檢索 Information Retrieval
- 講授：
- 3
NLP應用 Applications (II)
1.情感分析 Sentiment Analysis 2.文本摘要 3.Text Summarization
- 講授：
- 3
NLP應用 Applications (III)
1.機器翻譯 Machine Translation 2.文本生成 Text Generation
- 講授：
- 3
NLP應用 Applications (IV)
1.問答系統 Question Answering 2.對話系統 Dialogue Systems
- 講授：
- 3
論文報告 Paper Presentation
1.自選論文書面報告 2.指定論文口頭報告
- 實作：
- 6
專題實作 Term Project
1.期末專題分組實作 2.系統模型口頭報告
- 實作：
- 6
| 週次 | 主題 |
|---|---|
| 第 1 週 | 課程綜述 (Course Overview) 2024-02-22(四) |
| 第 2 週 | NLP 基礎任務 (NLP Fundamental Tasks) 2024-02-29(四) |
| 第 3 週 | 統計語言模型 (Statistical Language Models) 2024-03-07(四) |
| 第 4 週 | 嵌入表達 (Embeddings) & 神經語言模型 (Neural Language Models) 2024-03-14(四) |
| 第 5 週 | 預訓練語言模型 (Pre-trained Language Models) 2024-03-21(四) |
| 第 6 週 | 大型語言模型 (Large Language Models) 2024-03-28(四) |
| 第 7 週 | 4/4兒童節停課 2024-04-04(四) |
| 第 8 週 | NLP 應用 (Applications) & 情感分析 (Sentiment Analysis) 2024-04-11(四) |
| 第 9 週 | 自選論文閱讀報告 (I) 2024-04-18(四) |
| 第 10 週 | 自選論文閱讀報告 (II) 2024-04-25(四) |
| 第 11 週 | 自選論文閱讀報告 (III) 2024-05-02(四) |
| 第 12 週 | 期末專題進度報告 2024-05-09(四) |
| 第 13 週 | 專題論文閱讀報告 (I) 2024-05-16(四) |
| 第 14 週 | 專題論文閱讀報告 (II) 2024-05-23(四) |
| 第 15 週 | 專題論文閱讀報告 (III) 2024-05-30(四) |
| 第 16 週 | 期末專題實作報告 2024-06-06(四) |
1. Jacob Eisenstein (1999). Introduction to Natural Language Processing. The MIT Press 2. Dan Jurafsky and James H. Martin. Speech and Language Processing. 3rd edition (Jan. 7, 2023 draft). https://web.stanford.edu/~jurafsky/slp3/ 3. 指定論文
- 地點
- In-person or online
- 時間
- 事先約定時間
- 聯絡方式
- lhlee@nycu.edu.tw