自然語言處理
Natural Language Processing
| 節 | 週四 |
|---|---|
2 09:00–09:50 | 自然語言處理 3 節連堂 |
3 10:10–11:00 | |
4 11:10–12:00 |
* 根據陽明交大上課時間表所列
本課程旨在介紹自然語言處理(NLP)和大型語言模型(LLM)的基礎知識和前瞻技術,適合對自然語言技術感興趣的學生。隨著生成式人工智慧技術的快速發展,NLP在各個領域中的應用日益廣泛。 本課程將提供學生NLP理論基礎,並結合實際應用,幫助學生掌握最新的NLP與LLM技術。課程內容主要分為以下幾個部分: 1. 文字處理基礎:介紹NLP的基本概念和常用技術。教學基本的文字處理技術,如分詞、詞性標註、命名實體識別等。 2. 機器學習模型:機器學習基本概念和算法,如線性回歸、決策樹、隨機森林等。介紹如何將機器學習應用於NLP,包括文本分類、情感分析等。 3. 語言模型:語言模型的基本概念與原理,如N-gram模型、Word2Vec等。深度學習在語言模型中的應用,如RNN、LSTM、Transformer等架構。詳細講解BERT、GPT等先進語言模型,並探討其在不同NLP任務中的應用。 4. 前瞻大語言模型技術:介紹大型語言模型的發展歷程與最新研究進展,如GPT-3等。 探討這些模型的訓練方法、大規模資料集的使用,以及在不同領域中的能力。介紹輕量化微調技術(PEFT),如LoRA,並說明其在提高訓練效率和效果方面的優勢。
建議學生須先具Python程式語言的先備知識。
無備註
教師未提供此項資料
Homework × 5：75% Midterm Exam：25%
教師未提供此項資料
| 週次 | 主題 |
|---|---|
| 第 1 週 | Introduction to NLP & applications |
| 第 2 週 | Introduction to NLP & applications, word vector |
| 第 3 週 | Introduction to AI & Python - Neural Network, Deep learning |
| 第 4 週 | Introduction to AI & Python - Numpy, Panda, Scikit Learn, PTorch |
| 第 5 週 | NLP with NN - RNN, LSTM |
| 第 6 週 | NLP with NN - Word Embedding |
| 第 7 週 | Introduction to Generative AI |
| 第 8 週 | Introduction to Generative AI - Seq2Seq |
| 第 9 週 | Introduction to Generative AI - BERT, GPT, T5 |
| 第 10 週 | Introduction to Generative AI - Transformer |
| 第 11 週 | Large Language Model |
| 第 12 週 | Large Language Model |
| 第 13 週 | Training in PM (pre-trained models) - In context learning |
| 第 14 週 | Training in PM (pre-trained models) - PEFT / LoRA 同步考試時間12月10日（星期四）09:00–12:00 |
| 第 15 週 | Application Implementation & Challenges |
| 第 16 週 | Application Implementation & Challenges |
教師未提供此項資料
- 地點
- 教師未提供此項資料
- 時間
- 教師未提供此項資料
- 聯絡方式
- 教師未提供此項資料