课程大纲

介绍

  • 什么是 Large Language Models (LLMs)?
  • LLM 与传统 NLP 模型
  • LLM 功能和架构概述
  • LLM 的挑战和局限性

了解 LLM

  • LLM的生命周期
  • LLM 的工作原理
  • LLM 的主要元件:编码器、解码器、注意力、嵌入等。

开始

  • 设置开发环境
  • 将 LLM 安装为开发工具,例如 Google Colab, Hugging Face

使用 LLM

  • 探索可用的 LLM 选项
  • 创建和使用 LLM
  • 在自订数据集上微调 LLM

文本摘要

  • 了解文本摘要的任务及其应用
  • 使用 LLM 进行抽取式和抽象式文本摘要
  • 使用 ROUGE、BLEU 等指标评估生成的摘要的品质。

问答

  • 了解问答的任务及其应用
  • 使用 LLM 进行开放域和封闭域问答
  • 使用 F1、EM 等指标评估生成答案的准确性。

文本生成

  • 了解文本生成的任务及其应用
  • 使用 LLM 产生条件和无条件文本
  • 使用 temperature、top-k、top-p 等参数控制生成文本的样式、语气和内容。

将 LLM 与其他框架和平台整合

  • 将 LLM 与 PyTorch 或 TensorFlow 一起使用
  • 将 LLM 与 Flask 或 Streamlit 一起使用
  • 将 LLM 与 Google Cloud 或 AWS 结合使用

故障排除

  • 了解 LLM 中的常见错误和错误
  • 使用 TensorBoard 监控和可视化训练过程
  • 使用 PyTorch Lightning 简化训练代码并提高性能
  • 使用 Hugging Face 数据集载入和预处理数据

总结和后续步骤

要求

  • 了解自然语言处理和深度学习
  • 使用 Python 和 PyTorch 或 TensorFlow 的经验
  • 基本程式设计经验

观众

  • 开发人员
  • NLP爱好者
  • 数据科学家
 14 小时

即将举行的公开课程

课程分类