What you'll learn:
- BERT、Transformer、Attentionの仕組み。
- PyTorch、ライブラリTransformersを使用したBERTの実装。
- 学習済みモデルのファインチューニングによる調整。
- 日本語の文章、および英文のBERTによる分類。
- 自然言語処理技術の概要。
自然言語処理の様々なタスクで高い性能を発揮する、「BERT」を学ぶコースです。
BERT（Bidirectional Encoder Representations from Transformers ）は2018年10月にGoogleが公開して以来、世界中のAI関係者の注目を集めています。
BERTは「Transformer」と呼ばれるモデルを利用することで、離れた単語間の関係、すなわち「文脈」を考慮した自然言語処理を実現します。
タスクによっては人間並みの精度を発揮する可能性もあり、「応答文の生成」や「文書の要約」といった様々なタスクでの活用が期待されています。
本コースで学ぶことにより、BERTの仕組み、実装方法を理解し、BERTによる日本語文章の処理ができるようになります。
新しい時代の、有用な自然言語処理技術を身に付けましょう。
注: 本コースに先立ちYouTubeでのライブ講義【Live人工知能】がありました。本コースの動画はこのライブ講義をUdemy用に再構成したものになります。
コースの内容は以下の通りです。
Section1. 講座とBERTの概要
→ 自然言語処理、Transformer、BERTについて概要を学びます。
Section2. シンプルなBERTの実装
→ 最小限のPythonのコードでBERTを実装します。
Section3. BERTの仕組み
→ Transformer、BERTなどについて仕組みを詳しく学びます。
Section4. ファインチューニングの活用
→ ファインチューニングの概要、そしてBERTにおける活用について解説します。
Section5. BERTの応用
→ BERTを使って、自然言語処理のタスクに取り組みます。
なお、今回の講座でプログラミング言語Pythonの解説は最小限となりますが、Pythonの基礎を解説するノートブックがダウンロード可能です。
本コースはディープラーニング用フレームワークとしてPyTorchを使用します。
PyTorchはオープンソースの機械学習ライブラリで、簡潔さ、柔軟性、速度のバランスに優れているため人気が急上昇中です。
また、簡潔な記述が可能なため、最新の研究成果の実装によく使われています。
開発環境にはGoogle Colaboratoryを使用します。
