生成AIの動作原理を
基礎から学ぶ

Transformer 講座

Transformer

Transformer 講座

自然言語処理や機械翻訳などのタスクで広く使用される深層学習モデルの一種である Transformer は、従来の RNN や CNN とは異なり、Transformerは注意機構 ( attention mechanism ) を中心に構築されています。

そのため、従来よりも高速で精度の高い自然言語処理が可能となりました。

本講座は、Transformer の歴史・基本原理から始まり、Transformerベースのモデルを活用することで、自然言語処理・画像処理・マルチモーダルタスクで優れた性能を発揮し、モデルの判断根拠も合わせて可視化する事ができます。

こんな方におすすめ

・Transformerの仕組みを基礎から学びたい方。

・生成AIの動作原理を基礎から知りたい方。

・AI技術のトレンドに追随したい方。

・Transformersなどの既存のライブラリを使わずに、Transformerの実装にトライしたい方。

・これから本格的に大規模言語モデル（LLM）を学びたい方。

お打ち合わせ

お問合せ

お申し込み・お打ち合わせご希望の方は、上記サイトよりご連絡ください。

研修のゴール

・Transformerが登場するまでの歴史とその応用事例を学び、Transformerが解決した従来の問題と自然言語処理だけでなく、画像・音声・マルチモーダルへとスケールしている応用の幅と理由を理解します。

・Transformerの基本的な構造を理解し、機械翻訳タスクに実際に取り組むことで各コンポーネントの機能の深い理解と実装力を身につけます。

・BERTやViTなど、Transformerをベースとした代表的なモデルの構造を理解し、自然言語処理だけでなく、様々なタスクに取り組むと同時に、モデルの判断根拠も示せるようになります。

活用事例

機械翻訳を中心に、自然言語処理の多くのタスクで優れた性能を発揮します。

講座概要

カテゴリ	エンジニアリング力
講座名	Transformer
講座時間	1日6時間
備考備考	DL4US講座のオプションとしておすすめ

iLect Academy 2024 受付中 >>>

お打ち合わせ

お問合せ

お打ち合わせご希望の方は、上記サイトよりご連絡ください。

CURRICULUM

Curriculum

- カリキュラム

Step 01：Transformer 登場までの歴史と応用事例

詳細：Transformer登場までの歴史と、Transformer の応用事例について紹介します。Transformer以前はなにが問題だったのかを紹介し、Transformerが登場したことで、どのようにして様々な分野に変化をもたらしたのかを学びます。

Step 02：Transformer 基本構造と機械翻訳タスク

詳細：Transformerの構造を説明し各コンポーネントの機能を理解してもらい、その後にTransformerを利用した機械翻訳タスクに取り組んでもらいます。最後にTransformerが自然言語だけでなく、画像、音声、マルチモーダルへとさまざまなドメインにスケールしている理由や、研究動向について紹介します。

Step 03：BERTを用いた固有表現抽出タスク

詳細：Transformer を応用した代表的なモデルである BERT の基本的な構造を理解してもらい、固有表現抽出(NER)タスクに取り組んでもらいます。

Step 04：ViTを用いた画像分類タスク

詳細：Transformerをコンピュータビジョン分野に応用した代表モデルの ViT(Vision Transformer) の基本的な構造を理解してもらい、スクラッチの実装に取り組んでもらいます。画像データに対するアプローチから、Transformer の汎用性を深く理解します。

Step 05：BERT を用いた Attention の可視化

詳細：自然言語処理タスクにおける Attention メカニズムの動作を視覚的に理解します。モデルの内部動作を可視化し、より深い理解を目指します。

Step 06：画像キャプショニングとAttentionの可視化

詳細：コンピュータビジョンと自然言語処理の融合分野である Vision and Language を取り上げ、この分野への Transformer の応用について取り上げます。06_attention_viz_text.ipynb で学んだ Attention の可視化も併せて実装することで、画像と自然言語のつながりをモデルがどのように解釈しているのか理解します。

process