🤗 Transformers

Transformers 是 Hugging Face 團隊為 PyTorch、TensorFlow 和 JAX 提供最先進的機器學習工具。

Transformers 提供 API 來輕鬆下載和訓練最先進的預訓練模型。 使用預訓練模型可以降低您的計算成本、碳足跡，並節省您從頭開始訓練模型的時間。 這些模型可用於不同的模式，例如：

• 📝 文本：超過 100 種語言的文本分類、信息提取、問答、摘要、翻譯和文本生成。
• 🖼️ 圖像：圖像分類、對象檢測和分割。
• 🗣️ 音頻：語音識別和音頻分類。
• 🐙 多模式：表格問答、光學字符識別、從掃描文檔中提取信息、視頻分類和視覺問答。

Transformers支持多種深度學習庫之間的無縫合作，例如：PyTorch、TensorFlow 和 JAX。 我們可以在一個框架中用三行代碼訓練您的模型，然後加載它以與另一個框架進行推理。

每個Transformers 的架構都在獨立的 Python 模塊中定義，因此可以輕鬆定制它們以進行研究和實驗。

下面簡單來說一下如何快速體驗這個工具。

---

Predict

三步驟實現文字生成

• 選擇Tokenizer和模型

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("distilgpt2")
model = AutoModelForCausalLM.from_pretrained("distilgpt2")

• 創建接口

from transformers import pipeline

generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)

• 實現功能

generator(
    "Three Rings for the Elven-kings under the sky, Seven for the Dwarf-lords in their halls of stone"
)

>>> [{'generated_text': 'Three Rings for the Elven-kings under the sky, Seven for the Dwarf-lords in their halls of stone, Seven for the Dragon-lords (for them to rule in a world ruled by their rulers, and all who live within the realm'}]

找到更多可用的模型

那我們該去哪裡找尋可以使用的模型呢？

• Transformers: 模型範例，這邊提供很多教學

• huggingface: 這邊提供很多官方與第三方的模型

Train

上面已經提到Transformers如何使用模型進行預測，那我們自己想要進行finetune呢？我們可以使用trainer。

Trainer提供了一個 API，用於在 PyTorch 中針對大多數標準用例進行功能完整的訓練。它用於大多數示例腳本中。API 支持在多個 GPU/TPU 上進行分佈式訓練，通過NVIDIA Apex和 Native AMP for PyTorch 實現混合精度。

Trainer包含支持上述功能的基本訓練循環。

三步驟Finetune客製化Model

• 準備資料

imdb是一個資料集，在這邊看到整體資料

from datasets import load_dataset
imdb = load_dataset("imdb")

• 準備Tokenizer和前處理

from transformers import AutoTokenizer

def preprocess_function(examples):
    return tokenizer(examples["text"], truncation=True)


tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")
tokenized_imdb = imdb.map(preprocess_function, batched=True)

• 訓練模型

from transformers import AutoModelForSequenceClassification, TrainingArguments, Trainer

model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased", num_labels=2)

trainer = Trainer(
    model=model,
    train_dataset=tokenized_imdb["train"],
    eval_dataset=tokenized_imdb["test"],
    tokenizer=tokenizer,
    args=TrainingArguments(
        output_dir="./results",
        learning_rate=2e-5,
        per_device_train_batch_size=16,
        per_device_eval_batch_size=16,
        num_train_epochs=5,
        weight_decay=0.01,
    )
)

trainer.train()