GPT-3の真価を引き出す方法 : Promptプログラミング
3つの要点✔️ GPT-3におけるfew-shotの問題点✔️ GPT-3は本当は何を学習しているのか？✔️ GPT-3が学習した機能を本当に引き出す方法を提示Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigmwritten by Laria Reynolds, Kyle McDonell(Submitted on 15 Feb 2021)Comments: Accepted to arXiv.Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)code： はじめにGPT-3は少数サンプル(Few-shot)のpromptを使う事で、様々な言語タスクに対して最高水準の結果を達成しました。しかし、自己教師学習型言語モデルから特定の学習結果を抽出する際には、fine-tuningや Few-shot形式よりも、promptの方が効果的である可能性があります。GPT-3の論文タイトル(Language models are few-shot learners)が示すFew-shot形式の有効性に反して、GPT-3は実行時に実際にはタスクを学習していないと考えられます。Few-shotの主な機能は、メタ学習をしているのではなく、すでに学習されたタスクをモデル内から見つける事なのです。サンプル無しで、Few-shot形式以上のパフォーマンスを引き出す事が出来るpromptを示す事によって、これを証明します。 Few-shot prompt の精査GPT-3の精度は、0-shot(自然言語による説明のみ)、1-shot(1つの正解例)、n-shot(n個の正解例)、それぞれのpromptタスクで評価されました。その結果、GPT-3は例が多いほどパフォーマンスが向上する事が判明しました。0-shotの場合は、ほとんどn-shotの半分未満の精度である事が分かりました。
