きになるなるなる

子どもから大人まで親しみやすいサイエンスを目指し、テクネックス工房は理科学機器の開発から販売までをトータルに行っています

3つの要点✔️ GPT-3におけるfew-shotの問題点✔️ GPT-3は本当は何を学習しているのか？✔️ GPT-3が学習した機能を本当に引き出す方法を提示Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigmwritten by Laria Reynolds, Kyle McDonell(Submitted on 15 Feb 2021)Comments: Accepted to arXiv.Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)code： はじめにGPT-3は少数サンプル(Few-shot)のpromptを使う事で、様々な言語タスクに対して最高水準の結果を達成しました。しかし、自己教師学習型言語モデルから特定の学習結果を抽出する際には、fine-tuningや Few-shot形式よりも、promptの方が効果的である可能性があります。GPT-3の論文タイトル(Language models are few-shot learners)が示すFew-shot形式の有効性に反して、GPT-3は実行時に実際にはタスクを学習していないと考えられます。Few-shotの主な機能は、メタ学習をしているのではなく、すでに学習されたタスクをモデル内から見つける事なのです。サンプル無しで、Few-shot形式以上のパフォーマンスを引き出す事が出来るpromptを示す事によって、これを証明します。 Few-shot prompt の精査GPT-3の精度は、0-shot(自然言語による説明のみ)、1-shot(1つの正解例)、n-shot(n個の正解例)、それぞれのpromptタスクで評価されました。その結果、GPT-3は例が多いほどパフォーマンスが向上する事が判明しました。0-shotの場合は、ほとんどn-shotの半分未満の精度である事が分かりました。

Posted by Alejandro Luebs, Software Engineer and Jamieson Brettle, Product Manager, Chrome Connecting to others online via voice and vide...

代表的なIDaaSベンダの1つであるOktaは、開発者向け施策拡大の一環として無償利用の範囲を拡大した「Okta Starter Developer Edition」の提供開始を発表しました。 Today at #Oktane21, we ...

The official store of the largest fake phone company in the world. The NoPhone is a fake phone for people who are addicted to real phones.

サムスン電子のフラグシップスマートフォン「Galaxy S21シリーズ」が日本に上陸する。NTTドコモはGalaxy S21とGalaxy S21 Ultraを、auはGalaxy S21とGalaxy S21+を取り扱う。

Half a year ago, I joined Pleo, a FinTech startup with around 15,000 customers. I joined to take on and further develop the billing infrastructure. When I joined, I was actually a bit concerned about the narrowness of the role. I mean, really… How much depth could there be in billing? A customer joins, pays […]

オラクルがGoogleに対して、Android OSがJavaの著作権を侵害しているとして訴えていた裁判で、米連邦最高裁判所はGoogleが著作権侵害をしていないとの判断を示し、Googleが勝訴しました。 以下は米連邦最高裁判所の動向を伝...

不気味ですね…

萩原 遼 (Ryo Hagiwara)さんの回答: これなんかどうでしょう？ 写真じゃありませんが、いわゆる「生存者バイアス」の例として真っ先に挙げられるイラストです。 「新社会人へのアドバイスは米軍が集計した被弾データの図と似てる。『墜落した機のデータは残らない』」との言葉の説得力がスゴい https://twitter.com/WANIGUNNSOU/status/981371041409724419 > 帰還した爆撃機の被弾箇所を調べたら、甚大なダメージを受けている箇所と、どの爆撃機も被弾していない箇所があった。普通に考えれば、甚大なダメージを受けている箇所の装甲を厚くする...

https://nuc.hatenadiary.org/entry/2021/03/31 同僚からこれについてどう思うか、と聞かれた。元の文章が長く、様々なところについて色々思う所があるが、今日は一つに絞って書くことにする。 パズル解決能力 頭の良さの一つに、パズル解決能力がある。ある程度の複雑さを持った系があって、その中で問題が設定され、それを解く、という種類の知的作業だ。簡単なものではマインスイーパーとか、もうちょっと複雑になると物理や数学の大学入試問題。エンジニア採用で使うプログラミング試験も同じようなものだ。将棋やチェスも、この軸のもっと難しいところに位置しているだろう。

Sorry for the clickbaity title, but CVE-2019-8761 really is an interesting macOS bug that lets attackers execute HTML within a TXT file, lea...

ぬいぐるみが好きな方のDBAです。 さて今日は4/1 、色々新しいものに巡り合う春ですね。 そんな中、日本MySQLユーザ会副代表の sakaik さんが面白いMySQﾚ（まいえす...

🛰️ Find out how to see satellites in the night sky, no telescope required.

Beautiful hand-crafted SVG icons, by the makers of Tailwind CSS.

第301回のスポットライトリサーチは、原子力研究開発機構の関根由莉奈さん、南川卓也さんにお願いしました。福島の原子炉の処理において、処理水からの放射性廃棄物の除去は重要な課題です。

We have raised money to enable the millions of web programmers out there to maximally leverage their craft.

CoScreen is a radically different remote collaboration platform. CoScreen is your team’s joint desktop. Screen share simultaneously and control each others' windows to get things done. Multi-user screen sharing, multi-user remote control, and audio chat. Get things done together like never before.

ドクセルはスライドやPDFをかんたんに共有できるサイトです

In a recent blogpost, Nick Grossman explains how Bitcoin acts as a battery — moving electricity across time and space, from where it can…

I took a 32″ eInk display and turned it into a digital newspaper that updates every day. It’s silent, wireless and can run for months without being plugged in. The display is based on the Visionect 32″ place and play display. This works by running two components. The eInk display acts as a thin client […]

One of my favorite things about crypto is that, every so often, your conception of what it is changes. Bitcoin at first was "weird internet money" and then it was "a protocol" and then it was "digital gold". Ethereum is "ICOs", or maybe "DeFi", or maybe "Web3", or maybe all three, or maybe something else.…

2021年3月23日に、海上輸送の要衝であるエジプトのスエズ運河で、コンテナ船の「エバー・ギブン」が座礁する事故が発生。座礁から5日間以上が経過した記事作成時点でも復旧のめどが立っていない状況が続いています。海運や貿易に多大な影響を与えているこの問題を解決させるために必要な対策について、専門家が解説しています。

はじめに がんばって書いた書籍が低評価で少々しょんぼりしているあんどうです。まぁ、つい力が入りすぎて袋小路に思い切り突っ込んだ結果抜けられなくなることってあるよね。あるある。そんなわけで今日はできるだけ力を入れずテンション低めにサクッと行きます。 で、GoのWASM。大道の真ん中をまっすぐに歩まれているみなさんはWASMするときはRustかいっそC/C++をemscriptenでってことになると思いますが、私はしょせん路傍の石の下で低評価が目に入らないように丸まっているダンゴムシ。せっかくだからオレはこのGoでWASMを選ぶぜって感じなんですが、ぶっちゃけあれ、めんどくさいすよね。 あ、ちなみに今回の話は「このめんどくささをまるっと解決！」みたいな気持ちのいい話ではなくて、ただただ「めんどくさいよね」っていうだけの話です。あーめんどくさい。 Rustの場合 まず比較のためにRustの例をあげます。Rustで2数を足し算するWASM関数を定義するとこうなるみたいです。 #[no_mangle] pub fn add(a: i32, b: i32) -> i32 { a + b } コンパイル結果がadd.wasmだとすると、JavaScriptから呼び出すときはたぶんこんな感じ。 WebAssembly.instantiateStreaming(fetch("add.wasm")).then(result => { const add = result.instance.exports.add const val = add(1, 2) console.log(val) }) 顧客が本当に欲しかったもの。めんどくさくない。 Goの場合 めんどくさ１ Goだとこうなります。 func add(this js.Value, args []js.Value) interface{} { return js.ValueOf(args[0].Int()+args[1].Int()) } 引数や返り値を特殊なオブジェクトでラップしてやる必要があります。ちょっとめんどくさい。とはいえ、まぁ異なる言語間で情報をやり取りするんだから仕方ないとしましょう。