画像認識、コンピュータビジョン、画像処理に関連する記事へのリンク集

科学論文において画像やデータを不正に操作して結果を改ざんする行為は、科学全般への信頼を揺るがす深刻な問題であり、論文における不正を検出する取り組みは非常に重要です。そんな科学論文の不正に操作された画像を検出するためのAIツールは、すでに人間の目視によるチェックよりも高い精度を持っているという研究結果が、プレプリントサーバーのbioRxivに掲載された査読前論文で報告されました。

入力された文章(プロンプト)から画像を生成するAIの機能を「Text to Image」と呼びます。このプロンプトを、プレーンテキストではなくリッチテキストにして、フォントの大きさや色、スタイル、脚注を生成する画像に反映する技術「Expressive Text-to-Image Generation」を、メリーランド大学カレッジパークの研究者らが生み出しました。

大手フォトストックサービスのGetty Imagesが、安全に商用利用可能なAI画像生成サービス「生成AI by Getty Images(powered by NVIDIA)」を発表しました。Getty Imagesの画像生成AIは、Getty Imagesが所有するクリエイティブ素材とデータのみでトレーニングされているため、画像生成AIの課題となっている権利的な問題をクリアしているとのことです。

OpenAIがChatGPTに「画像の内容を判断して応答する機能」と「テキストではなく音声でコミュニケーションする機能」を追加することを発表しました。これにより「冷蔵庫の中身を見せてレシピを提案してもらう」といった視覚を伴うコミュニケーションが可能になるほか、人間と会話するように音声コミュニケーションをとることが可能となります。

画像生成AIで部屋の写真内に家具を生成する「Fill 3D」が発表されました。Fill 3Dは写真に写っている部屋の立体構造と照明を把握した上で、写真上の任意の場所にプロンプトで入力した家具をそのまま生成することができます。

写真を撮影していると「写真Aは人物の顔が見切れて、写真Bは顔が写ったけど逆光で暗すぎる」といったようにベストショットを撮影できないことがよくあります。Googleとコーネル大学の研究チームが開発したAI「RealFill」を使えば、複数の失敗写真をもとにベストショットを後から作り出せるとのことです。

Googleは無料で使えるチャットAI「Bard」の開発を進めています。2023年9月19日には画像の詳細を検索してくれる「Googleレンズ」がBardに統合され、画像をアップロードして画像の詳細を尋ねることが可能になりました。一体どれだけの精度で画像を解説してくれるのか気になったので、実際にBardのGoogleレンズ機能を使って性能を確かめてみました。

AI企業のOpenAIが画像生成AIの「DALL-E 3」を2023年9月20日に発表しました。DALL-E 3は大規模言語モデル・GPTをベースにしたチャットボットAI・ChatGPTと統合されているのが特徴で、2023年10月にChatGPT PlusおよびEnterpriseの顧客に提供される予定です。

Stable DiffusionやMidjourneyなどの画像生成AIはデータセットの画像から学習していますが、このデータセットに含まれる画像の著作権については議論があり、「自分のイラストや写真をAIに学習されたくない」という人も多くいます。上海交通大学の研究チームが発表した「Mist」は画像に見えない透かしを入れることで、AIによって画像を認識できなくさせ、学習を防ぐ処理ツールです。

GoogleのAI研究部門「Google Deepmind」が現地時間2023年8月29日に、AIで生成された画像にウォーターマーク(電子透かし)を入れ、AIが生成した画像であることを明示してフェイク画像の拡散を防止するツール「SynthID」のベータ版をリリースしたことを発表しました。記事作成時点では、Googleの機械学習プラットフォーム「Vertex AI」上の画像生成AI「Imagen」でのみ利用可能です。

AI技術は急速に進歩しており、人間が作成したものと見分けが付かない文章や画像を生成できるAIなどが複数開発されています。新たに、TikTokの運営企業であるByteDanceの研究チームが文章で指示するだけでムービーを編集できるAI「MagicEdit」を開発しました。MagicEditではムービーの一部だけを置き換える編集も可能なほか、ムービーの映っていない部分を継ぎ足すことも可能です。

動画や音声を記録・変換・再生するためのフリーソフト「FFmepg」はシェルでコマンドを入力することでさまざまな処理を実行できます。FFmpegにはさまざまなフィルタリングライブラリが存在しますが、GUIを持たないツールであるため、フィルターをかけるとどんな出力結果になるのかをプレビューすることはできません。「FFmpeg Explorer」はブラウザ上でフィルターをブラウザ上で試してどんな結果になるのかをチェックし、さらに手元で実行するためのコマンドも出力してくれるウェブツールです。

Metaが2023年8月31日に、映像処理モデル「DINOv2」のライセンスをCC BY-NC 4.0からApache License 2.0に変更すると発表しました。これまで存在していた商用利用に関する制限が取り払われ、より自由にモデルを利用することが可能になっています。同時に、モデルの公平性を評価するためのデータセット「FACET」もリリースされました。

画像生成AIにイラストや写真を学習させることを防ぐため、「Mist」などを使って画像に敵対的サンプルと呼ばれるノイズを入れる方法があります。この敵対的サンプルによるノイズを画像から除去するためのツール「AdverseCleaner」が登場しています。

画像生成AIへの注目が集まる中、PhotoshopやIllustratorなどを展開するAdobeも著作権的にクリアなことを特徴とする生成AI「Firefly」の開発を進めています。2023年9月13日(水)には、Fireflyの各種機能が一般公開されるとともにクレジット制の導入や商用利用の解禁が発表されました。

網膜の画像を用いて病気を検出するAIはすでに存在しますが、事前に大量の網膜の画像に「正常」か「正常ではない」かのラベリングを行ってトレーニングする必要がありました。新たなAI「RETFound」は、ChatGPTの仕組みなどと同様の「自己教師あり学習」を行うため、事前のトレーニングはかなり簡単になります。

中国のIT大手・Baidu(百度)が開発した画像生成AI「ERNIE-ViLG」に、多数の単語をブロックする検閲メカニズムが組み込まれていることが指摘されています。ブロック対象は習近平国家主席のような政治指導者の名前や、「天安門事件」のように中国国内でセンシティブな扱いの単語となっています。

Photoshopのベータ版には、生成AI「Firefly」を用いてテキスト入力(プロンプト)に沿った画像を生成できる機能「生成塗りつぶし(旧称：ジェネレーティブ塗りつぶし)」が搭載されています。生成塗りつぶしを使えば画像内に新たな被写体を追加したり、画像の背景を別物に置き換えたりといった操作が可能。そんな生成塗りつぶしが新たに日本語入力に対応したので使ってみました。

中国やドイツの研究者らが、全身が写る写真1枚から高精度の3D着衣人体モデルを生成する手法を提案した研究報告論文を発表した。背中や後頭部などの見えない領域も一貫したテクスチャとジオメトリを持つ、忠実度の高い仕上がりで生成する。

2023年7月に公開された「Stable Diffusion XL 1.0(SDXL 1.0)」は既存のStability AI製モデルと比べて高品質な画像を生成できるだけでなく、LoRAによる生成画像の調整にも対応しています。データサイエンティストのマックス・ウルフ氏は「悪い例」を集めて作成したLoRAを用いてSDXL 1.0による生成画像の品質をさらに向上させる手法を考案し、LoRAファイルおよび誰でも試せるデモを公開しています。

画像生成AIに関連する技術は日々進歩しており、画像生成AIを用いたサービスや画期的な生成手法などが続々と公開されています。画像生成AI技術の発展に伴ってアダルトコンテンツの生成に関する技術やサービスも急速に発展しており、AIで生成したアダルトコンテンツが販売されたり、アダルトコンテンツを生成するためのモデルデータが配布されたりしています。

NVIDIAは、AIが「物体を移動させる」などの人間の行動を観察するだけで、行動前後の物体の位置関係からAIが自ら実行計画を立案して、同じ行動を実行することができる技術を公開しました。

Googleが、大規模言語モデル(LLM)に「視覚」を持たせた「大規模視覚モデル(LVM)」のデモを公開すると同時に、LVMの仕組みについての解説記事を投稿しました。

AIで生成された動画を見てみると、連続した動きの中で文脈を無視するようにオブジェクトが突然別の物に変わったり、「大ざっぱなパラパラ漫画」のように映像がガクガクと揺れたりすることがままあります。そうした問題を改善する「Content Deformation Field(CoDeF：コンテンツ変形フィールド)」が公開されました。

2022年8月にStability AIの「Stable Diffusion」が登場して以来、画像生成AIは急激な進歩を遂げ、画像だけではなくムービーも生成できるようになりました。しかし、生成AIによって作られるムービーに描かれるオブジェクトや背景は形を激しく変えたり色が変わったりするため、実用性には乏しいといえます。浙江大学とMicrosoftの研究チームが発表した「StableVideo」はテキスト駆動拡散モデルに時間の概念を導入することで、安定していて実用性が高いムービーを生成することが可能となっています。

店内に設置されたカメラとAIを使用し、コーヒーショップが店員の勤務や利用客の滞在時間を詳細に追跡している模様を収めたコンセプトムービーがSNSで公開され、さまざまな意見が寄せられました。