AI News

~AI関連記事を3行にまとめて紹介~

📚

Metaが文章と音声を翻訳するオールインワンAI「SeamlessM4T」、コード専用生成AI「Code Llama」..

  • 1週間分のAI関連論文から重要なものをピックアップし解説する連載が公開されました
  • オールインワン多言語マルチモーダルAI翻訳・書き起こしモデル「SeamlessM4T」、コーディング専用生成AI「Code Llama」が注目されています
  • これらを含む5つの論文がまとめられています

💻

Meta、コード生成や解釈に特化した大規模言語モデル「Code Llama」公開 - Publickey

  • 「Code Llama」はコード生成や解釈に特化した大規模な言語モデルで、Python、C++、Javaなどのプログラミング言語に対応しています。
  • 「Code Llama Python」と「Code Llama - Instruct」も提供され、それぞれPythonに特化したコード生成や自然言語のプロンプトによる説明を行います。
  • 「Code Llama」は3つのサイズ(7B、13B、34B)があり、それぞれのモデルは異なる用途に適していますが、利用にはライセンス条件があります。

📚

ChatGPTで英語を勉強する方法を教えます--書いて、添削受けて、暗記する(野口 悠紀雄) | 現..

  • 文部科学省はChatGPTを使って英語の話す力を向上させる方針を発表
  • しかし、英語を話すよりも聞くことが重要との指摘
  • 留学生の生活を考えると、話す機会よりも聞く機会の方が多い

💻

【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】

  • ローカルLLMで「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かすことで、プロンプト指示が可能な体験をする
  • text-generation-webuiをcloneし、python -m venv .venvでactivateし、モデルのDLではggufファイルを直接落としてmodelsディレクトリに入れる
  • 起動はpython server.pyで行い、パラメータの調整やプロンプトの組み立てを行う

🔥

AI半導体で溶ける境界 NVIDIAがCPU参入、Intelに対抗 - 日本経済新聞

  • AI半導体市場でNVIDIAがCPUに参入し、競争が激化
  • データセンター向けの高性能半導体の需要が急増
  • 半導体市場の2強時代が終わりを迎えつつある

💻

Meta、コーディング用生成AIモデル「Code Llama」リリース - ITmedia NEWS

  • 「Code Llama」は、プロンプトからコードを作成したり、特定の文字列を指定するとコードを完成させ、デバッグもできる
  • パラメータ数が70億、130億、340億の3つのサイズでリリース
  • 「Code Llama-Python」と「Code Llama-Instrct」もリリースし、あらゆる分野のソフトウェアエンジニアをサポート

🎨

自分のイラストや写真を画像生成AIが学習するのを妨害する電子透かしを入れるツール「Mist」 - G..

  • 「Mist」は画像生成AIが自分のイラストや写真を学習するのを防ぐためのツールです
  • Mistは高速な処理が可能で、単体で使用するだけでなく、Stable Diffusion web UIでも利用できます
  • MistはGPL-3.0ライセンスで公開され、Windows版とLinux版が提供されています

🎯

LLMのファインチューニング で 何ができて 何ができないのか|npaka

  • LLMのファインチューニングは、特定のアプリケーションやデータに基づいてモデルの出力品質を向上させることが目的です。
  • LLMは「形式」の学習には効果的ですが、「事実」の学習には不得意で、事実の学習や幻覚の軽減には不向きです。
  • ファインチューニング以外にも、プロンプトチューニング、例の選択、検索拡張生成、人間のフィードバックからの強化学習などの手法があります。

💻

225行のコードでGPTの仕組みを理解する

  • GPTの仕組みを理解するためのコードは225行で、読みやすい
  • コードは与えられたテキストから次の1文字を予測する予測機を作成
  • このコードを読み解くことでGPTやtransformerの動作をざっくり理解できる

🎉

【React/Python】2年がかりで完成した個人開発サービスの話【ChatGPT】 - Qiita

  • 2年間の個人開発で「AIスパチャ」を作成、YouTubeライブ風の体験を提供
  • フロントエンドにReact、バックエンドにPythonを使用し、音声認識などの技術を活用
  • 誰でも気軽にYouTubeライブっぽいことができるサービスを目指して開発

🔄

ChatGPT(GPT-3.5とGPT-4)の性能が変化している?スタンフォード大学とカリフォルニア大学バー..

  • 大規模言語モデルChatGPTの性能が短期間で大きく変わる可能性が示され、継続的な調査が必要とされています。
  • 評価データとChatGPTのレスポンスが公開され、大規模言語モデルの性能変化に関する研究促進が期待されています。
  • 特にセンシティブな質問に対する回答の変化やコード生成の問題が指摘されました。

💻

ryeでKaggleとほぼ同じML開発環境を構築してみた

  • ryeを使用してML開発環境を構築した
  • 一部のライブラリのインストールに問題があった
  • LightGBMのCUDA対応バージョンやRAPIDSのcudfがうまく導入できなかった

🔒

Kaggleで学んだBERTをfine-tuningする際のTips⑥〜LLMでも使える学習効率化編〜 | 株式会社AI Sh..

  • Embedding Freeze、Gradient Checkpoint、Adafactorの3つの手法を用いて学習効率化を図る
  • これらの手法を使うことで、メモリの節約や学習時間の短縮が可能
  • Kaggle NotebookでもマルチGPUの利用が可能になり、学習の効率化についても研究が進んでいる

📚

Professional Machine Learning Engineer試験対策マニュアル - G-gen Tech Blog

  • Professional Machine Learning Engineer試験は、機械学習の一般的な知識やモデルの開発、運用、Google Cloudの機械学習サービスに関する知識が問われます。
  • 試験は英語版のみで提供され、難易度は高いですが、公式の試験ガイドや模擬試験を受験することが試験対策として重要です。
  • 機械学習アルゴリズムや評価指標、データの前処理なども理解しておく必要があります。

🎙️

3秒の音声があれば本人そっくりの声で日本語・英語・中国語合成できる「VALL-E X」はやはり脅威..

  • 「VALL-E X」は3秒の元音声から本人そっくりな音声合成が可能な技術です
  • この技術はオープンソース版で、WebUIから利用できます
  • 日本語もサポートしており、アクセントをつけることも可能ですが、リアルタイムでの利用には向いていません

💻

OpenAIのGPTBot、大手サイトや出版社によって早速ブロックされる | TEXAL

  • OpenAIのGPTBotはWeb上のコンテンツを収集してAIモデルを改良していますが、パブリッシャーやWebサイト運営者はGPTBotをブロックすることが可能です。
  • 多くのメディア企業やWebベースのコンテンツプロバイダーがGPTBotをブロックしており、これはコンテンツ提供者にとって適切な対応とされています。
  • この問題は法廷で解決される可能性があり、一部のメディアは既に訴訟を準備していると報じられています。

🚗

Self-Driving Cars Less Likely to Detect People of Color on Street: Study

  • 自動運転車の歩行者検知システムは、子供や有色人種を検知する確率が低いことが研究で明らかになった
  • この問題は、自動運転車が依存しているオープンソースAIのバイアスに起因していると指摘されている
  • 研究者は、検知システムのバイアスを防止するための規制を立法者に求めている

🎨

Refik Anadol: How AI art could enhance humanity's collective memory | TED Talk

  • メディアアーティストのRefik Anadolは、データを絵筆としてAIアルゴリズムを訓練し、自然の消えゆく驚異を視覚化
  • 最近の作品では人工サンゴ礁、花、熱帯雨林のイメージを美しく紹介
  • AIを使って消えゆく自然界の記憶を保存することを考えている

🚀

Metaのコーディング支援AI「Code Llama」に調整を加えることでOpenAIのGPT-4の性能を上回る可能..

  • MetaのAI「Code Llama」はテキスト入力からプログラムのコードを生成します
  • 微調整された「CodeLlama-34B」と「CodeLlama-34B-Python」はOpenAIのGPT-4を上回る性能を示しました
  • これらのモデルを公開し、さらなる検証と改善を行う予定です

👊

Google Gemini Eats The World – Gemini Smashes GPT-4 By 5X, The GPU-Poors

  • GoogleのGeminiがGPT-4を5倍に圧倒し、GPU-Poorを打ち破る
  • Googleは今年の終わりまでにGPT-4のトータルプリトレーニングFLOPSを5倍に圧倒するペースでイテレーションを行っている
  • GoogleのViperfish(TPUv5)の展開、Googleの他のフロンティアラボに対する競争力、およびGPU-Poorと呼ばれる一群について議論

🚀

The Power of Collaboration: How Open-Source Projects are Advancing AI - KDnuggets

  • オープンソースプロジェクトはAIのイノベーションに大きな影響を与え、市場投入までの時間を短縮します。
  • オープンソースAIツールはAIのバイアスを軽減し、公平かつ公正なAIシステムの作成を可能にします。
  • オープンソースプロジェクトはAIの採用を加速し、透明性と信頼性を提供します。

🤖

Introducing ChatGPT Enterprise

  • ChatGPT Enterpriseは、エンタープライズグレードのセキュリティとプライバシー、無制限の高速GPT-4アクセス、長いコンテキストウィンドウ、高度なデータ分析機能、カスタマイズオプションを提供します。
  • ChatGPTのローンチからわずか9か月で、Fortune 500企業の80%以上のチームが採用しています。
  • ChatGPT Enterpriseでは、ビジネスデータや会話をトレーニングに使用せず、ユーザーの使用状況からモデルを学習しません。

👌

SDXLを手軽に扱える「Fooocus」のインストール方法・使い方まとめ!簡単操作でハイクオリティな..

  • 新しい画像生成ソフト「Fooocus」は簡単にインストールでき、難しい設定は不要です。
  • Fooocusは短い呪文で高品質な画像を生成する独自の仕組みを採用しています。
  • 使い方は呪文を入力し、「Generate」ボタンを押すだけで、詳細な設定を行いたい場合は「Advanced」のチェックをONにします。

🖼️

RO-ViT: Region-aware pre-training for open-vocabulary object detection with vision transfo..

  • 視覚世界のオブジェクトを検出する能力は、適応型自律エージェントや多目的ショッピングシステムなどの応用が可能になります。
  • オープンボキャブラリ検出タスク(OVD)では、画像とテキストのペアをトレーニングに使用し、新しいカテゴリ名を画像コンテンツと関連付けることで、広範な未知のオブジェクトを予測することができます。
  • ビジョントランスフォーマ(ViT)の人気が高まっているため、効果的なオープンボキャブラリ検出器の構築のためにその潜在能力を探ることが重要です。

🔬

AIは意識を持っているのか/持つのか、AI研究者と意識研究者たちが共同研究した結果 | AIDB

  • 現在のAIは意識を持っていないが、将来的には可能性があるとの研究結果が出ている
  • 神経科学の理論に基づいた新しいフレームワークが提案され、AIの意識の有無を評価するための指標となる可能性がある
  • 意識の科学的知見を組み合わせることで、今後のAIの発展や倫理的な問題に対する洞察が得られる可能性がある

💬

OpenAI、企業向け「ChatGPT Enterprise」提供開始 高速GPT-4でプライバシーも安全 - ITmedia NE..

  • 企業向けAIチャットサービス「ChatGPT Enterprise」の一般提供が開始された
  • ユーザープロンプトと企業データはトレーニングに使用されず、データは暗号化される
  • 高速なGPT-4への無制限のアクセスやAdvanced Data Analysisへの無制限のアクセスが可能

🌐

Google、訪問「1000億回」が変えた世界 AIは福音か - 日本経済新聞

  • Googleの25年間の成長について
  • AIの影響力について
  • 訪問「1000億回」がもたらした変化について

💻

画像生成AIのプロンプトもお任せ! テキスト入力支援ツール「ペースター」v7.31 - 窓の杜

  • テキスト入力支援ツール「ペースター」v7.31が公開、画像生成AIのプロンプト作成・貼り付けが可能に
  • 定型文の貼り付けやテキストの整形、Web検索などの機能も搭載、設定のカスタマイズも可能
  • 新しいプロンプトメニューファイルを作成すれば他の画像生成AIでも利用可能、Windows 8/8.1/10/11対応

2023年08月29日

|

このサイトについて

/

ニュースレター

/

@AINewsDev