AI News

~AI関連記事を3行にまとめて紹介~

💻

[プレビュー]Amazon Lexでは、ノーコードで簡単に、RAGのチャットボットを構築できるようになり..

  • Amazon Lexの新機能、AMAZON.QnAIntentを利用すると、RAGのチャットボットを簡単に構築できます
  • 基盤モデルはClaude V2のみで、ナレッジソースは3つから選択可能です
  • プレビューはバージニアとオレゴンリージョンのみで、英語のみ利用可能です

😱

DeepMind・OpenAI・Anthropicの設立の経緯について、AIのリスクを最も恐れていた人々は自分たち..

  • AIのリスクを恐れた人々がDeepMind・OpenAI・Anthropicを設立し、それぞれがAI開発に取り組んだ
  • DeepMindはAlphaGoやAlphaZero、OpenAIはGPT-4やChatGPT、AnthropicはチャットボットAIのClaudeを開発
  • これらの組織設立のきっかけは、イーロン・マスク氏とラリー・ペイジ氏のAIに関する議論だった

👨‍💻

「責任あるAI」チームを再編した米Meta ビッグテックですら手探り、AI倫理に“最適解”はあるの..

  • 米MetaはレスポンシブルAIチームの再編を発表、AIの倫理的な開発や運用を指す
  • メンバーの一部が生成AIチームに、残りはAIインフラ部門に移動
  • 中核製品や技術の開発に近づけ、AIが引き起こす事件・事故の防止に取り組むと説明

📱

マイクロソフトのSeeing AIアプリ、Android向けにもリリース。スマホカメラを向けると周囲の様子..

  • スマートフォンのカメラで撮影したもののテキストを読み上げる「Seeing AI」のAndroid版がリリースされました。
  • 製品バーコードをスキャンして製品情報を提供し、人物の表情や推定年齢を認識、紙幣を確認、色を説明することも可能です。
  • 読み上げは18言語で利用可能で、2024年には36言語に拡大予定で、視覚に障害を持つ人々にとって便利なアプリです。

🔧

作るだけなら簡単なLLMを“より優れたもの”にするには 「Pretraining」「Fine-Tuning」「Evalu..

  • LLMの作成はコードをほとんど書かずに可能で、モデルアーキテクチャは「Transformer」が一択
  • 大規模分散学習ではData Parallelを活用し、Mixture of Expertsを利用すると性能向上が可能
  • Fine-TuningではSFTとRLHFの両方を行い、Evaluation & Analysisには多数の人数が必要

📈

もう迷わない!効果検証のための因果推論手法のチートシート #Python - Qiita

  • 因果推論の手法を整理し、初~中級者向けに学習・活用の見通しを立てやすくまとめた記事
  • 手法のフローチャート、比較表、ざっくりビジュアル解説の3つのコンテンツを提供
  • Pearl流ではなくRubin流、ベイズではなく頻度論、Binaryの介入を基本としている

🤖

ChatGPTで同じ単語を無限リピートさせるとトレーニングデータを吐き出すという論文を受け、該当..

  • 生成AIチャット「ChatGPT」がトレーニングデータを吐き出すという論文が公開された。
  • この論文はGoogle DeepMindの研究者らによって発表され、ChatGPTがトレーニングデータセットの一部を記憶していることを示している。
  • この問題について議論が行われ、90日間の猶予期間を経て論文が公開された。

🚀

2023年12月時点で英語圏で人気のある大規模言語モデルとトレンド

  • AIが人間に近いレベルで言葉を扱える大規模言語モデルが注目されています
  • アメリカ外のモデルの増加やマージモデルの台頭、用途別モデルの細分化がトレンドです
  • マージモデルや特定用途に特化したモデルの開発も進んでおり、アシスタントモデルやチャットモデル、コーディングモデルなどが注目されています

👀

kaggle LLM コンペ 上位解法を自分なりにまとめてみた話|Japan Digital Design, Inc.

  • 「文章生成AIによる過去相場要約機能」の開発やR&Dを進めている
  • Retrieval-augmented Generation (RAG)は、外部知識を生成AIに組み込むことでタスクの性能を向上させる技術
  • kaggleのLLM Science Examコンペでは、RAGがテーマとなり、金メダルを獲得した解法が共有されている

👀

大規模言語モデルの構造を3Dで視覚化してどんな計算が行われているのかを見やすく表示してくれる..

  • 「LLM Visualization」は大規模言語モデルの構造を3Dで視覚化し、内部計算をわかりやすく表示
  • 解説と3Dモデルが画面に表示され、解説の段階に応じて注目すべき場所がアップされる
  • 各パーツにカーソルをのせると、そのパーツの構造やパラメーターを確認でき、計算式も表示される

🔪

3次元物体検出もシンプルにTransformerで!PETRv2を理解する

  • PETRv2は、マルチカメラ3次元物体検出モデルで、DETR3Dの欠点を解決し、PETRの性能を向上させています
  • 時間モデリング、位置埋め込みと画像特徴の活用、マルチタスク学習の3つの要素に取り組んでいます
  • これにより、より高い精度と効率的な学習が可能となります

📜

Asking ChatGPT to Repeat Words ‘Forever’ Is Now a Terms of Service Violation

  • ChatGPTの利用規約では、特定の単語を繰り返し要求することが禁止されています
  • Google DeepMindの研究者は、この手法を使用してChatGPTにトレーニングデータの一部を繰り返させ、個人情報を明らかにしました
  • 研究者は特定の単語を繰り返すように要求し、それによってボットは制限に達するまでその単語を何度も繰り返し、大量のトレーニングデータを返すようになりました

🤖

令和でもドドンと常駐。 AIで喋る「伺か」ライクのデスクトップマスコットアプリ「Vcot」【レビ..

  • 「Vcot」はAIで喋るデスクトップマスコットアプリで、令和でも人気
  • 会話は「ChatGPT」と「VOICEVOX」によって生き生きとし、キャラクターの配置や会話の楽しみ方は自由
  • アバターや音声もカスタマイズ可能だが、APIキーの設定と使用料金が必要

😮

Google DeepMindが「AIは人間と同じように社会学習でスキルを獲得できる」ことを実証したと主張 ..

  • AIが人間と同じように知識を伝達し、他の人間から効率的に学ぶ可能性があると主張
  • AIに動きを模倣する能力を与え、エキスパートの動きを学ぶことでスコアを向上させることに成功
  • 知識伝達の度合いが高まるとAIは自力でスコアを伸ばし、知識伝達能力が汎用人工知能の開発に役立つと述べた

🚀

Dynamic LoRA loading for better performance and optimized resource usage

  • LoRAローディングの最適化により、推論速度が大幅に向上し、計算リソースの節約とユーザーエクスペリエンスの向上が実現しました。
  • ウォームアップ時間が25秒から3秒に短縮され、ユーザーのリクエストへの応答時間も35秒から13秒に短縮されました。
  • LoRAは、ファインチューニングプロセスを効率化し、モデルのサイズを減らす技術で、特定のレイヤーのみをトレーニングし、その他のレイヤーを凍結します。

📚

法令の英訳にAI活用へ 今月から試験的に実施 法務省 | NHK | 生成AI・人工知能

  • 外国人による日本企業や不動産への投資が増え、英語で法令を確認したい需要が高まっている
  • 法務省はAIを使った翻訳を試験的に始め、作業時間を1年ほどに短縮し、来年4月から本格運用を目指す
  • AIの使い勝手が良くなっているため、AIを有効に活用していきたいと法務大臣は述べた

👍

5 Free Courses to Master MLOps - KDnuggets

  • MLOpsをマスターするための5つの無料コースが紹介されています。
  • 初心者からプロまで、Pythonの基本スキルから実世界のシナリオでのモデルの展開、管理、改善までを学べます。
  • 各コースは、Python Essentials for MLOps、MLOps for Beginners、Machine Learning Engineering for Production (MLOps) Specialization、MLOps | Machine Learning Operations Specialization、Made With ML MLOps Courseの5つです。

🔥

Snowflake Joins the PyTorch Foundation as a General Member | PyTorch

  • PyTorch Foundationは、ディープラーニングコミュニティの中立的な拠点で、一般会員として新たに参加したことを発表しました。
  • 参加企業は、分断されたデータを統合し、データを発見して安全に共有し、データアプリケーションをパワーし、複数のクラウドと地理的な場所で多様なAI/MLおよび分析ワークロードを実行することを可能にしています。
  • 参加企業の統合リポジトリであるPythonライブラリを使用することで、ユーザーは事前学習済みのPyTorchモデルを簡単かつ安全にアプリケーションの一部にすることができます。

🏢

米エヌビディア、日本に研究拠点設置へ AI人材育成も - 日本経済新聞

  • AI研究拠点を日本に設置し、AI人材育成も行うことを発表
  • 具体的な設置時期や場所は未定だが、産業技術総合研究所が候補として挙げられている
  • 経産省は2027年度末までに国内の計算能力を20〜30倍に引き上げる目標を掲げ、補助金も計上する予定

👀

Large Vision Models

  • 大規模なビジョンモデル(LVM)を学習するための新しい連続モデリングアプローチが紹介されます。
  • 生の画像や動画、注釈付きデータソースを表現できる共通の形式「ビジュアルセンテンス」を定義。
  • モデルは、4200億トークンのビジュアルデータをシーケンスとして受け取り、次のトークンの予測のためのクロスエントロピー損失を最小化するようにトレーニングされます。

🔄

AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ

  • 2017年にはAmazon ECSを使用していたが、2019年にはGKEに移行し、2020年にはGKEの改善が行われた
  • 2018年にはgokartというMLパイプライン構築用ライブラリが開発され、2021年にはSLA監視が導入された
  • 2022年にはさまざまな改善が行われ、さらに2023年には何が起こるのか期待されている

🚀

GitHub - SuperDuperDB/superduperdb: ๐Ÿ”ฎ SuperDuperDB: Bring AI to your database: Inte..

  • SuperDuperDBは、AIを既存のデータベースに直接統合するためのオープンソースのフレームワークです。
  • ストリーミング推論、スケーラブルなモデルトレーニング、ベクトル検索などの機能を提供します。
  • AIモデルとAPIをデータベースにシームレスに統合し、追加の前処理ステップ、ETL、雛形コードは不要です。

👀

基盤モデル(GPT-4)はプロンプトの工夫で専門特化モデルに匹敵するほど性能が向上することが「..

  • GPT-4などの基盤モデルが医学分野で高い問題解決能力を示すことが示唆された
  • プロンプトの工夫を加えることで、専門モデルと同等以上の成績を収めることができた
  • 他の分野への適用や実世界の問題に対する性能はさらなる検証が必要

🔧

Launch HN: Openlayer (YC S21) – Testing and Evaluation for AI | Hacker News

  • AIのための可観測性プラットフォームで、入力データの品質とモデルの出力のパフォーマンスをチェックするテストツールを開発
  • 開発モードとモニタリングモードの間をシームレスに切り替えることをサポート
  • AIの範囲が再定義され続ける中でも、評価方法論が堅牢であることを確保

📅

Google Cloud、生成AIトレーニングプログラムを12月限定で無料提供|CodeZine(コードジン)

  • 12月に12日間、無料の生成AIトレーニングが提供されます。
  • 基礎コースでは、生成AIの概要やGoogle Cloudツール、LLMの基礎を学べます。
  • ArcadeやGen AI Bootcampなどのコースもあり、これらは「Google Cloud Skills Boost」から利用可能です。

🔍

大規模言語モデルの事前学習知見を振り返る

  • 2023年にはChatGPTのリリースから1年が経過し、3B〜13Bのモデルが国内外で公開された
  • 言語モデル開発には他社や他機関の公開知見を理解し、バランスを保ちながら知識を更新することが重要
  • この記事では、言語モデル開発における重要な知見を紹介し、2024年以降の開発に役立てる

😮

MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model

  • MagicAnimateは、拡散モデルを用いて人物画像をアニメーション化する技術です。
  • 時間的に一貫したアニメーションを生成することが可能です。
  • この研究は2023年にarxivで発表されました。

💪

Extraction Benchmarking

  • 2週間前にリリースしたlangchain-benchmarksパッケージに続き、新たな抽出データセットを提供します。
  • 新データセットは、非構造化テキストの分類や機械可読情報の生成など、LLMアプリケーション開発の課題をテストします。
  • データセットの作成方法と初期のベンチマーク結果を説明し、会話型アプリ開発に役立つ情報を提供します。

🚀

Enable faster training with Amazon SageMaker data parallel library | AWS Machine Learning ..

  • Amazon SageMakerデータ並列ライブラリは、高速なトレーニングを実現するための最適化されたAllGather集合操作を発表
  • AllGatherは、GPU間の通信のボトルネックを軽減し、トレーニングを高速化することができる
  • SMDDPの有効化方法や期待できるパフォーマンスの改善について説明されています

📊

Use custom metadata created by Amazon Comprehend to intelligently process insurance claims..

  • Amazon Comprehendを使用してカスタムメタデータを作成し、保険請求の効率的な処理を可能にします。
  • カスタムメタデータは、企業が情報を好みの方法で分類するのに役立ちます。
  • Amazon Kendraを使用して、作成したカスタムメタデータとデータを一緒に取り込むことができます。

🚀

Foundational data protection for enterprise LLM acceleration with Protopia AI | AWS Machin..

  • 大規模言語モデル(LLM)は企業の業務を急速に変革し、効率と効果を向上させていますが、データの所有権とプライバシーの問題があります。
  • 企業は、モデルに機密情報を安全に送信するための責任ある方法と安全な方法を必要としています。
  • Protopia AIのStained Glass Transformを使用して、LLMの使用中にデータの所有権とプライバシーを保持するための課題を克服する方法について説明します。

🎉

Fine Tuning Mistral 7B on Magic the Gathering Drafts

  • Magic the GatheringのドラフトでMistral 7Bを微調整する方法を探求
  • 微調整はGPT-4の能力のギャップを埋めることを約束し、高速かつ安価
  • 微調整された7BパラメーターモデルはGPT-4を圧倒し、人間レベルのパフォーマンスに近づいた

🔍

RAG(Retrieval Augmented Generation)を用いたPostgreSQLアシスタントAIの試作 #Azure - Qiita

  • RAG(Retrieval Augmented Generation、検索拡張生成)は、大規模言語モデルに外部データベースの検索結果を説明させるアーキテクチャーです。
  • PostgreSQLアシスタントAIはRAGを用いて試作され、使えるものになりそうです。
  • 回答品質を高めるためにはドキュメントの前処理が重要であり、散在する回答群をまとめあげるユースケースに期待があります。

🤖

ChatGPTを使って、COBOLのリバースエンジニアリングをやってみた! | LAC WATCH

  • ChatGPTを用いてCOBOLのリバースエンジニアリングを試みた
  • AIを活用して古いプログラミング言語の解析を行う
  • 新旧の技術を組み合わせてシステム開発に役立てる

🤝

メタとIBM、生成AI「オープン型」へ 50社・団体と連携 - 日本経済新聞

  • 50社・団体と連携し、オープンソースの生成AI開発を促進する新団体を設立
  • 日本からもソニーグループやソフトバンクの生成AI開発子会社が参加
  • 生成AIの注目度が高まり、国際的な規制や著作権に関するルールの策定が急がれている

🎨

モナ・リザが走る! 1枚の絵とモーションデータだけでぬるぬる動き出す「Magic Animate」が話題..

  • 「Magic Animate」は静止画から人物のモーションデータを生成するAI技術です
  • 人物の顔や服装のディティールを保持しながら、安定した背景のままアニメーション化が可能です
  • 走るモナ・リザや踊る人物のビデオを公開し、多くのユーザーから高い評価を受けています

🚀

IBMとMeta、50以上の組織と「AI Alliance」結成 OpenAI、Microsoft、Googleは参加せず - ITmedi..

  • 「AI Alliance」が米IBMと米Metaによって立ち上げられ、50以上の組織が参加
  • Microsoft、OpenAI、Google、Anthropicは参加せず、自社でAIの安全性を促進する団体を設立
  • AI AllianceはAIシステムの開発を支援するリソースを開発する計画を発表

🚀

Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code

  • たった1行のコードで高速なLLM推論を実現するAPIが提供されています。
  • 最大28倍の高速な推論と1,200トークン/秒の処理速度を実現できます。
  • 新しいfloat8形式を活用した最初の推論ライブラリで、FP8と高度なコンパイル機能によりLLM推論が劇的に高速化されます。

2023年12月06日

|

このサイトについて

/

ニュースレター

/

@AINewsDev