2024年9月9日、生成AIの最新動向と活用事例を学べるイベント「AWS AI Day」が開催されました。会場は、生成AIの可能性に期待を寄せる多くの参加者で熱気に包まれました。
今回は、イベントの注目セッションや見どころをレポートします。
生成AIの最前線を探る: 最新事例と実践的ハンズオン
https://aws-ai-day-jp.splashthat.com/
2024 年 09 月 09 日 14:00 – 18:00 JST
会場となったザ・プリンス パークタワー東京
ボールルーム ABC
オープニングセッションでは、アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャーの黒川 亮 氏が登壇。
AWSが考える生成AIのビジョンや戦略、そしてAmazon Bedrockをはじめとする生成AIサービスの最新アップデートが紹介されました。
これまで326機能をリリース。これはクラウド各社と比較しても群を抜いて多い数。
最先端のAIは、クラウド上にある。
世界最速の演算環境をクラウドで。
推論と学習で別の演算環境を用意
AWS Inferentia（インファレンシア）
Amazon EC2 で、深層学習と生成 AI 推論について最低コストで高パフォーマンスを実現
そしてサステナビリティ。
業務に効くモデルの選択、組み合わせ
Bedrockで最新リリース
Claude3.5, Stable Diffusion 3が可能に
そしてモデル評価も
RAGによるナレッジベースデーターコネクター拡張もお任せ
Knowledge Bases for Amazon Bedrock
https://aws.amazon.com/jp/bedrock/knowledge-bases
ナレッジベース・データコネクター拡張
URLやSalesForceなど…
新しいデーターソース、コネクタが用意されています。
アマゾン ウェブ サービス ジャパン合同会社 Data & AI事業本部 プリンシパル事業開発マネージャー 黒川亮 氏は、LLMによる知識を「チーズ」に例えます。知識の「チーズの穴」を埋めるRAG以外の手法が「ファインチューニングである」としています。
そしてエージェント機能によるメモリー保持とコード解釈。
生成AI Contents Hubを公開
https://github.com/aws-samples/generative-ai-use-cases-jp
特に、生成AIの先進をリードするAWSの姿勢が強調され、参加者の注目を集めました。
リクルートの今年4月の新卒入社、の柴田さん中川さんによる講演。
新人が感まったくない、堂々とした生成AIプロフェッショナルによる講演でした。
顧客事例講演では、株式会社リクルートとKDDIアジャイル開発センター株式会社が登壇。
リクルートは、Amazon Bedrockを活用した入稿文章校正システムの構築事例を紹介。新人検索エンジニアがRAG（Retrieval Augmented Generation）の性能評価や改善に取り組んだノウハウを共有しました。
リクルート新卒中川さん「RAGは（構築するだけなら簡単だが）評価が大事」
様々な「社内規定」をテーマに事例を紹介 されました。
たとえば「『約』という表現は可能か？」 リクルートの営業さんからの過去の問い合わせメールなどを使い、RAGの中にプロンプトで「常識的に回答」を加えて実態に沿わせた回答に。 さらにここから「評価」に。 改善の方法が汎用できるのか？ 方向性が正しかったのか？を評価していきます。
過去のリクルート営業さんからの質問からテストケースを作成。一方で、 回答の性能評価の難しさについても語られました。
それで大丈夫？RAGのチューニング
RAGの品質を自動評価するOSSフレームワーク「RAGAS」を使用
https://docs.ragas.io/en/stable
RAGASの出力から。
Answer Similarity: 真の回答の類似度
Fathfulness:コンテキストにどれだけ沿っているか
今回の例だとAnswer Similarityは上がっているけどFaithfulnessが上がっている。これはハルシネーションリスクが上がっている。
真の回答には背景となる状況を考慮している そこで 事実の仮定と場合わけを追加 RAGASの導入によって改善サイクルが回るようになった 3ヶ月で40以上のサイクルを回して改善を実施した
まとめ
様式美もきっちりで
まるで新人とは思えない発表でした
ありがとうございました！
＜続きます＞
ツイートスレッドでの紹介はこちらから
https://note.com/aicu/n/n7611a4a6a677
https://note.com/aicu/n/n6a709cc37882
https://note.com/aicu/n/n4a38bcebe324
Originally published at https://note.com on Sept 9, 2024.
