Quality Assurance of Machine Learning-based Systems

高信頼な機械学習応用システムによる価値創造

QAML(Qality Assurance of Machine Learning-based Systems)コミュニティは、JST未来社会想像事業の機械学習工学に関するQAMLプロジェクト(高信頼な機械学習応用システムによる価値創造)を起源とし、機械学習工学技術の促進と発展を目的としたコミュニティです。主にJST未来社会想像事業eAIプロジェクトで開発したツールや手法を普及、展開させる活動を行っています。

現在、意図したラベルや状況の精度を他のラベルの精度落とさずに向上させる DNN リペアツールおよび、機械学習を応用したAIシステムの安全性を担保するためのモデル駆動型AIシステム開発ツールである安全性フレームワークツールを提供しています。

安全性フレームワークツール

Software Engineering Patterns and Framework for Reliable Machine Learning Systems

機械学習を応用したAIシステムの安全性を担保するためのモデル駆動型 AI システム開発ツール

フレームワークの概要

eAI フレームワークは、高信頼な AI 実現に向けた「開発・運用ガイドの仕組み」といえます。

機械学習は使用するデータによって振る舞いが決定します。データの捉え方をいかにすべきか、実社会にどのような価値をもたらすのか、そのためにはシステムをどう機能させるかなど、さまざまな側面を見る必要があります。

また、機械学習に基づいた意思決定や振る舞いが、この範囲内であれば安全性がどのような根拠に基づきどこでどのように保証され、この範囲外だと保証されないといったことを明確に説明することがとても大切です。eAI プロジェクトで対象にしている自動運転や医療のように、人命に直結する、大きな損害をもたらしかねない非常にクリティカルなものを扱うには、多面的・安全性を組み入れた高信頼な機械学習システムが求められます。

この高信頼な機械学習システムを工学的に作るためには、安全性を含むさまざまな側面が整合した形で保証されるように開発と運用を体系的に進める全体の方法論・プロセスが不可欠です。そしてそこには、特定の文脈で問題と解決をまとめた定石と呼べるパターンの組み入れが不可欠だと考え、そのパターンを分類・整理し、まとめたものも「フレームワーク」の重要な構成要素の一つとなります。

また、機械学習システムはデータの特徴が変化することによって、徐々に機械学習による予測が現実と乖離していくケースもあります。そして、それを改修するには、通常どのようにしたらよいかという根拠が必要です。しかし、現在の機械学習では、「こういう要求に応えたい」「品質を改善するために、変更したい」「環境が変化し、不整合が生じた」場合、その都度手探りでの改修となっています。eAI プロジェクトは、これをエンジニアリングできる(体系的に対応できる)ようにすることを目標としており、そのためのeAI フレームワークも ”体系的に改修する” ことへのガイドになるものです。

要求・ニーズに応じて高品質AIを実現するフレームワーク

frameworkFig01

プロジェクトの活動内容

早稲田大学を中心とする eAI フレームワークチームでは、機械学習システムの開発や運用における要求分析や設計・実装・保守などのモデリング中心の方法論およびプロセスを分類・整理し、さらにそこから参照する形で主要な解決をいくつかのパターンとしてまとめています。具体的には、Software Engineering Patterns for Machine Learning Applications で 15のプラクティスをパターンとして整理し解説しています。機械学習システムの構築および改修を行う際に、「このような課題には、この対応ですすめたほうがよい」という15のガイドがあるというイメージです。これらは広く全般的な機械学習において利用できるよう、”共通の課題” ”共通に求められる型” などをある程度抽象化し、パターンにしています。

eAI フレームワークは、自動運転分野や医療分野、工場内における監視などの一業種に特化したものでも、ひとつの問題領域だけに偏るものでもなく、整合性を持って一貫したかたちであらゆる分野で扱え、かつ、きちんと説明できるものを目指しています。

機械学習を使ったソフトウェアシステム開発には、データサイエンティスト、ソフトウエアエンジニア、ハードウエアのエンジニア、ドメインのエキスパートなど、さまざまな利害関係者や異なる専門家が関わります。そういった関係者の共通言語になることも期待しています。
「Software Engineering Patterns for Machine Learning Applications」は、米国の権威ある学会誌『IEEE Computer』の特集「Artificial intelligence and Software are you ready?」に掲載され、同誌のTrending Articlesとなり、「2022 Best Paper Award」を受賞しました。さらに、“一定の抽象度で整理していくことが大切である”とした私たちの研究が世界中から注目を集めています。関連して、フレームワークチームのメンバーにより、Google Cloudのデータ分析&AI部門トップLakshmanan氏らがまとめた「Machine Learning Design Patterns」を和訳して「機械学習デザインパターン」として2021年10月に出版しました。同書では、30のパターンを公開しています。
eAIプロジェクトは、AIの説明性や信頼性、そして安全性が求められる領域を開拓するプロジェクトであり、eAI フレームワークもこれらの領域を深掘りしたものです。「Software Engineering Patterns for Machine Learning Applications」とGoogleのパターンほか各種のパターンやプラクティスなどを、目的に応じて併用していくと良いでしょう。

フレームワークの構成

eAI フレームワークは、さまざまな分野に対応した 2段階の構成となります。上述したように分野非依存の全般的に利用できるものを第1段階とし、画像解析による自動運転や医療における機械学習など、対象によって問題領域は異なるため、各問題領域にあわせ、特化した部分が第2段階となります。
現在の eAI フレームワークは、ドキュメントを中心としたものですが、モデリングツールの研究開発も進めており、既存のモデリングツールで使えるプラグインツールのプロトタイプを 2024度に公開する予定です。

eAI フレームワーク

frameworkFig02-1

現場で一気通貫に採用可能、変更への適応・改訂容易

現在、自動運転をフィールドにした「深層学習自動デバッグ技術」の例で実証実験を行っており、実用的な事例をもとに eAI フレームワークの有効性を示す計画です。さらに、医療分野など、いろいろな横展開を検討しています。なお、eAI フレームワークを構成する基本的なモデリング中心の方法論・プロセス(GOMLTRaT)についてはは、すでに富士通の「OCR(Optical Character Recognition)」にて活用・拡張がはじまっています。

安全性を組み入れた多面的分析・設計方法論・プロセス

frameworkFig03
frameworkFig04

活用事例:田中宏(富士通), “実質的”100%に向けて;文書認識のための品質保証フレームワーク, パターン認識・メディア理解研究会(PRMU), 2022年3月11日

eAIプロジェクトは産学連携の取り組み

eAI プロジェクトは、産学連携の取り組みです。eAI フレームワークでも自動運転に強い企業、機械学習に強い企業と連携し、まずは、フレームワークの第1段階がいろいろなドメインに使えることを立証していきたいと考えています。

ガイドとしての適切な抽象度はつねに課題となります。抽象度を高めることで適用範囲は広がりますが、抽象的すぎてガイドとしての役割が担えません。反面、具体化しすぎると、特定の局面しか活用できないことになります。機械学習全般に対応できながらも一定の実効性を持つガイドとして、適切な抽象度がカギになります。

また、「フレームワーク」は、技術をどう活用するかのガイドであり、技術チームが開発したさまざまな技術を取り込むことが本質的な課題です。安全性に関してリスクを算出することも eAI フレームワークで対応していければならないことであり、技術検証(POC)の中でその有効性を示す予定です。

あとは、eAI フレームワークの有効性・必要性をきちんと説明していくことです。eAI フレームワークは、ソフトウェアおよびシステムの開発を効率よく、かつ整合性を保ったかたちで進めていくガイドです。そのガイドがないために不整合が生じたり、問題を追跡できなかった、安全性が担保できないなどのケースが想定されます。ガイドがあるからこそ、エンジニアリングに一貫した整合性が取れ、安全性も担保できることを企業の経営者層に説明できるようにしなければなりません。エンドユーザへ直接に目に見える変化ではない分、eAI フレームワークによる変化には分かりにくさがありますが、複雑なAIシステムの開発には今後ますます必要になることは確かです。AIをエンジニアリング(体系的)に構築できることを分かりやすく説明することも私たちの仕事。そうしなければ、機械学習の社会実装を加速させることはできません。

日本は、品質や安全性をとても大切にします。eAIプロジェクトは、日本のよさである高品質・高い安全性を担保したAI実現に向けて活動しており、そんな頼れるAIシステムを世界中が求めています。そんな高品質&安全の証“Made in Japan”のAI実現に向けて、eAI フレームワークを推進していきます。

お問合せ


早稲田大学 理工学術院
鷲崎弘宜研究室内 QAML事務局

Languages


SNS



© QAML All Rights Reserved.