AI決定 opaque 危機…
企業はますますアルゴリズムと人工知能（AI）を使用して、私たちの対象となる金融商品と支払う金額を決定するために、彼らが私たちをすくい上げて膨大な量のデータを分析しています。これらの洗練されたツールは、貸付決定を行う際に銀行によって使用され、雇用主は求職申請をスクリーニングし、ほとんどの州では、保険料を設定する際に自動車および家庭保険会社によって使用されます。
公平性と正確性を確保するために訓練された場合、AIはクレジットへのアクセスを拡大し、人間のバイアスによる差別を減らすことができます。そうでない場合、それは大きな経済的危害をもたらすことができます。
たとえば、AIがローン申請を拒否した場合、なぜその決定が下されたのか、どのデータが使用されたのかを知る方法はありません。
「AIおよび機械学習モデルの多くを使用すると、携帯電話でのデジタルアプリの使用からソーシャルメディアからのデータを掃除機で埋めており、そのデータベースに何があるかはわかりません」「それは、似たような名前を持っている他の人にとっても、まったくあなたではないかもしれません。」
ほとんどの応募者は、AIによって決定がいつ行われるかわからない。そして、たとえ彼らがそうしていても、その意思決定プロセスは不透明であるため、どのような要因が考慮されたかはわかりません。AIツールは、不正確または完全に虚偽の申請者に関する情報をインターネットからスクレイプする可能性があります。
「これはブラックボックスの問題です」と、アメリカの非営利消費者連盟のCEO、スーザン・ワインストックは言いました。「悪いデータが入っていれば、ごみデータが出てくるでしょう」とワインストックは、CheckbookのConsumerpediaポッドキャストの最近のエピソードで述べました。「そして、消費者は完全にその悪いデータに翻弄されています。規制当局は、アルゴリズムが偏っていることさえ知らないかもしれません。」
昨年、消費者報告と消費者連盟は、「歴史的偏見を反映するデータだけでなく、代表的な、誤った、または不完全なトレーニングデータなど、「アルゴリズムの差別が多くの情報源から生じる可能性がある」という消費者金融保護局への手紙を報告しています。これにより、色と低所得の消費者のコミュニティが手頃な価格のクレジットにアクセスすることができないと彼らは書いています。
バイアスは、人種などの「保護された特性」が直接またはプロキシを通じて不適切に使用される場合など、設計プロセス中にAIモデルに埋め込むことができます。
たとえば、貸出ツール用に作成されたデータベースには、開発者にとって中立的な要因であると思われるZIPコードが含まれる場合がありますが、人種、収入、性別、または宗教の代理として機能する可能性があります。
「あなたが代理差別を持っているとき、ベルは次のように説明しました。そして、それは本質的に私たちが持っている状況です。」
AI決定 opaque 危機
小切手帳は、業界貿易グループであるAI協会にこれについてコメントするように依頼しましたが、私たちの要求には応答しませんでした。
消費者の懸念
消費者による2024年の調査では、ほとんどのアメリカ人は、ビデオ就職のインタビューの分析（72％）、潜在的な賃貸テナント（69％）のスクリーニング、貸付決定（66％）のスクリーニングなど、自分の生活についてハイステークスの決定を下して「やや不快」または「非常に不快」であると報告しています。
CRがAIを使用して雇用決定を下す会社に応募することについて尋ねたとき、83％がプログラムが決定を下すために使用した個人情報を知りたいと答え、93％はAI雇用ツールが依存している誤った個人情報を修正する機会を望んでいると答えました。
マシンが重要な財務上の決定を下すことを許可することに対する圧倒的な不快感は十分に根拠があるかもしれません。調査によると、AIは誤った結果を生み出し、有害なバイアスを増幅することができます。
生成AIツールは、マサチューセッツ工科大学の警告からのAREPORTによると、「そうでなければ誤解を招く出力の可能性があります」。また、ユーザーに「本物のように見える製造データ」を提供することもわかっています。これらの不正確さは「非常に一般的です」と報告書は述べています。「彼らは自分のモニカを獲得しました。私たちはそれらを「幻覚」と呼んでいます。」
ガードレールが必要です
消費者の擁護者は、消費者がAIの意思決定の増大し続ける使用から保護するためには、新しい法律や規制が必要であると考えていると言います。
「AIが公平かつ説明責任を果たす方法について会話する必要があり、消費者がそれらを抑えるのではなく、消費者を支援する方法で使用する必要があります」とCRのベルは小切手帳に語った。「AIが使用されていることを消費者が認識しているように、アルゴリズムツールが使用されているときの明確な開示があります。そして、アルゴリズムがアプリケーションを拒否した場合、人々が人間にアピールできることを確認したいと思います。
AI決定 opaque 危機
消費者のレポートは、AIが消費者について「結果的な決定」を行うために使用された場合に企業がしなければならないことを規制する州および連邦の規則を望んでいます。
Twitterの共有: AI決定 opaque 危機
