AIがもたらす、プライバシーの侵害や差別につながるリスク
──では、セキュリティ対策やガバナンスが不十分なままAI活用を進めた際、具体的にはどのような問題が教育現場で発生すると考えられますか。
一番の問題はプライバシーに関するものです。これはAIに限ったことではありませんが、例えば教育ダッシュボードのようなツールの導入により、児童生徒一人ひとりの個人的なデータが企業のサーバーに集約・記録されます。企業がいくら保証したとしても、委託先のサーバー経由での情報漏洩というインシデントは必ず起こり得ます。重要なのは「インシデントは起こるわけがない」ではなく、「どうすれば起こらないか」を前提に対策を議論することです。
また、こうした個人のデータがAIと結びつくことで、子どもたちの行動や感情のデータがソーシャルスコアリングやプロファイリングに使われ、AIが子どもの行動パターンと社会的・経済的な背景などを関連づけてしまう可能性があります。そして「このような社会的背景がある子どもは、将来こういう行動をするに違いない」という判断や決めつけが生じた結果、差別につながってしまうのです。さらに、AIはブラックボックスであり、その推測が必ずしも正しいとは限りません。
先生が「絶対にそのような差別はしない」と意識を持って対応できればよいのですが、AIに頼りすぎると子どもへの見方が差別的になる可能性が高くなります。例えば、不登校の兆候をAIで把握しようとする意図は理解できますが、「このような子どもは不登校になるだろう」と、AIの情報のみで判断することは当然問題と言えます。
一方、文部科学省は、教育データ利活用に関する留意事項の中で、「現時点で決まった見解があるわけではない」として、AIプロファイリングそのものへの結論を出していません。つまり、実質的には放置状態にあると言えます。問題が起きても歯止めがかからない状況は非常に危険です。
EUではAI法によって、差別的な結果をもたらす可能性があるAIシステムに対して厳格な規制をかけています。ですが、日本はこれらの議論が非常に遅れており、子どもの権利を守るための規制が絶対的に不足している状況です。現場の先生方のモラルに頼るのではなく、法的な規制が不可欠です。
──「教育目的だから」と、子どものプライバシーが侵害されたり、差別につながったりするリスクがあるということですね。
その通りです。こうした問題は従来も存在していましたが、今の時代、デジタルデータが蓄積し、AIによって処理されることで、その問題はより深刻になります。デジタルデータは簡単に消えず、将来的にどのように使われるかもわからず、子どものキャリアに影響を与える可能性があるのです。国連の子どもの人権委員会も、子どものデジタルデータの取り扱いには慎重さが求められ、法的規制が必要だと提言しています。
──子どもがAIに「見られている」と感じること自体が、よくない影響を及ぼす可能性もあるのでしょうか。
大いにあります。子どもたちは、AIによって自分の発言や行動、閲覧記録などがチェックされているとわかると、年齢が上がるにつれて本当に感じていることの入力を避けるなど、本音を隠すようになります。学校側が求める「正直なデータ」は得られなくなるのです。
教育において重要なのは、子どもを管理し、行動を監視することではなく、人間的な触れ合いの中で信頼関係を築くことです。「教育のためであれば許される」という発想でプライバシーを軽視し、AIがもたらす不利益を放置してはなりません。