AIで作ったシステムのブラックボックス化｜仕様を誰も把握していないと何が起きるか

システムは動いているのに、中で何をしているのかを誰も説明できない。システムのブラックボックス化とは、そのような状態です。

私たちは、エンジニアではない方がAIで書いたコード（システムを動かす命令を書いたもの）に触れてきました。触れるほど、人が仕様を把握していないことが大きな課題だと考えるようになりました。AIで内製化（外注していた開発を自社で行うこと）を進めるときに、先に知っておきたいことです。

システムの仕様とは？

「どういう仕様なのか」は、「そのシステムが何をしているのか」と言い換えられます。

AIで作ったシステムがブラックボックス化する理由

AIの進化で、コードの質への心配は減ってきました。

エンジニアが学んでいることの多くは、コードの書き方ではありません。やってはいけない作り方（アンチパターン）と実績の多い設計（ベストプラクティス）を経験で知っていて、AIの提案にも批判的な視点で反論できます。コードを書くことは、システム開発の工程の一部でしかないのです。

ブラックボックス化したシステムで起きること

不具合の理由が分からないと、修正もAIに任せきりになりかねません。調査と修正が繰り返されると、最初からエンジニアに頼んだ方が費用を抑えられた、という結果になります。

直すたびに仕様は入り組み、保守性（あとから直しやすいこと）が下がっていきます。

経済産業省が2025年にまとめたレガシーシステムについての報告書も、同じことを言っています。

レガシーシステムとは、以下の要因により、運用維持保守や機能改良が困難な状態に陥り、経営・事業戦略上の足枷、高コスト構造の原因となっているシステムを指す。

（中略）

③システムのブラックボックス化

• 仕様や設計のドキュメントが整備されておらず、新システムへの移行や再構築時に支障が発生
• システムの運用維持保守が属人的な状態に陥っている
• システム障害発生時に原因がすぐに特定できない

引用: 「DXの現在地とレガシーシステム脱却に向けて レガシーシステムモダン化委員会総括レポート」（経済産業省、2025年5月）

ブラックボックス化の対策｜仕様を文書で管理する

仕様を文書で管理し、AIで更新していくことが、ブラックボックス化への備えになります。経済産業省の報告書も、システムのブラックボックス化の1つ目に、仕様や設計の文書が整備されていないことを挙げています。

私たちの場合、マニュアルや仕様書の最初の枠組みは人が作りました。

仕様を文書で管理して良くなったこと

仕様を文書で管理して良くなったことは、私たちが開発の現場で感じている変化です。

まとめ

• AIで作ったシステムの課題は、コードの質ではなく、何をしているのか（仕様）を人が把握していないこと
• 把握しないまま進めると、調査と修正が空回りして費用と時間がかさむ。1年後の改修費が膨らみ、最悪は作り直しになる
• 備えは、仕様を文書で管理し、AIで更新すること。不具合の原因の見当がすぐにつき、担当の方が自分で直せる。直すと別の場所が壊れることも減った

AIでの内製化の進め方で迷っている方は、お気軽にご相談ください。