特集
自動化の系譜
「自動化」と一口に言っても、その中身は半世紀をかけて少しずつ形を変えてきました。まとめて処理するバッチから始まり、時刻起動、分散処理、非同期の配管、そして状況に応じて手順を組み立てる試みへ。背景で動く処理がどう積み重なってきたかを、主要な出来事で振り返ります。
各項目は、公開された論文やサービスの登場時期など、確認できる事実にもとづいて並べています。技術の優劣ではなく、関心の重心がどこへ移ってきたかを読む手がかりとしてご覧ください。
-
1950–60年代
バッチ処理の時代
パンチカードや磁気テープにためた仕事を、計算機がまとまった単位で処理した。即時応答ではなく「ためて、まとめて流す」発想が、自動化の最初の形だった。
-
1970年代
Unix と cron
指定した時刻にコマンドを起動する cron が定着。決まった時間に決まった処理を起こす仕組みが、定期処理の標準になった。
-
1980–90年代
ジョブスケジューラの体系化
企業の基幹業務で、夜間バッチを順序立てて制御するジョブ管理が広がる。前段の完了を待って後段を走らせる依存管理が重要になった。
-
2004年
MapReduce 論文
Dean と Ghemawat が、大規模データを多数のマシンで分割処理する枠組みを発表。分散処理を「書きやすく」する流れの起点となった。
-
2006年
クラウドの登場
AWS が計算資源を従量課金で提供し始める。インフラを所有から利用へ変えたことで、処理を背景でいくらでも増やせる前提が生まれた。
-
2010年
Dapper と可観測性
Google が分散トレーシングの論文 Dapper を公開。複数サービスにまたがる処理の経路を追う、観測の土台ができた。
-
2011年
Kafka の公開
LinkedIn がログ指向のメッセージング基盤 Kafka を公開。処理を時間的に切り離す非同期の配管が、広く使われるようになった。
-
2014年
コンテナとワークフロー定義
Kubernetes が公開され、Airbnb で Airflow が生まれる。処理の実行環境と、流れの記述方法の双方が整備された。
-
2017年
Transformer の登場
Vaswani らの論文以降、言語モデルによる推論が補完や翻訳の質を大きく変えた。背景で動く知能が、より身近な処理に入り込んだ。
-
2020年代
自律的ワークフローへ
定型の流れに加え、状況に応じて手順を組み立てるエージェント的な処理が試みられる。自動化の重心が、実行から判断へ移りつつある。