Sikuli is a visual technology to search and automate graphical user interfaces (GUI) using images (screenshots).

Project SIKULI

ということで「必要なのはスクリーンショット」というプログラム開発・実行環境「SIKULI」というのがリリースされたようです。MIT（マサチューセッツ工科大学）のニュースで「Picture-driven computing」というタイトルで発表されていました。

どんなものか、というのは以下のビデオを見てください。「ウィンドウのこの部分をクリック」の「この部分」を実際のスクリーンショットで指定しているのがすごいですよね。

VBでもアプリ画面内の座標を指定して「ここをクリック」みたいなことはできるのですが、これは画像を認識しているようなのでいろいろと応用ができそうです。

例えばGPSで自分の位置を地図上に表示させているような場合に、その絵を指定して「このパターンの絵になったらポップアップで警告」みたいなこともできることでしょう。

実行スピードの問題とか画像認識の精度とかいろいろ問題はあるかと思いますが、とにかく専門の知識なしで何かしらのプログラムが作成できる、というのは素晴らしいと思います。

コンピュータのおもしろさはゲームで遊んだりアプリケーションで何かを処理させることもあるのですが、自分でプログラム書いてそれが思った通りに動くというのが何よりも面白いので、こういうビジュアルで優しい開発環境がメジャーになって多くの人がプログラミンの面白さ/楽しさを発見/体験してもらうといいな、と思いました。

上のデモビデオをMacでやっていますが、現在ダウンロードできるものの対応プラットフォームはWindows XP/Vista/7 (Java 6 が必要)となっていました。JavaだからMacでも動くのかなあ。