紙を超える－手書きメモの望ましい仕様について

「紙を超える」手書きメモ・プログラム

本文の最終目的は、紙のノートがいらないソフトウェアの手書きメモ書きツールが、ペン入力コンピュータを普及させる上での起爆剤となるように、作成する上での仕様を示すことにある。

１．紙＋ペンの組み合わせが、なぜ、今なお必須で、キーボード入力などで置き換えができないか?

従来、会議、講演、授業、電話などで、話者が口頭でしゃべったり、黒板に書いた内容を、一目で分かる形で記録する必要がある場合には、皆、紙＋ペンを使っているのが現状である。

コンピュータのキーボードでは、
1)入力速度が話者のスピードに追いつけない
2)入力した内容を訂正する手間が大変である(特にかな漢字変換誤り)
3)図を描くことができない

といった問題を抱えている。

マウスでは、
・入力を開始したい位置に、一発で飛ぶことが難しい
といった問題を抱えている。

２．会議などで、資料を、ワープロ文書やテキストファイル形式で配って、それにコメントを入力させる方法が取られないのはなぜか?

その理由は、文書・ファイルを開くためのアプリケーション(ワープロ、プレゼンテーションソフト)が、
1)キーボードによる文字入力のみに対応している
2)直接、手書きの筆跡を入力することができない、やりにくい
3)レイヤーの概念がないため、コメントを入力しようとする段階で、オリジナルの資料の内容を上書き消去してしまう
といった問題を抱えているためと考えられる。

３．紙＋ペンによるデータ入力が、ペン入力コンピュータ(タプレット＋ペン)の組み合わせによって置き換えられてこなかった理由は何か？

まず、ソフトウェアの問題としては、
1)筆跡入力開始までの手続きが面倒である(PowerPointのようなプレゼンテーション・ソフト)
2)入力済の筆跡を訂正する手間が大変である(Paintツール)。(以前の、任意の入力状態に戻る手間が大変である)
範囲指定、誤入力ストロークの取り出し、消去、再入力といった手間が必要。

3)データシート(紙1枚に相当) 筆跡を書き込む際に、シート切り替えが一発でできない。画面スクロールが必要である。スクロールするには、矢印ボタンを押し続けなければならず、面倒である。
4)画面が筆跡でいっぱいになったときに空白領域を出す場合や、全筆跡データ上の任意位置へのジャンプ・スクロールを行う場合、プルダウンメニューやスクロールバー操作が必要となり、手間が大きくかかる

5)シート上が筆跡で満杯になったとき、空白シートを一発で呼び出すことができない(PowerPointでは、プルダウンメニュー操作が必要)。

6)筆跡を圧縮して、空白領域を生み出すことができない

7)複数シートにまたがった筆跡入力ができない(MacDrawでは、できていた)

8)筆跡データの重ね書きをすると、下のデータと混ざってしまう。レイヤーの概念に欠けている

４．従来の紙が持つ欠点を超えるには？

◆紙は、大きさが限られていて、筆跡を書いているうちに、満杯になってしまう。そうすると、別の紙を用意しなければならないが、前の紙との間で、筆跡データが、断絶してしまう。この問題を解決するには、無限大サイズの仮想紙を想定し、その上に、筆跡を、書き込み座標データの集合の形で持たせる。仮想紙の上のどこに書いても、筆跡座標だけを保存すればよく、画面サイズがいくら大きくなっても、データ量は、筆跡座標×筆跡の総延長だけで済む。

◆紙では、複数ページにまたがる筆跡データの場合、任意のページへと一発で飛んだりスクロールしたりすることができず、一枚ずつ手でめくらなければならない。

この問題を解決するためには、
1)仮想紙の上で、任意の位置(ページ)へと、一発で飛んだり、スクロールしたりできるようにする。
2)仮想紙全体の鳥瞰と、鳥瞰図上での任意ジャンプ位置指定を可能にする。
3)利用者が指定した、互いに関連ある筆跡同士を、リンクさせ、一方の筆跡から他方の筆跡へと、ジャンプすることを可能とする。
4)筆跡データの終端(そこから先は、空白のみ)位置へと、一発でジャンプして、そこから、新たな筆跡を、すぐ書き始められるようにする。

５．まとめ

上記で述べた、紙の持つ長所と短所それぞれを超えるために手書きメモ・ソフトウェアに求められる仕様を、以下の表にまとめた。

分類・番号	紙	既存ペン入力対応ハード・ソフトウェア	今回の新しい案(紙を超える)
紙の長所
1	会議、電話などで、話者の話す速度に追いついて、会話内容を筆記できる。	ペン入力対応なら、原則として(インク取りこぼしとかが起きなければ)、話者の速度に合った筆記速度は出せるはずである。	←
2	書き込んだデータ保存が確実である。電源が切れると消えてしまうということがない。燃やしたりしない限り、データは消えない。	電源が切れると、データが消えてしまう。削除コマンドを選んで消すと、二度と復旧できないことが多い。	書き込まれた内容は、全部覚えているようにする。削除コマンドが使われたら、画面表示だけ消すようにして、データ自体は、隠れ領域に残す。
3	1枚当たり可能な書き込み・表示のデータ量が多い。	1画面当たりの書き込み可能データ量は、極めて不十分である。少し書き込むとすぐいっぱいになってしまう。	スクロールを簡単にすることで、画面は小さくても、大きな用紙の上に書いているような感じを実現する。
4	データ表示の解像度が高い。少ない領域で、目一杯表示できる。	データ表示の解像度は、液晶画面タイプでは、高いとはお世辞にも言えない。	画面スクロールを簡単にすることで、解像度の低さを.補う。
5	書き心地がよい。	書き心地は、あまりよくない。
5-1	→インクが確実に乗る。	インクは取りこぼしがときどき起きる。	(対応不可能)
5-2	→筆圧を受け止めて、紙が凹んでくれる。	筆圧をかけると、そのまま指に返ってきてしまう。	筆圧に応じて凹む透明塩化ビニールシートなどをかぶせる。
5-3	→ペン先が筆記中にすべらない。	ペン先が筆記中に滑ってしまう。	透明な紙を、タブレット上にかぶせる。
5-4	→筆圧に応じて、自由自在に、ペンの太さを変えられる。	ペンの太さは、変えられず、しかも太すぎる場合がほとんどである。 ○筆圧対応のハード(Wacomなど)・ソフト(FLASH4Jなど)も一部に存在する。	できれば、筆圧対応する。
6	1枚目を書き終えた時、2～3枚目を飛ばして、4枚目からいきなり書き始められる。	2～3枚目を飛ばすには、その分量だけ改行を入れるか、改ページ記号をいちいち入力しなければいけない。 ○ワープロOASYS(富士通)では、任意のページのどこからでもすぐ書き込める。	任意のページのどこからでも書き込めるようにする(ワープロOASYSを踏襲)。
7	紙をパラパラめくりすることで、多量の情報の斜め読みが簡単にできる。	パラパラめくりがしにくく、斜め読みは事実上不可能である。 →ページを1ページめくるたびに、1回ペンタッチしなければならない。 →ページのめくられる速度を指先でコントロールできない。次のページが表示されるのが速すぎる。	ページをめくる速度を可変にする。一定の速度でパラパラめくりを開始したら、手を離しても、次に操作するまで自動的にめくりを続けてくれるようにする。
8	あるページを見ていて、他のページへとランダムに飛ぶことが可能である。	ページ管理がシーケンシャルになっていることが多く、任意のページに一発で飛ぶことが難しい(手間がかかる)。飛びたいページの見当を付けることが難しい。	任意のページに一発ジャンプを可能にする。
9	データ保存形式が、紙とインクという形で統一されており、気にする必要がない。	筆跡データ保存形式が、ソフトウェア毎に異なり、互換性がない。	筆跡データ保存形式を、標準的なものに統一する。
紙の短所
1	筆跡を書き込む空白がないとき、新たに空白領域を生み出すことができない。	空白領域を生み出すには、改行・改ページを沢山行う必要があることが多い。　 ○ワープロOASYS(富士通)では、どこからでもすぐ書き込める空白ページがすぐ用意される。	手書き認識での編集ベルトと似たような操作で、簡単に、空白領域を作れる(挿入できる)ようにする。
2	書き込みの取消ができない。	書き込みの取消は可能なはずだが、用意されていないことが多い。	書き込みの取消を複数回可能にする。
3	書き込みを消すのが面倒である。消しゴムを探さないといけない。ボールペンや色鉛筆では、消すことができない。	書き込みを消すには、いちいち消しゴムモードに入らないといけない。消しゴムで消すと、一発で完全に消えてしまうので、もう一度何が書いてあったかうっすらと痕跡を見ることができない。	消しゴムモードに入らなくても、消したい筆跡の上を、ぐちゃぐちゃに塗りつぶすだけで消えるようにする。消しゴム.使用時に、筆跡を、一発で完全に消さず、痕跡をとどめることを可能にする。痕跡を消した版は、痕跡を保った元データから、清書コマンドを使って、その都度作る。筆跡一画毎に消すことを可能にする。
4	書き込んだ内容を、そのままでは編集することができない。はさみと糊を使って、切り貼りが必要となる。	なげなわ、四角領域指定で、編集領域を指定することができる。切り貼りする時のクリップボードが1つしか使えない場合がほとんど。	← 切り貼りのクリップボードを複数用意する。
5	書き込んだ内容の検索が面倒である。一枚ずつ紙をめくって探さないといけない。	筆跡そのものの検索は、現状では対応していない。	できれば便利。枠無し認識を使う?
6	重書きをすると、下に書いた内容と上の内容とを分離することができない。	レイヤ概念の持ち込みにより、重書きしても、下と上とが分離可能である。 ×既存のペン入力機器には、標準では備わっていないことが多い。	レイヤ階層間を簡単に行ったり来たりできるようにする。　一定時間経つと、書いた筆跡が自動的に下方レイヤに移り、そのままでは消えなくすることで、古いデータを破損銑危険をなくす。
7	データ分量が多くなると、重くなって、持ち運びが大変である。	データの量が増えても、重さは増えない(MOディスクなど)。	←
8	紙をめくるのに手や腕が疲れる。	スクロールし続けるには、ボタンやペン先を押し続ける必要があり、心理的にも疲れる。	一定の速度を決めて上下左右方向にスクロールを開始したら、手を離しても、次に操作するまで自動的にスクロールを続けてくれるようにする。方向の上下左右斜め切り替えを一発で可能にする。
9	扱いやすい大きさに限度があり（A4...）、それを超える大きさの書き込みが面倒である。	スクロールの概念を持ち込むことで、書き込み可能な大きさは無限大に広がる。 ×スクロールするには、ボタンを押し続けないといけない場合が多い。 ×スクロールとジャンプの使い分けに対応していない。表示面積は、現在では、XGAサイズでも、それなりに小さく、軽い。	いったんスクロールを開始したら、手を離して、次に操作するまで、ずっとその状態でスクロールしてくれるようにする。スクロールとジャンプと、両方を用意する。
10	1枚1枚がバラバラである。風が吹くと、飛んでしまう。	ファイル毎に分けて管理していると、内容がバラバラになりやすい。	複数の異なるファイルのデータ内容を、あたかも1枚のまとまったデータとして扱えるようにする。
10-1	→内容の順序を保つのに、留め具や製本が必要である。	内容の順序は、何もしなくても保たれる。	←
10-2	→ページとページの間で、内容の断絶を防げない。連続した線を引くことが難しいなど。	現状では、データをページ毎に独立して管理しているため、紙同様に、ページ間のデータ断絶が起きやすい。	データを、一つの大きな模造紙に書き込んでいる感じで管理する。保存するのは、イメージではなく、筆跡座標データのみとすれば、データ記憶量は少なく抑えられる。
10-3	→互いに関連のあるページや書き込み場所同士を結びつけることができない。一方から他方を呼び出すことができない。	ハイパーリンクの概念持ち込みにより、簡単に実現できるはずである。 ×既存のペン入力機器には、備わっていないことが多い。	ある場所と別の場所を、長い筆跡でつないぐか、相互に関連ありと指定した場合、一方を指定すると、他方へと一発でジャンプできるようにする。
11	物理的存在であり、ネットワークを通じて別の場所に置くことができない。火事に会ったらそれまでである。	ネットワークを通じて、他の場所に転送することが可能である。マシンやディスクが壊れると、それまでとなる。	赤外線や無線電話などを通じて、簡単に他の機器とデータがやりとりできるようにする。
12	データ末端へと一発で飛ぶことができない。パラパラめくりをする必要がある。	データ末端へ一発で飛ぶことは可能なはずである。 ×既存のペン入力機器には、備わっていないことが多い。	上下左右のデータ末端へ一発で飛べるようにする。
13	データ表示の拡大・縮小ができない。	データ表示の拡大・縮小(ズーム)は可能である。	←
14	最上部にいて、それより以下にすでにデータが書き込まれている時、それより上部にデータを書き込むことができない。	先頭ページより上にそのままでは、データを書き込めない。改行・改ページ操作を何度もして、書き込み領域を挿入する必要がある。	筆跡座標値がマイナスになることを許すことで、先頭ページより上へも、新たに空白領域を作って書き込めるようにする。
15	筆跡をいつ書いたかは、日記のように、明示的に日付を近くに書いておかないと、分からなくなってしまう。	筆跡を書いた日付や時刻を一画毎に保存することが可能なはずである。 ×既存のペン入力機器には、備わっていないことが多い。	書いた日付毎に、筆跡の表示を異ならせる。何かの記念日だったら、特別な色で表示するなど。

６．「紙を超える手書きメモソフトウェアの基本仕様

1.目的・対象者

会議、講演、授業、電話などで、話者が口頭でしゃべったり、黒板に書いた内容を、一目で分かる形で、パソコン上に、ペンを使ってすばやく記録することである。
対象利用者は、学校の授業でノートを取る生徒・学生、会議で話されている内容についてメモを取る会社員・公務員などとする。

2.最優先の目標

記録のすばやさ、中断されにくさを最優先に考える。そのために、筆跡は汚くなぐり書きして構わない。

3.ハードウェア
従来のペン入力対応PDAやパソコン＋ペンを、そのまま使う。

4.ソフトウェア

凡例
※印は、従来のソフトウェアに前例がある機能

1)※1枚の大きな模造紙シートを想定する

最初は、画面サイズ1枚分の確保から始めて、
記入範囲を、上下左右方向に徐々に広げていく

2)※筆跡は、ドットイメージではなく、オンライン形式で保持する
筆跡1画毎の処理を可能とするため

3)入力をすぐ始められるようにする

シート上の空白場所を一発で出す
前回入力したシート位置を自動的に出す
シート上の所望位置を一発で出す

4)入力済内容を簡単に探せるようにする

シートを自動スクロールすることを可能にする
スクロール速度をコントロール可能にする

※シート全体の鳥瞰図を出す
ペンで上をなぞると、ペン先のある部分のみが、虫眼鏡のように、拡大表示となる

5)入力済筆跡の修正を簡単にする

※1画消去を、一発で行えるようにする

※消しゴムが、筆跡の端に触れたら、その筆跡1画分がまるごと消えるようにする

※筆跡を、ひとまとまりのかたまり毎に切りわけ、グループ化する
筆跡を、グループ単位で移動・消去できるようにする

間違えた箇所を、ぐちゃぐちゃと塗りつぶしたら、そこが、自動的に、空白になる(新データが書き込める)ようにする

※筆跡の編集(切り取り、コピー、移動、貼り付け)を可能にする。

6)※入力した筆跡の時間面での遡りを可能にする
筆跡がいつごろ入力されたかを記憶する
メモに日時を書かなくても、いつ書いたかが分かる

7)画面スクロールをしなくて済むようにする
画面サイズをフル活用した大きさで表示する

8) シートの別の場所への移動・切り替えを、ワンタッチで可能とする
画面の上下左右の端の細いベルト領域をタッチするとその方向に、自動的にシート移動する

シート移動・切り替えのサイズを、画面サイズの25/50/75/100％で指定可能とする

9)互いに関連する筆跡内容への、ハイパーリンクを可能にする

指定した領域内(ないし筆跡1画)をタッチすると、その領域に対応するリンク先へと画面が飛ぶようにする

リンク先を指定する方法は、始点領域、終点領域(ないし筆跡1画)を指定するだけで可能とする

リンクの存在を、現実地図上のトンネル表示をまねて表示する
リンクを示す点線が、筆跡の下を通るようにする

始点をタッチしたら、終点へ飛び、
終点をタッチしたら、始点へ飛ぶ。

一つの始点(終点)から、複数のリンク先が出ている場合は、
リンク先の筆跡内容表示を、同時に複数行う

10)※罫線・方眼表示を設ける

11)画面上が筆跡で満杯になってきたら、画面背景色を変えて、警告する
自動的に空白場所を出す(設定による)

12) 空白の場所に一発で飛べるようにする
画面の上下左右の端のある部分をタッチすると、その方向の延長線上にある空白領域を出す

13)△レイヤー機能を設ける
事前に配られた資料の上に、ペン手書きによって、コメントを書き加えていく場合を想定する

配布資料の内容を、下位レイヤーに配置して、内容の改変が行われないように保護する

新しいレイヤーを一発で増やせるようにする
レイヤー間の移動を一発で行えるようにする
下層レイヤーの内容を、空白上書きで、隠せるようにする

14)※筆跡記入データを保存できるようにする
アプリケーション終了時に自動保存する
バックアップも自動的に取る
bmp、jpegデータに変換可能とする

15)※後から、枠無し認識を可能とする

5.どのような点で人目を引きつけるか?

新たな手書きメモは、

1)筆跡訂正の容易さ
2)筆跡記入場所の切り替えの容易さ

といった点で注目を集める必要がある。
そのために、例えば、以下のような機能を実装する。

(1)任意方向一発ジャンプ

画面上に、半透明の同心円を描き、任意の位置をタッチすると、タッチ位置の同心円中心からの方向および距離に応じて、ジャンプ・スクロール方向・距離を決定することができる。

(2) 上下左右方向一発ジャンプ

画面の上下左右に、ジャンプ・スクロール操作用領域を設け、その上をタッチすると、その方向に、ジャンプ・スクロールする。

(3) ハイパーリンクによるジャンプ

紙のノートで、ある筆記内容と、別の筆記内容との間に、内容面で関連があるとき、線で結んで、関連があることを表示させるが、それと同様のことを可能としたい。ページをまたがった関連付けも簡単にできるようにしたい。そのために、ジャンプ元およびジャンプ先の筆跡領域を指定する。ハイパーリンクモードという操作モードを設けて、ジャンプ元の筆跡領域をタッチすると、ジャンプ先へと自動的に飛ぶ。ハイバーリンクモードでは、ジャンプ元とジャンプ先の筆跡領域を、半透明の線で結ばれる形で表示することを可能とする。

(4)ジャンプ・スクロール専用スティックの用意

円滑なジャンプ・スクロールを容易にするために、専用のポインティングデバイスとして、上下左右自由な方向に動かすことのできるスティックを用意する。例えば、スティックは1回タッチしたら、もう一度タッチするまで、それまで傾けた方向に自動的にスクロールを続けるなどの動作を可能とする。

(参考)CrossPad(IBM)を超えるには?

CrossPadは、IBM社が開発した、紙のノートにインクでデータを記入するときに、同時にその筆跡データを電子的に保持できるようにした、ペン入力専用ハード＋ソフトウェアである。

CrossPadの抱える問題点としては、
1)1枚目、2枚目...といった、シーケンシャルなデータ保存しかできない
解決策は、巨大な模造紙を想定し、任意の場所に飛んで、筆跡を書き込めるようにする

2)1枚当たりの書き込み面積に制限がある
解決策は、面積上の制限を外す

3)いったん書き込んだ筆跡の消去ができない
解決策は、グループ単位の筆跡消去を可能とする。ぐちゃぐちゃに塗りつぶしたら、その部分を空白化する。

(参考)Palm手書きメモを超えるには?

Palmは、Palm社が開発した、汎用携帯端末のOS＋アプリケーションのことである。

Palm上で動く手書きメモでは、
1)上下方向のみ、スクロールが可能である。横方向に幅の広いデータを書き込むことができない。
解決策としては、横方向へのスクロールを可能とする。

2)スクロールは、ページ単位の切り替えのみ
(↑↓ボタンを押すと、1ページまるごと切り替わる)
解決策としては、ページ単位の切り替え以外に、少しずつ連続的にスクロールするモードを設ける。

3)ページとページの間で、データに断絶が起きる。ページとページの境目には、データを書き込めない。
解決策としては、ページとページの間の境目をくっつけて表示する。

4)データの末端まで、一気に飛ぶことができない。データの追加書き込みをしようとするときなど、不便である。
解決策としては、データ末端まで、一気に飛べるようにする。

5)文頭にいるとき、それより上部にデータ書き込みをすることができない。
解決策としては、文頭のさらに以前に、スクロール・書き込みを可能にする。空白領域挿入機能を設ける(→いわゆる編集ベルト。同様の操作で、削除もできるようにする)。