【api.ai】日本語版のIntents部分一致はどこまで使えるようになったのか?




api.ai
Share on FacebookTweet about this on TwitterShare on Google+Share on LinkedInEmail this to someone

6月16日(金)・17日(土)の両日、佐賀と福岡でapi.aiハンズオンを行いました。18日(日)には福岡でGoogle i/O 報告会があったようで、api.aiが九州で熱い週末だったようです。

正直そのハンズオンの中で気づいたのですが(米国時間で6月14日16時半からのメンテナンス終了時あたりからでしょうか?)、これまで確か日本語版は、「Intents」で指定した発言内容は完全一致でないとルールベースとして該当しなかったのですが、部分一致が使えるようになった模様。かつ、English版で使えた対話ログからの評価機能「Training」が、日本語版でも利用できるようになっていました。

せっかくなので、どれくらいの認識率となるかをいざテスト。English版と日本語版とで同じIntentsを用意して、その応答精度を見てみましょう。

テストIntentsについて

ユーザーの発言に「グレブナー基底 何」という単語が含まれていたら、「ポン酢なみによく分からないやつだよ」と答えます。部分一致っぽく、文章ではなく半角スペース区切りでIntentsを設定しました。「グレブナー基底」が黄色くマーキングされているのは、Entitiesで「グレブナー」でも「グレブナー基底」でも、「グレブナー基底」と認識するようにグルーピングしたからです。

当たり前ですが、このルール通り入力すると、グレブナー基底でもグレブナーでも

 

ちゃんと反応しますね。そして日本語文章っぽく聞いてみると…

こちらも行けました!api.aiのなかで形態素解析を導入してくれた…のかと思ってたのですが、

うーん。ちょっと文章を長めにするとダメでした。認識率はそれほど高くなさそう。

それなら「Training」から文章を学習させてみようかな…と思い、メニューからTrainingを選択したところ

何の学習もしてませんでした。( ;∀;)

まだまだ機能としては安定していないようですね。。

ちなみにEnglish版はと言うと

 

形態素解析された状態で発言を投げてあげれば、安定してポン酢と答えます。ポン酢ではないのだけれど。trainingを見ても

しっかり応答した記録が残ってますね。

という事で、これからに期待。

まだまだ精度が低い日本語版ですが、まぁ正常に作動するのももう少しなのかな、とも思いつつ、Englesh版が形態素解析した2バイト文字に対応してくれるなら、それを使い続けるのが安定してそうとかも思ってます。

というより、オープンソースにしてほしいとかは言わないので、リリースノートはどっかに分かりやすく欲しいかな…。フォーラムもあまり活用できてない自分が悪い気もしますが。

Share on FacebookTweet about this on TwitterShare on Google+Share on LinkedInEmail this to someone