In [2]:
import MeCab
import pandas as pd
from functools import reduce
import re
import gensim
In [3]:
mecab = MeCab.Tagger ("-Ochasen")
In [4]:
review = pd.read_csv('review.tsv' , delimiter="\t")
In [5]:
def wakatico(x):
    kekka = mecab.parse(x)
    lines = kekka.split('\n')
    words = []
    for line in lines:
        cols = line.split("\t")
        if cols[0] != 'EOS':
            words.append( cols[0] )
    return words
In [6]:
review["wakatico"] = review.apply(lambda row: wakatico( str(row["review"]) ), axis=1)
In [7]:
review[:50]
Out[7]:
code meigara review datetime wakatico
0 4 鰊御殿 山田錦 4合瓶900円で安売りだったので買ってみました。あまり期待してなかったのですが、わりと普通に... 2014-09-14 10:32:46 [4合瓶, 900, 円, で, 安売り, だっ, た, ので, 買っ, て, み, まし,...
1 4 北の誉 鰊御殿 純米大吟醸酒 山田錦100%使用。 フルーティな香りと、あっさりした呑み口、 コクのある味わい。 文句の... 2014-05-23 21:35:40 [山田錦, 100, %, 使用, 。, フルーティ, な, 香り, と, 、, あっさり,...
2 4 純米米しぼり アルコール度数14-15。精米歩合70%。 香りマイルド、深いコク。 オーソドックスな味わ... 2013-08-28 23:19:33 [アルコール, 度数, 14, -, 15, 。, 精米歩合, 70, %, 。, 香り, ...
3 4 白ラベル 安いが美味いと思う、ぬる燗か常温がいいね、吟醸酒をブレンドして造ってるて噂があるけどどうでし... 2009-07-07 00:43:14 [安い, が, 美味い, と, 思う, 、, ぬる燗, か, 常温, が, いい, ね, 、...
4 4 純米吟醸『涼しぼり』 近所の酒屋で購入。 「夏のにごり酒」という謳い文句通り、爽やかで呑みやすい。 香りもいいけど... 2008-06-16 23:37:21 [近所, の, 酒屋, で, 購入, 。, 「, 夏, の, にごり酒, 」, という, 謳...
5 4 純米生原酒「しぼりたて」 冬〜春季に集荷す限定品. とにかく瑞々しいです. これが小樽の「雪清水」の味なんでしょうね.... 2003-09-06 05:55:56 [冬, 〜, 春季, に, 集荷, す, 限定, 品, ., とにかく, 瑞々しい, です,...
6 4 純米酒「吟心」 飲み飽きません. 実に旨いです. 本来の純米酒らしい素直な味わいです. フルーティな香りとか... 2003-09-02 01:35:59 [飲み, 飽き, ませ, ん, ., 実に, 旨い, です, ., 本来, の, 純米酒, ...
7 1449 ほんとに危険です! 飲みやすい。スイスイいっちゃいます。で、名前見てビックリ! 次の日、どうなっても知りませんよ... 2012-08-11 12:06:05 [飲み, やすい, 。, スイスイ, いっ, ちゃ, い, ます, 。, で, 、, 名前,...
8 1449 危険です! 「超辛口男酒」 の看板に偽りはなく、切れ味の鋭い辛口のお酒で 冷やした処をキューっと呑むと、... 2011-11-25 21:32:36 [「, 超, 辛口, 男酒, 」, の, 看板, に, 偽り, は, なく, 、, 切れ味,...
9 1449 淡麗辛口 そんなに辛いとは感じない、癖もなくスーと入っていく、北海道外に好きな人が結構いるようだが、納... 2009-07-07 00:24:46 [そんなに, 辛い, と, は, 感じ, ない, 、, 癖, も, なく, スー, と, 入...
10 2758 純米吟醸 精米歩合55%、アルコール度数15-16。 上立ち香・口中香ともに実に華やかフルーティ。 ... 2014-02-06 21:56:26 [精米歩合, 55, %, 、, アルコール, 度数, 15, -, 16, 。, 上立ち香...
11 5 蔵元限定 純米生酒 千歳鶴の蔵の向かいにある酒ミュージアムで購入できる生酒がフルーティで美味しいです。価格もお手... 2015-12-19 10:40:03 [千歳鶴, の, 蔵, の, 向かい, に, ある, 酒, ミュージアム, で, 購入, で...
12 5 千歳鶴 純米にごり新酒 日本酒度+-0。 にごり酒独特の甘みと呑みごたえが楽しめます。 甘めのお酒が好きな方にはお... 2015-02-13 01:33:44 [日本酒度, +-, 0, 。, にごり酒, 独特, の, 甘み, と, 呑み, ごたえ, ...
13 5 千歳鶴 春のしぼりたて 特別純米酒 端麗辛口。フルーティな香りとあっさりした呑み口。 とても美味しいお酒です。日本酒度+4のわり... 2014-03-21 14:55:36 [端麗辛口, 。, フルーティ, な, 香り, と, あっさり, し, た, 呑み, 口, ...
14 5 純米吟醸 アルコール度数15-16。精米歩合55% 立ち香・口中香マイルド。 すっきりとした優しい甘... 2013-05-06 21:52:46 [アルコール, 度数, 15, -, 16, 。, 精米歩合, 55, %, 立ち, 香, ...
15 5 「ぱり」という酒がありました。 「巴里」と言う銘柄のお酒がありました。 千歳鶴のルーツをたどると・・・。 詳しく聞く前にばあ... 2003-11-29 22:38:31 [「, 巴里, 」, と, 言う, 銘柄, の, お, 酒, が, あり, まし, た, 。...
16 6 北のろまん 現在は純米酒です。 北の錦は全体的に価格が比較的高めですが無濾過なのでほんのりと色がついてい... 2014-07-02 22:13:17 [現在, は, 純米酒, です, 。, 北の錦, は, 全体, 的, に, 価格, が, 比...
17 6 まる田(特別純米) アルコール度数16-17 。精米歩合50%。 口中香素晴らしく鼻腔奥に広がります。 酸味・... 2013-04-24 22:27:15 [アルコール, 度数, 16, -, 17, 。, 精米歩合, 50, %, 。, 口中, ...
18 1891 純米吟醸しずくどり 鼻からの香りも、含んだ香りもほど良く、フルーティーで美味しいお酒でした。ただ、食事中に飲むに... 2014-04-04 20:54:38 [鼻, から, の, 香り, も, 、, 含ん, だ, 香り, も, ほど, 良く, 、, ...
19 150 大吟醸 一夜雫 難しく一本入手しました。 色がとても清澄で無色、いいリンゴのような香りがほのかに漂っている... 2011-05-08 18:08:12 [難しく, 一, 本, 入手, し, まし, た, 。, 色, が, とても, 清澄, で,...
20 150 ウ、うまいんです 抜群の酒。飲みやすくて価格も◎。 プレゼントにも最適♪とにかくおいすぃから大好きです。 2004-05-25 22:58:45 [抜群, の, 酒, 。, 飲み, やすく, て, 価格, も, ◎, 。, プレゼント, ...
21 150 すっとした飲み心地です 香りがよく、するっと喉に入ってきます。ただ吟醸香が強いほうなので、どんなものにでも合うという... 2004-05-15 21:11:15 [香り, が, よく, 、, する, っと, 喉, に, 入っ, て, き, ます, 。, ...
22 150 居酒屋北海道で一番の酒 東京でチェーン展開している居酒屋「北海道」で飲めます http://www.hokkaido... 2004-01-19 17:53:54 [東京, で, チェーン, 展開, し, て, いる, 居酒屋, 「, 北海道, 」, で,...
23 3 純米酒 辛口でスッキリフレッシュ。 雑味など無くクリア。 辛口なのに辛く感じない、だが甘いわけでもな... 2015-04-25 07:57:17 [辛口, で, スッキリ, フレッシュ, 。, 雑, 味, など, 無く, クリア, 。, ...
24 3 国士無双 純米大吟醸 北海道限定 彗星 雑味なくとてもクリアな味。 自分には完全に合致したらしく、水かと思うくらい。 逆にクセとかが... 2014-05-16 04:50:44 [雑, 味, なく, とても, クリア, な, 味, 。, 自分, に, は, 完全, に,...
25 3 国士無双 純米大吟醸 北海道限定 今まで飲んだ、3000円以内の日本酒の中では、一番のお気に入りです。2014年4月現在。 2014-04-04 21:13:36 [今, まで, 飲ん, だ, 、, 3000, 円, 以内, の, 日本酒, の, 中, で...
26 3 国士無双 純米酒 香りはあまり立たず、辛口。 米の旨みもしっかり感じられます。 とても美味しいお酒です。 一升... 2014-03-25 21:42:59 [香り, は, あまり, 立た, ず, 、, 辛口, 。, 米, の, 旨み, も, しっか...
27 3 純米 国士無双 あまり甘味は感じない。 辛口だがすっきりとした感じはしない。 しっかりとした味。 食中酒とし... 2013-02-13 00:29:21 [あまり, 甘味, は, 感じ, ない, 。, 辛口, だ, が, すっきり, と, し, ...
28 3 国士無双大吟醸 台北の”Mitsui"という日本食レストランで飲みました。あまりの美味しさに驚き、久保田の万... 2008-07-01 09:34:45 [台北, の, ”, Mitsui, ", という, 日本, 食, レストラン, で, 飲み...
29 3 北海道の日本酒 道産の日本酒の中ではベスト1と思います。 日本酒離れの風潮ありますがまじめに酒作りに 取り組... 2006-03-05 16:47:22 [道産, の, 日本酒, の, 中, で, は, ベスト, 1, と, 思い, ます, 。,...
30 3 大人味 国士無双は色々種類がありますが、どれもおいしと思います。特にお気に入りは「大吟醸原酒」辛口で... 2004-05-26 18:40:13 [国士無双, は, 色々, 種類, が, あり, ます, が, 、, どれ, も, おいし,...
31 2 金滴 彗星純米大吟醸 生 香りがとても華やかで、味も豊かでした。ただ、おかげで食事に合わせるのが、微妙です。次回は、純... 2014-04-05 21:20:00 [香り, が, とても, 華やか, で, 、, 味, も, 豊か, でし, た, 。, ただ...
32 2 特別本醸造原酒 アルコール度数18-19。精米歩合58%。 数値細かいのは非純米だから?… 香り立ち、味わ... 2014-01-05 20:32:58 [アルコール, 度数, 18, -, 19, 。, 精米歩合, 58, %, 。, 数値, ...
33 2 北海道へ行くと探します。 千歳で泊まったときにおじいさんのやっている酒場で紹介してもらいました。酒蔵の歴史にひかれて飲... 2013-11-02 16:11:07 [千歳, で, 泊まっ, た, とき, に, おじいさん, の, やっ, て, いる, 酒場...
34 2 金冠 ふだん気に留めることは無かったが、飲む機会があり、美味しさにビックリした、辛口でないがサラと... 2009-07-07 00:32:01 [ふだん, 気, に, 留める, こと, は, 無かっ, た, が, 、, 飲む, 機会, ...
35 9 國稀 特別純米酒 五百万石 55% -7℃の吹雪の中に8時間もいて、さあやっと飲めると思ったらちょうど国稀が届いた。厳冬極寒の北... 2010-01-17 19:27:11 [-, 7, ℃, の, 吹雪, の, 中, に, 8, 時間, も, い, て, 、, さ...
36 9 國稀 北海 にごり酒 ススキノにて すすきので泥酔状態で入った名居酒屋、「あんぽん」にて飲んだ国稀のにごり。 札幌トリップ中、で... 2008-06-20 01:40:13 [すすきの, で, 泥酔, 状態, で, 入っ, た, 名, 居酒屋, 、, 「, あん, ...
37 9 北海鬼ころし 他県での仕事では夢の酒 早く北海道へ行きたい 茶色の瓶の色もいいなあ もちろん中身最高!! 2004-05-26 01:03:11 [他, 県, で, の, 仕事, で, は, 夢, の, 酒, 早く, 北海道, へ, 行き...
38 9 原酒のにごり 甘口、辛口共に秋田人には受けが悪くこれといった特徴も無かった。 2003-12-07 11:26:08 [甘口, 、, 辛口, 共, に, 秋田, 人, に, は, 受け, が, 悪く, これ, ...
39 8 癖のない 冷でいただきました。癖がなくて飲みやすい。 2012-06-10 16:26:32 [冷, で, いただき, まし, た, 。, 癖, が, なく, て, 飲み, やすい, 。, ]
40 7 純米大吟醸 華やかな香りで、日本酒のイメージがガラッと変わったお酒です 2015-11-06 22:29:01 [華やか, な, 香り, で, 、, 日本酒, の, イメージ, が, ガラッ, と, 変わ...
41 7 普通酒 辛口のスッキリした味に、ほんの少し甘味も感じる。残念なのは、水で薄めた味がする。燗より冷。 2015-05-12 08:31:33 [辛口, の, スッキリ, し, た, 味, に, 、, ほんの, 少し, 甘味, も, 感...
42 7 特別純米酒「木綿屋」 アルコール度数15度 精米歩合55% 名前は、蔵元の屋号に由来。 香り穏やか。 すっきり... 2013-03-24 22:36:44 [アルコール, 度数, 15, 度, 精米歩合, 55, %, 名前, は, 、, 蔵元, ...
43 7 男山 原酒 蔵元に直接行って、試飲させてもらいました。 アルコールやや高めでしたが、飲みにくさはない。 ... 2010-09-19 05:33:48 [蔵元, に, 直接, 行っ, て, 、, 試飲, さ, せ, て, もらい, まし, た,...
44 7 男山 特別純米 北海道限定 美山 お土産で頂きました。 男山らしい米の旨味がしっかりと出た男酒。香りも炊いた米の香り。若干水臭... 2010-05-18 20:34:46 [お, 土産, で, 頂き, まし, た, 。, 男山, らしい, 米, の, 旨味, が,...
45 7 男山 生酒元(きもと) 純米酒 なぜか函館にて飲みました。 イカ刺しと合うかと思って。 最終日、帰る日に駅内のレストランにて... 2008-06-20 01:58:53 [なぜ, か, 函館, にて, 飲み, まし, た, 。, イカ, 刺し, と, 合う, か...
46 7 北海男山 純米大吟醸 鮮烈の一言につきる インパクトのある味です スキーッと辛口でさわやかーな吟醸香 一度飲んで... 2004-10-11 01:54:29 [鮮烈, の, 一言, に, つきる, インパクト, の, ある, 味, です, スキーッ,...
47 1452 北の酒 野付&根室を旅したときに、何処かの店で飲んで気に入り、空港で買って帰りました。熱燗向きの酒で... 2014-05-04 15:32:22 [野付, &, 根室, を, 旅, し, た, とき, に, 、, 何処, か, の, 店,...
48 22 南部蔵 富貴 特別純米酒 青森市内で散々お酒を飲んだ後、最後の赤提灯にてとっておきを飲ませて頂きました。 肴はキノコの... 2008-06-20 02:23:06 [青, 森, 市内, で, 散々, お, 酒, を, 飲ん, だ, 後, 、, 最後, の,...
49 24 陸奥八仙純米大吟醸華想い50 陸奥八仙は、美味いと聞いて何を購入するか悩んだ末に純米大吟醸華想い50にしました。大正解でし... 2015-03-30 00:41:32 [陸奥八仙, は, 、, 美味い, と, 聞い, て, 何, を, 購入, する, か, 悩...
In [8]:
single = r"^[0-90-9ぁ-んァ-ン!%%?・ !-/:-@≠\[-`{-~\u3001-\u303F]$"
pair    = r"^[ぁ-ん]{2}$"
numb  =r"^[0-9]+$"
In [9]:
def stopword(words):
    return [ x for x in words if len(x) > 1 and re.match( pair, x ) is None and re.match( numb, x ) is None]
In [10]:
review["was"] = review.apply(lambda row: stopword( row["wakatico"] ), axis=1)
In [11]:
review[:5]
Out[11]:
code meigara review datetime wakatico was
0 4 鰊御殿 山田錦 4合瓶900円で安売りだったので買ってみました。あまり期待してなかったのですが、わりと普通に... 2014-09-14 10:32:46 [4合瓶, 900, 円, で, 安売り, だっ, た, ので, 買っ, て, み, まし,... [4合瓶, 安売り, 買っ, あまり, 期待, なかっ, 普通, 旨かっ, ほどよく, アル...
1 4 北の誉 鰊御殿 純米大吟醸酒 山田錦100%使用。 フルーティな香りと、あっさりした呑み口、 コクのある味わい。 文句の... 2014-05-23 21:35:40 [山田錦, 100, %, 使用, 。, フルーティ, な, 香り, と, 、, あっさり,... [山田錦, 使用, フルーティ, 香り, あっさり, 呑み, コク, 味わい, 文句, 純米...
2 4 純米米しぼり アルコール度数14-15。精米歩合70%。 香りマイルド、深いコク。 オーソドックスな味わ... 2013-08-28 23:19:33 [アルコール, 度数, 14, -, 15, 。, 精米歩合, 70, %, 。, 香り, ... [アルコール, 度数, 精米歩合, 香り, マイルド, 深い, コク, オーソドックス, 味...
3 4 白ラベル 安いが美味いと思う、ぬる燗か常温がいいね、吟醸酒をブレンドして造ってるて噂があるけどどうでし... 2009-07-07 00:43:14 [安い, が, 美味い, と, 思う, 、, ぬる燗, か, 常温, が, いい, ね, 、... [安い, 美味い, 思う, ぬる燗, 常温, 吟醸酒, ブレンド, 造っ, でしょ]
4 4 純米吟醸『涼しぼり』 近所の酒屋で購入。 「夏のにごり酒」という謳い文句通り、爽やかで呑みやすい。 香りもいいけど... 2008-06-16 23:37:21 [近所, の, 酒屋, で, 購入, 。, 「, 夏, の, にごり酒, 」, という, 謳... [近所, 酒屋, 購入, にごり酒, という, 謳い文句, 通り, 爽やか, 呑み, やすい...
In [12]:
def wordcount(dic, items):
    for item in items:
        if item not in dic:
            dic[item] = 1
        else:
            dic[item]+=1
    return dic
        
In [13]:
kekka = reduce( lambda d, tokuns: wordcount(d, tokuns) , list(review.was), dict())
In [14]:
df = pd.DataFrame(list(kekka.items()), columns=['word','count'])
In [15]:
sorted_df = df.sort_values('count', ascending=False)
In [16]:
sorted_df
Out[16]:
word count
932 感じ 2039
8381 香り 2005
3032 飲み 1499
3248 飲ん 1103
9834 味わい 1011
5095 酸味 804
4489 思い 792
5543 甘味 771
5032 辛口 742
9435 良い 728
9078 日本酒 684
714 という 632
6336 美味しい 553
8933 旨い 514
3552 旨味 513
8430 飲む 490
2761 アルコール 485
9905 購入 435
8212 キレ 417
3999 感じる 401
6071 旨み 399
9669 好き 396
5818 でしょ 375
5555 バランス 372
3520 少し 364
8376 含む 360
7143 として 357
6941 純米 354
5903 しっかり 351
1959 印象 350
... ... ...
3359 コストダウン 1
7332 温暖 1
7331 九重桜 1
7330 容易く 1
7329 ムムム 1
3360 ゼロ 1
3363 もてなし 1
3347 在り方 1
3341 緩急 1
7377 長らく 1
7367 遠のい 1
7376 清潔 1
7375 酔っ払う 1
3330 山百合 1
7372 此方 1
3331 達人 1
7370 満たさ 1
7369 反せ 1
7368 ネット 1
7366 義援金 1
3339 とんと 1
7365 聖子 1
7364 ゆする 1
7363 尽くし 1
7362 大内 1
7361 岩清水 1
3332 毛頭 1
7358 アジ 1
7356 均等 1
11295 加える 1

11296 rows × 2 columns

In [17]:
jisho = gensim.corpora.Dictionary( list(review.was) )
In [18]:
print(jisho.token2id)
{'ゲロ': 7061, '男山': 459, 'ズシン': 8819, '誠鏡': 10351, '年月日': 1167, '熱燗': 504, 'ワリ': 6046, 'まとわりつく': 3010, '(/_;)。': 9452, '中和': 7895, '印象深く': 9405, 'クエン': 935, '折角': 4221, 'つづく': 6735, 'しかと': 5490, '最寄り駅': 6905, 'きらい': 7262, '常きげん': 8550, 'サミット': 9372, '打ち': 2006, 'うらら': 5503 ...}
In [19]:
jisho.filter_extremes(no_below=30,no_above=0.1)
In [22]:
print(jisho.token2id)
{'販売': 108, '匂い': 1, '寿司': 553, '個性': 3, '居酒屋': 4, '安い': 5, 'そして': 6, '一瞬': 7, '寝かせ': 115, '心地': 9, 'すっきり': 11, '熱燗': 13, 'それでいて': 14, '書い': 15, '上立ち香': 16, '味わう': 17, '軽く': 18, 'もらい': 19, '豊か': 117, '口中': 23, '私的': 24, '美味しい': 25, '現在': 26, '邪魔': 325, 'グラス': 28, 'CP': 29, '強烈': 30, '合わせる': 31, '思っ': 32, '後味': 118, '温度': 36, '買っ': 37, '切れ味': 38, 'リンゴ': 39, '機会': 522, 'パイナップル': 327, '有名': 41, '少々': 42, '食前酒': 43, '入れ': 46, '保存': 47, '清酒': 48, '山形': 49, '安心': 50, '薦め ...}
In [ ]: