不會(huì)寫代碼如何進(jìn)行大數(shù)據(jù)文本分析——短語(yǔ)抽取篇
- 2020-03-31
- admin
上一期欄目中我們介紹了如何利用銳研·云文析進(jìn)行詞頻統(tǒng)計(jì)并最終生成詞云圖。(《不會(huì)寫代碼如何進(jìn)行大數(shù)據(jù)文本分析——詞頻統(tǒng)計(jì)篇》)事實(shí)上,除了簡(jiǎn)單的詞頻統(tǒng)計(jì),云文析還能更進(jìn)一步進(jìn)行短語(yǔ)統(tǒng)計(jì)(支持N-GRAM分析算法),詞組數(shù)可選擇兩到四詞不等。
N-Gram是一種基于統(tǒng)計(jì)語(yǔ)言模型的算法。它的基本思想是將文本里面的內(nèi)容按照字節(jié)進(jìn)行大小為N的滑動(dòng)窗口操作,形成了長(zhǎng)度是N的字節(jié)片段序列。常應(yīng)用于搜索引擎或輸入法的猜想或者提示,在這里只是借助該算法實(shí)現(xiàn)簡(jiǎn)單的短語(yǔ)抽取以便更好的對(duì)文本內(nèi)容進(jìn)行描述性分析。
還是以疫情期間收集到的1733條第一財(cái)經(jīng)官網(wǎng)新聞數(shù)據(jù)為例,我們選擇了內(nèi)容字段進(jìn)行短語(yǔ)抽取,具體步驟如下:
首先在數(shù)據(jù)庫(kù)分析中新建短語(yǔ)抽取,我們?cè)谶@里選擇了兩詞抽取、三詞抽取和四詞抽取以作對(duì)比示范,大家可以根據(jù)具體需求進(jìn)行調(diào)整。

系統(tǒng)顯示運(yùn)行成功后,點(diǎn)擊右邊箭頭查看抽取結(jié)果
全部抽取結(jié)果如下,點(diǎn)擊詞組篩選可以分別查看兩詞、三詞、四詞抽取結(jié)果
在這里,我們先選擇查看兩詞抽取結(jié)果,由于選擇的文本內(nèi)容來(lái)源媒體報(bào)道,不免有一些固定格式及記者稱呼對(duì)結(jié)果產(chǎn)生干擾,我們選擇刪除了排序第4的詞語(yǔ)【財(cái)經(jīng)記者】和排序第17的【記者表示】。
最后,選擇生成前30詞云圖,兩詞短語(yǔ)抽取最終結(jié)果如下圖(字體越大,代表出現(xiàn)頻率越高):三三詞短語(yǔ)抽取結(jié)果如下圖:
銳研云文析作為文本大數(shù)據(jù)分析與挖掘云平臺(tái),可應(yīng)用自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、人工智能等技術(shù)對(duì)大規(guī)模文本數(shù)據(jù)進(jìn)行分析挖掘,并呈現(xiàn)可視化分析結(jié)果。今后,銳研團(tuán)隊(duì)會(huì)分享更多數(shù)據(jù)分析相關(guān)實(shí)用工具及案例,希望此文能為您提供一些幫助。
- 上海萌泰數(shù)據(jù)科技助力湘南學(xué)院教育創(chuàng)新,李軍博士主講《作為研究方法的人工智能》
- 上海市社會(huì)工作研究會(huì)2024年學(xué)術(shù)年會(huì)暨第二屆長(zhǎng)三角金融社會(huì)工作論壇在滬舉行
- 人工智能如何改變社會(huì)科學(xué)的面貌?——AI與社會(huì)科學(xué)的學(xué)術(shù)對(duì)話紀(jì)實(shí)(下)
- 人工智能如何改變社會(huì)科學(xué)的面貌?——AI與社會(huì)科學(xué)的學(xué)術(shù)對(duì)話紀(jì)實(shí)(上)
- 校企協(xié)同 | 浙江越秀外國(guó)語(yǔ)學(xué)院到訪上海萌泰數(shù)據(jù)
- 2024年(第十六屆)國(guó)際數(shù)據(jù)挖掘與應(yīng)用統(tǒng)計(jì)研究會(huì)年會(huì)在哈爾濱商業(yè)大學(xué)成功舉辦
- 全面深化改革與中國(guó)社會(huì)學(xué)新征程:中國(guó)社會(huì)學(xué)會(huì)2024年學(xué)術(shù)年會(huì)在哈爾濱工程大學(xué)舉行
- 全球視野 | Information and Communication Technologies in Social Work
- 學(xué)術(shù)研究 | CAI調(diào)研方法概述
- 大趨勢(shì) | 下一代調(diào)研技術(shù)發(fā)展趨勢(shì)
- 市場(chǎng)前沿 | 移動(dòng)面訪在中國(guó)家庭發(fā)展追蹤調(diào)查中的應(yīng)用
- 市場(chǎng)前沿 | 云計(jì)算、大數(shù)據(jù)與統(tǒng)計(jì)局信息化建設(shè)
- 卷首語(yǔ) | 數(shù)據(jù)的靈性
- 市場(chǎng)前沿 | 云調(diào)研平臺(tái)助推高校科研教學(xué)工作