本網(wǎng)訊 11月12日上午，來(lái)自香港城市大學(xué)的方稱(chēng)宇教授在南校區(qū)圖書(shū)館報(bào)告廳，從語(yǔ)料庫(kù)語(yǔ)言學(xué)家的角度，向大家介紹了基于文本的信息處理的歷史發(fā)展，同時(shí)全面展現(xiàn)了自己最新的文本聚類(lèi)實(shí)驗(yàn)成果。本次講座由思科信息學(xué)院、語(yǔ)言工程與計(jì)算廣東省社會(huì)科學(xué)重點(diǎn)實(shí)驗(yàn)室承辦。思科信息學(xué)院副院長(zhǎng)蔣盛益主持講座。

陳述歷史，總結(jié)經(jīng)驗(yàn)

講座伊始，方稱(chēng)宇先介紹了基于文本的信息處理技術(shù)的兩個(gè)出發(fā)點(diǎn)：一是需要運(yùn)用到計(jì)算手段，二是需要處理者擁有語(yǔ)言學(xué)認(rèn)識(shí)。雖然經(jīng)過(guò)了數(shù)十年的發(fā)展，但是仍然沒(méi)有一個(gè)標(biāo)準(zhǔn)的語(yǔ)言處理手段。在定義了一些基本概念之后，方稱(chēng)宇以自己正在的研究的文本聚類(lèi)領(lǐng)域?yàn)槔?，描述了近十年?lái)的發(fā)展歷程。目前，運(yùn)用信息系統(tǒng)進(jìn)行文本聚類(lèi)的方法主要有兩種，一是根據(jù)詞義，但是此方法較難具體反映文本的內(nèi)容；二是根據(jù)詞性，但是根據(jù)詞性進(jìn)行聚類(lèi)不易反映文本規(guī)律。

過(guò)去十余年間，兩種方法的合理性實(shí)用性都被研究人員反復(fù)驗(yàn)證，相比而言，通過(guò)詞性進(jìn)行文本聚類(lèi)的準(zhǔn)確性更高一些。但是也存在結(jié)果不容易進(jìn)行評(píng)估、詞性與詞義之間容易夾雜、實(shí)驗(yàn)中聚類(lèi)類(lèi)型少等問(wèn)題。

設(shè)計(jì)實(shí)驗(yàn)，遴選工具

為了驗(yàn)證詞性進(jìn)行文本聚類(lèi)的準(zhǔn)確性，方稱(chēng)宇開(kāi)展了研究工作。針對(duì)之前總結(jié)出的問(wèn)題，他提出在實(shí)驗(yàn)中需要做到只對(duì)詞性進(jìn)行研究、豐富數(shù)據(jù)庫(kù)的語(yǔ)言學(xué)信息、實(shí)驗(yàn)中采用更多類(lèi)型的文本等要求。

語(yǔ)料庫(kù)是運(yùn)用信息系統(tǒng)進(jìn)行文本聚類(lèi)的基礎(chǔ)，分類(lèi)器會(huì)根據(jù)語(yǔ)料庫(kù)的內(nèi)容來(lái)對(duì)文本進(jìn)行聚類(lèi)。方稱(chēng)宇和他的團(tuán)隊(duì)在實(shí)驗(yàn)開(kāi)始前用了半年時(shí)間對(duì)語(yǔ)料庫(kù)、分類(lèi)器進(jìn)行遴選，最終選擇了三個(gè)具有權(quán)威性的語(yǔ)料庫(kù)。為了進(jìn)行對(duì)照，三個(gè)語(yǔ)料庫(kù)中有一個(gè)是以詞性作為基礎(chǔ)的，而其他兩個(gè)語(yǔ)料庫(kù)則分別包含復(fù)雜和簡(jiǎn)單的詞性信息。而在分類(lèi)器方面，方稱(chēng)宇團(tuán)隊(duì)選取了在業(yè)界具有一定權(quán)威性的NB和NB-MN分類(lèi)工具。

分析實(shí)驗(yàn)，展望未來(lái)

在經(jīng)過(guò)多次的試驗(yàn)、對(duì)比之后，方稱(chēng)宇認(rèn)為，從文本聚類(lèi)的有效性來(lái)看，詞性的作用要大于詞義的作用，在一些文本分析中差距甚至能達(dá)到10%。同時(shí)，復(fù)雜詞性語(yǔ)料庫(kù)的聚類(lèi)效果要好于簡(jiǎn)單詞性語(yǔ)料庫(kù)的聚類(lèi)效果。此外，分類(lèi)工具對(duì)聚類(lèi)效果也存在影響，普遍看來(lái)，NB-MN工具的聚類(lèi)效果更佳。

盡管得到了初步成果，方稱(chēng)宇仍認(rèn)為自己的研究還有進(jìn)步空間，下一步他將擴(kuò)展研究的專(zhuān)業(yè)性，專(zhuān)攻醫(yī)療領(lǐng)域的文本，并將努力從研究結(jié)果中抽象出普遍特征。

講座最后，蔣盛益代表學(xué)校向方稱(chēng)宇贈(zèng)送紀(jì)念品。

附：方稱(chēng)宇（Alex Chengyu Fang）簡(jiǎn)介

方稱(chēng)宇（Alex Chengyu Fang）在University College London (UCL)獲語(yǔ)言學(xué)博士學(xué)位，現(xiàn)在是香港城市大學(xué)語(yǔ)言學(xué)教授，對(duì)話(huà)系統(tǒng)實(shí)驗(yàn)室主任和創(chuàng)始人，同時(shí)是北京航空航天大學(xué)客座教授，以及中國(guó)全國(guó)術(shù)語(yǔ)標(biāo)準(zhǔn)化技術(shù)委員會(huì)成員。關(guān)注的領(lǐng)域包括計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理等。