本研究旨在建置與應用一個具有幽默風格之對話系統。藉由2019 年CECG（Chinese Emotional Conversation Generation）評估任務所使用的170萬則對話語料，整合 GPT-2 與 BERT 等工具與技術進行實作，建立與應用一個具備情感對話的系統；而後結合LCCC（Large-scale Cleaned Chinese Conversation）base版本680萬則對話語料，讓對話系統擁有更豐富的對話內容；最後加上 156 句具有幽默風格的少量撩妹語料進行微調（fine-tuning），同時透過前導文句調整（prefix-tuning）來控制文字的生成。
系統成效評估是基於以下準則：（一）建立兩個對話系統，一個經由CECG 和 LCCC-base 語料庫進行訓練，並用撩妹幽默語料進行微調，另一個僅由CECG 和 LCCC-base 語料庫進行訓練。（二）在第一輪當中，使用帶有調情性質的自訂文句作為會話的開始，並測試50次。（三）評估每次對話是否連貫流暢，同時，最後一輪的結束對話是否具有如同調情般的幽默風格。（四）測試最多3輪。
過程由四位人工判斷，沒有使用撩妹語料進行微調的對話系統，其生成回應具有撩妹效果的有29%，而使用撩妹語料進行微調的對話系統，其生成回應具有撩妹效果的有62%。
本研究的主要貢獻如下：（一）將情感融入發文字串，作為條件求機率，以便簡潔地依原方式訓練，並使用 GPT-2。（二）運用 BERT 來預測回應文句的連貫性，以作為排序的依據。（三）透過少量的語料來微調預訓練模型，改變模型的文字生成風格。（四）透過前導文句的調整，來實作出具有幽默風格的多輪對話系統。

The purpose of this study is to build and apply a generative dialogue system with humorous styles. Based on the corpora provided by the 2019 Chinese Emotional Conversation Generation (CECG) evaluation task, Large-scale Cleaned Chinese Conversation base version (LCCC-base) and flirting conversation retrieved from the Internet, an emotional conversation system is implemented in this paper using GPT-2 and BERT. Meanwhile, the generation of response from this system is refined via prefix-tuning. The effectiveness of this system is evaluated based on the steps as shown below: (1) Build two dialogue systems one is trained by the corpora of CECG and LCCC-base and fine-tuned with flirting corpus; the other is only trained by the corpora of CECG and LCCC-base. (2) Use a customized sentence with flirting words in the initial conversation and test this kind of conversation 50 times. (3) Evaluate whether every conversation is coherent and fluent; meanwhile, evaluate whether the ending dialogue of the final round is with humorous style like flirting. (4) Converse with the system at most 3 rounds in each conversation. Following these steps, four human annotators converse with the system. The results show that the effectiveness of the dialogue system which is only trained by the corpora of CECG and LCCC-base is 29%, and the effectiveness of the other which is trained by the corpora of CECG and LCCC-base and fine-tuned with flirting corpus is 62%. The main contributions of this study are: (1) Integrating emotions into the post string as a condition for computing probability, without changing the way to train and apply GPT-2; (2) Applying BERT to predict the coherence of response sentences as a basis for response ranking; (3) Fine-tuning a language model with few-shot to change the styles of the response generated from a dialogue system; (4) Implementing a multi-turn dialogue system with humorous styles via prefix-tuning.

Blinov, P.、Avetisian, M.、Kokh, V.、Umerenkov, D.、Tuzhilin, A. （2020）。 Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks。arXiv preprint arXiv:2007.07562。
Chang, L.-L.、Chen, K.-j.、Huang, C.-R.（1996）。 語料庫在辭典編輯上的運用 (The Application of Language Corpus on Dictionary Editing)[In Chinese]。 於「Proceedings of Rocling IX Computational Linguistics Conference IX 」發表之論文，載於 Book 語料庫在辭典編輯上的運用 (The Application of Language Corpus on Dictionary Editing)[In Chinese]，頁255-279。
Chaves, A. P.、Gerosa, M. A. （2020）。 How Should My Chatbot Interact? A Survey on Social Characteristics in Human–Chatbot Interaction Design。International Journal of Human–Computer Interaction，頁 1-30。
Devlin, J.、Chang, M.-W.、Lee, K.、Toutanova, K. （2018）。 Bert: Pre-training of deep bidirectional transformers for language understanding。arXiv preprint arXiv:1810.04805。
Dybala, P.、Ptaszynski, M.、Higuchi, S.、Rzepka, R.、Araki, K.（2008）。 Humor prevails!-implementing a joke generator into a conversational system。 於「Australasian Joint Conference on Artificial Intelligence 」發表之論文，載於 Book Humor prevails!-implementing a joke generator into a conversational system，頁214-225。
Husain, H.、Wu, H.-H.、Gazit, T.、Allamanis, M.、Brockschmidt, M. （2019）。 Codesearchnet challenge: Evaluating the state of semantic code search。arXiv preprint arXiv:1909.09436。
Khalid, H.、Wade, V. （2020）。 Topic Detection from Conversational Dialogue Corpus with Parallel Dirichlet Allocation Model and Elbow Method。arXiv preprint arXiv:2006.03353。
Li, X. L.、Liang, P. （2021）。 Prefix-Tuning: Optimizing Continuous Prompts for Generation。arXiv preprint arXiv:2101.00190。
Mane, M. R.、Kedia, S.、Mantha, A.、Guo, S.、Achan, K. （2020）。 Product Title Generation for Conversational Systems using BERT。arXiv preprint arXiv:2007.11768。
Martin, R. A.、Ford, T.（2018）。The psychology of humor: An integrative approach。：Academic press。
Portet, F.、Reiter, E.、Gatt, A.、Hunter, J.、Sripada, S.、Freer, Y.等人 （2009）。 Automatic generation of textual summaries from neonatal intensive care data。Artificial Intelligence， 173（7-8），頁 789-816。
Radford, A.、Wu, J.、Child, R.、Luan, D.、Amodei, D.、Sutskever, I. （2019）。 Language models are unsupervised multitask learners。OpenAI Blog， 1（8），頁 9。
Reiter, E.、Dale, R.（2000）。Building natural language generation systems。：Cambridge university press。
Safaya, A.、Abdullatif, M.、Yuret, D.（2020）。 Kuisail at semeval-2020 task 12: BERT-CNN for offensive speech identification in social media。 於「Proceedings of the International Workshop on Semantic Evaluation (SemEval). To appear 」發表之論文，載於 Book Kuisail at semeval-2020 task 12: BERT-CNN for offensive speech identification in social media，。
Sellam, T.、Das, D.、Parikh, A. P. （2020）。 BLEURT: Learning Robust Metrics for Text Generation。arXiv preprint arXiv:2004.04696。
Svartvik, J.（2011）。Directions in corpus linguistics: proceedings of Nobel Symposium 82 Stockholm, 4-8 August 1991（第65冊）。：Walter de Gruyter。
Wang, Y.、Ke, P.、Zheng, Y.、Huang, K.、Jiang, Y.、Zhu, X.等人（2020）。 A large-scale chinese short-text conversation dataset。 於「CCF International Conference on Natural Language Processing and Chinese Computing 」發表之論文，載於 Book A large-scale chinese short-text conversation dataset，頁91-103。
岳曉東（2012）。幽默心理學: 思考與研究。：City University of HK Press。
曾元顯、許瑋倫、吳玟萱、古怡巧、陳學志 （2020）。 Implementation and Evaluation of a Retrieval-based Chinese Humor Chatbot[基於檢索方法的中文幽默對話系統之建置應用與評估]。圖書資訊學刊， 18（2），頁 73-101。 doi: 10.6182/jlis.202012_18(2).073
程祥恩（2019）。應用記憶增強機制階層式深度學習模型於短文對話之對話品質與事件偵測任務。國立中央大學資訊工程學系，桃園縣。
黃居仁、陳克健、張莉萍、許蔥麗 （1995）。 中央研究院平衡語料庫簡介。Proceeding of ROCLLING， 7，頁 81-99。