《计算语言学概论》PPT课件 74页

計算語言學概論Ch4詞法分析楊允言1\n4.1概論音節語詞語句語詞是ùi無意義ê聲音kàu有意義ê語音ê關鍵過渡語言學對詞ê定義：會tàng獨立運用，有意義êsiong細ê語法單位2\n4.1概論-2漢字ê例簡體字ê「后」對應繁體字ê「後面、皇后」，若是ti字ê基礎轉換有困難，ti詞ê基礎做轉換to有可能文字校對系統，「羅馬子(字)」(拼音ê輸入法)、「于(干)涉」(字形ê輸入法)，利用詞ê基礎來檢查，chiah檢查會出來語詞檢索「人為」，若是語料庫無經過斷詞處理，有可能會chhe出「以人為本…」、「人為按怎beh活leh」等無適合ê例句3\n4.1概論-3詞法分析第一個任務Ùi話句內底ka詞chhe出來(tokenization)若有需要，koh分析組成這個詞ê語素成分(lemmatization/morphologicalanalysis)詞法分析第二個任務做PartofSpeechiah是WordSenseTagging這句話ê三個翻譯(n)lóng翻譯(v)了têng-tân去4\n4.1概論-4詞法分析ê困難點理論上詞ê定義？詞ê意思beh按怎確認？實作上Beh按怎真緊ka詞chhe出來？斷詞beh按怎做disambiguity？詞類beh按怎做disambiguity？5\n4.2詞ê判別英文ê詞(Tokenization)WhiteSpace/標點隔開有ê詞用標點隔開eg“I’ll”“can’t”有ê縮寫詞有句點eg“U.S”有ê詞有非字母eg“AT&T”“Micro$oft”數字eg“123,456.789”“23.5%”“2005/12/21”會sái用Regularexpression表示，用FiniteStateMachine處理6\n4.2詞ê判別-2英文ê詞形分析(Lemmatization)Prefix+WordStem(詞根)+Suffix+Inflection(型態變化)egpossibleimpossibleimpossiblyhappyhappinessladyladiescheckcheckedmakemakerstrongstrongest…7\n4.2詞ê判別-3台文êtokenization：做WordSegmentation漢羅台文，需要先切做一個一個ê音節（全漢字to無需要）查辭典，用siong大比對(MaximalMatching)eg:台語文|計算|語言學|是|三|學分|ê|課問題：ambiguityeg:看台語故事(X)看台|語|故事(O)看|台語|故事(BackwardMaximalMatchthang解決)8\n4.2詞ê判別-4台文ê例eg:真正常用…(O)真正|常用…(O)真|正常|用…華文ê例eg:結合成分子時(FMM/BMM)(X)結合|成分|子時(O)結合|成|分子|時9\n4.2詞ê判別-5Ambiguity分兩種交chhap型AmbiguityABCAB|C/A|BCeg野球場(野球|場/野|球場)組合型AmbiguityABAB/A|Beg個人(我|個人…/三|個|人…)組合型Ambiguity無法度用siong大比對解決10\n4.2詞ê判別-6利用規則來解決組合型Ambiguityif(IsNumber(LeftWord(“個人”)))then“個|人”else“個人”利用MM+Feedback來解決交chhap型Ambiguity學歷史智識(FMM)學歷|史(辭典無)|智識學|歷史|智識11\n4.2詞ê判別-7Siong大機率分詞(統計方法，針對交chhap型Ambiguity)eg:0看1台2語3故4事5FMM看台|語|故事0--2--3--5BMM看|台語|故事0--1--3–5查詞頻資料看台90.0002%語2,7870.0688%看14,5660.3595%台語5,5490.1370%P(看台)×P(語)P’(語)“故事”是siong尾詞，結束“故事”êBLAW是“台語”，“台語”êBLAW是“看”看|台語|故事14\n4.2詞ê判別-10Siong大機率分詞演算法無法度處理組合型Ambiguityeg(華語ê例)P(才能)>P(才)×P(能)(X)做完|作業|才能|看|電視交chhap型Ambiguity若tú著詞頻特別kôanê詞ma有可能出chhêeg(華語ê例)(X)這|事|的|確定|不|下來(O)這|事|的確|定|不|下來15\n4.2詞ê判別-11其它ê問題(辭典無收ê詞)定量詞eg三張紙、二十五個人、…定量詞若無處理，會影響台語變調結果複合詞問題eg國中小、上下班、…Prefix/Suffixeg正確性、相關性、…重thah詞eg歡歡喜喜、輕輕鬆鬆、…人名、地名eg陳水扁、舞鶴、…組織名、商品名eg台大資訊系、可口可樂、…新名詞、簡省詞egE世代、A菜、資工、…術語(Term)16\n4.3詞性標注前提：斷詞愛正確詞類êSequencema有可能倒頭來檢查斷詞ê正確性英文，雖然語詞有型態變化，詞類kang款有Ambiguityeg:Time/n-vflies/v-nlike/p-van/detarrow/n.p:preposition(介詞)det:冠詞17\n4.3詞性標注-2華文ê例eg:把/q-p-v-n這/r篇/q報導/v-n編輯/v-n一/m-c下/f-q-vr:代名詞q:量詞m:數詞c:連詞f:方位詞UnknownWordma愛去ioh伊ê詞類詞性有Ambiguityê詞，叫做兼類詞，伊ê詞性ê數量叫做兼類數18\n4.3詞性標注-3中國ê統計，兼類詞所佔ê比例兼類數兼類詞數百分比舉例530.01%和c-n-p-q-v4200.04%光a-d-n-v31260.23%画n-q-v21,4752.67%鎖n-v19\n4.3詞性標注-4中國ê統計，兼兩類ê兼類詞兼類詞數%例詞n-v61342%愛好把握報導a-n745%本分標準典型a-v21715%安慰保守抽象b-d1037%長期成批初步n-q644%筆刀口a-d302%大老真Lóng總1,10175%20\n4.3詞性標注-5華語兼類詞Wordtypesê角度，兼類詞比例真chióWordtokensê角度，兼類詞比例真kôan(詞頻kôanê詞兼類ê比例真kôan)大部分兼類詞所兼ê詞類是頻率kôanê主要詞類21\n4.3詞性標注-6HMM(HiddenMarkovModel)詞性標注背景說明eg:把/q-p-v-n這/r篇/q報導/v-n編輯/v-n一/m-c下/f-q-v所有可能ê詞類Sequence有4×1×1×2×2×2×3=96種情形統計方法to是chhe出Sequence內底機率siongkôanêhit個Sequcene22\n4.3詞性標注-7HMMλ=(S,V,A,B,π)S={1,2,3,…,N}是一組狀態ê集合（詞類數）V={v1,v2,…,vm}是一組會tàng觀察ê符號ê集合（語詞）A=[aij]nn,aij=P(qt+1=j|qt=i),1≦i,j≦N(目前詞類是iê情形下，下一個詞類是jê機率）B={bj(k)},bj(k)=P(vk|j),1≦k≦M,1≦j≦Nπ是開始狀態ê機率分佈23\n4.3詞性標注-8詞類Sequenceto是HMM內底am-khàmê狀態Sequence，ma是咱beh算ê詞串是會tàng觀察ê符號詞類集是確定ê(HMM狀態數是確定ê)每一個詞類所對應ê詞是確定ê(倒頭講，辭典內底每一個詞有至少一個詞類）24\n4.3詞性標注-9已經有HMMê參數λ(透過訓練資料算出來ê)，ho.你WordSequenceW=w1w2w3…，beh算T=t1t2t3…，T有幾lo個，behchhesiong好êT’T’=argmaxP(T|W,λ)P(T|W,λ)=P(T,W|λ)/P(W|λ)因為所有ê情形λlóngkang款，會sái簡省掉25\n4.3詞性標注-10根據Bayes定理，P(T|W)=P(T,W)/P(W)=P(T)P(W|T)/P(W)對所有ê標記結果，P(W)lóngkang款，會sái簡省掉T’=argmaxP(T|W,λ)=argmaxP(T)×P(W|T)26\n4.3詞性標注-11P(T)=P(t1|t0)P(t2|t1,t0)…P(ti|ti-1,ti-2,…)假設詞類標記kan-na受頭前一個標記ê影響P(T)=P(t1|t0)P(t2|t1)…P(ti|ti-1)P(ti|ti-1)=Freq(ti-1ti)/Freq(ti-1)27\n4.3詞性標注-12P(W|T)=P(w1|t1)P(w2|t2,t1,w2,w1)…P(wi|ti,ti-1,…,t1,wi,wi-1,…,w1)Kang款ê假設，kan-nakah頭前一個有關係P(W|T)=P(w1|t1)P(w2|t2)…P(wi|ti)P(wi|ti)=Freq(wi標記作ti)/Freq(ti)Siongbáiê情形，m個詞，每一個詞lóng有n個詞類，O(nm)28\n4.3詞性標注-13Viterbi:利用動態規劃ê觀念假設每一個詞lóng有n個詞類標記，wmkàuwm+1êj-th標記，有n個可能ê路徑，假設機率siongkôanê是titj這個路徑Ùiwmê每一個詞類標記kàuwm+1ê每一個詞類標記移轉ê機率，記做aijaij=P(tj|ti)1≦i,j≦N29\n4.3詞性標注-14w1頭前無詞，w1ê每一個詞類ma符合一定ê機率分佈，記做πiwm每一個詞類標記選wmê條件機率記做bi(wm)bi(wm)=P(wm|ti)1≦i≦N30\n4.3詞性標注-15Ùiw1kàuwmêi-th詞類標記各種可能路徑，有一條是機率siong大ê，用一個變量(variant)來記錄，叫做Viterbi變量，記做δm(i)δm(i)=maxt1,t2,…,tm-1[P(t1,t2,…,tm=i,w1,w2,…,wm|λ)],1≦m≦M&1≦i≦N31\n4.3詞性標注-16HMMùiwm移轉kàuwm+1，kui個路徑ê機率，會tàngùiHMMti前一個狀態(wm)ê時siong大ê機率算出來。意思to是，Viterbi變量會tàngrecurrsive計算δm+1(j)=[max1≦i≦Nδm(i)aij]×bj(wm+1),1≦m≦M&1≦j≦N32\n4.3詞性標注-17Ùiwm移轉kàuwm+1，需要一個變量紀錄行過ê路徑內底，tó一個是siong好ê路徑，記錄這個路徑siong好ê詞類標記，記做Δm(i)Δm(i)=argmax1≦j≦N[δm-1(j)aji]×bi(wm),2≦m≦M&1≦i≦N33\n4.3詞性標注-18Viterbi演算法：δ1(i)=πibi(w1),1≦i≦N;Δ1(i)=0Recursively計算行向每一個詞wmê每一個詞類標記tiêsiong好ê路徑δm(i)=[max1≦j≦Nδm-1(j)aij]×bi(wm+1),2≦m≦M&1≦j≦NΔm(i)=argmax1≦j≦N[δm-1(j)aji]×bi(wm),2≦m≦M&1≦i≦N34\n4.3詞性標注-19Viterbi演算法：Kàusiong尾一個詞wM，計算wMêsiong好ê詞類標記P*=max1≦i≦N[δM(i)]tM*=argmax1≦i≦N[δM(i)]35\n4.3詞性標注-20Viterbi演算法：Ùisiong尾一個詞siong好ê詞類標記開始，倒退chhe每一個詞siong好ê詞類標記tm*=Δm+1(tm+1*)m=M-1,M-2,…,1O(N2×M)(N個詞類，M個詞)36\n4.3詞性標注-21利用Spanê概念增加效率：假使其中一個詞kan-na一個詞類，to會tàng減少詞串ê長度UnknownWord主要是名詞(siongchoe)kah動詞，會sáika當做是兼類詞(n/v)落去算37\n4.3詞性標注-22機器學習規則ê詞類標記方法M是用人工chhe規則，是用機器chhe出修改ê規則轉換規則ê形式改寫規則(rewritingrule)eg:將v改做n激發環境(triggeringenvironment)eg:這個詞倒pêngê詞是量詞，koh倒pêngê詞是數詞38\n4.3詞性標注-23eg:伊/pro寫/v一/m篇/q報告/v利用頂面ê規則改做伊/pro寫/v一/m篇/q報告/v轉換規則模版，激發環境ê部分目前這個詞ê頭前(後壁)一個詞ê詞類標記是z目前這個詞ê頭前(後壁)第二個詞ê詞類標記是z目前這個詞ê頭前(後壁)二個詞其中一個ê詞類標記是z39\n4.3詞性標注-24機器學習規則：根據模版去比對(不管用什麼方法ê)標記結果kah訓練資料無kângê所在，chhe出幾lo條ê轉換規則(titó一個激發環境下，愛用tó一個改寫規則)Chiaê轉換規則，有ê真ohchhe出合理ê語言學解說一páikan-na用一條規則，規則有順序轉換規則可能有Sideeffect40\n4.3詞性標注-25機器學習規則ê工作流程愛先chhôan好詞類標記集kah轉換規則ê模版達kàu一定規模、標記好詞類ê語料庫C0(訓練語料)，kah語料庫iah未做標記ê版本C0_raw開始ê詞類標注器(initialtagger)(會sái用HMM/Viterbi，ma會sái針對兼類詞kan-na揀頻率siongkôanê)41\n4.3詞性標注-26機器學習規則演算法用InitialTagger對C0_raw做標記，得著帶詞類標記ê語料C1ThehC1kah訓練語料C0相比較，算出標記錯誤ê數量42\n4.3詞性標注-27機器學習規則演算法照順序ùi候選規則內底chhe一條規則Ti(i=1,2,…)，每用一條規則對Ciê詞類標注做修改，to會得著一個新ê版本Ci+1m(m=1,2,…)，ka每一個Ci+1mkahC0做比較，會tàng算出內底詞類標記錯誤ê數量，liah錯誤siongchióhit個當做Ci+143\n4.3詞性標注-28機器學習規則演算法重複step3，得著一系列ê標記語料庫C2k,C3l,C4m，每一個lóng愛比前一個錯誤khahchió，每一páilóng學著一條改進錯誤siongchoeê轉換規則。一直做kàu無法度koh減chió標記錯誤數量。44\n4.3詞性標注-29eg:C0_raw--InitialTaggerC1(Er=5100)C1–T1C21(Er=5100)–T2C22(Er=3145)C2=C22–T3C23(Er=3910)–T4C24(Er=6300)45\n4.3詞性標注-30C2–T1C31(Er=3310)–T2C32(Er=2210)–T3C33(Er=1231)C3=C33–T4C34(Er=4255)46\n4.3詞性標注-31C3–T1C41(Er=1410)–T2C42(Er=1251)–T3C43(Er=1231)–T4C44(Er=1231)C0_raw--InitialTaggerC1(Er=5100)–T2C2(Er=3145)–T3C3(Er=1231)47\n4.4詞義標注WordSenseTagging/Disambiguation(WSD)Beh處理多義詞，先愛對這個詞ê每一個意義做區別技術上，ti具體語境內底，ho.多義詞一個確定ê意義48\n4.4詞義標注-2WSDê基礎資源傳統ê語文辭典（每一個entry列出這個語詞無kângê意思）義類辭典iah是kang義詞辭典標住好義項ê語料庫（多義詞ê義項lóngkah確定ê語境有關係）49\n4.4詞義標注-3WSD可能用ê方法Kah訓練語料做比對（統計方法）規則方法利用辭典、百科全書提供ê智識Sizeof(詞義)>>Sizeof(詞類)(beh用統計方法做，看起來不止仔困難)50\n4.4詞義標注-4多義詞有兩種詞類無kângeg編輯/n-v、報導/n-v、計畫/n-vegfly/n-v,book/n-v,time/n-v,plus/p-a-n只要做taggingto會tàng解決kang詞類無kang意義eg材料/n(1)文字材料(2)建築材料(實體)(3)一個人是m是適合做某種空khèeg薄/a(1)人kah人ê關係(2)形容氣味(3)形容厚度51\n4.4詞義標注-5Youshallknowawordbythecompanyitkeeps(看伊ê伴，知伊ê意思)若是按呢，會sái考慮用搭配詞(Collocation))提供ê線索：設使一個語詞W有W1kahW2兩個意思，inti實際ê語境出現ê時，邊a有搭配詞，W1ê搭配詞集合C1，W2ê搭配詞集合C2，咱會tàng透過C1kahC2ê差別，來掌握W1kahW2ê差別52\n4.4詞義標注-6利用MI做WSD1991提出，法文翻做英文egprendretake/makeegvouloirwant/likeFlip-Flop演算法53\n4.4詞義標注-7利用MI做WSD一個多義詞有幾lo個意思T1,T2,…,Tm，這個多義詞ê意思ê特徵是V1,V2,…,Vnchhìn採kaT1,T2,…,Tm分做兩類，記做R={R1,R2}maka分做兩類，記做Q={Q1,Q2}調整Qê分類，目的behho.MI(R,Q)khahkôan54\n4.4詞義標注-8利用MI做WSDMI(RQ)=ΣTΣVlog(P(Ti,Vj)/P(Ti)P(Vj))1≦i≦m,1≦j≦n實驗結果舉例：prendresiong適合ê特徵是賓語(受詞)，vouloirsiong適合ê特徵是時態實驗結果，原來100句有37句正確，變做45句正確(+20%)55\n4.4詞義標注-9BayesianDiscreminationWSD1992提出，處理英文KahHMMkang方法計算一個多義詞Ati語境C內底(C包含真choe語詞w1,w2,…,wn，記做w)標記做每一個意思(si)ê機率P(si|C)，siong大êto是這個多義詞beh標記ê意思56\n4.4詞義標注-10BayesianDiscreminationWSDP(si|C)=P(C|si)P(si)/P(C)Behchhesiong大êP(si|C)，P(C)會sái減省掉，所以，咱behchhesiong大êP(C|si)P(si)假設C內底每一個詞w互相無牽連(獨立事件)P(C|si)=ΠP(w|si)P(w|si)=Freq(w|si)/Freq(si)P(si)=Freq(si)/Freq(A)57\n4.4詞義標注-11BayesianDiscreminationWSDMIê方法kan-na看一個意思ê特徵，BDWSD方法綜合考慮幾lo個特徵實驗結果，對6個英文ê多義詞做，正確率有90%duty,frug,land,language,position,sentence58\n4.4詞義標注-12利用辭典解說來做WSDeg:英文coneti辭典內底有兩條解說Amassofovule-bearingorpollen-bearingscalesorbractsintreesofthepinefamilyorincycadsthatarearrangedusuallyonasomewhatelongatedaxis.Somethingthatresemblesaconeinshape:as…acrispcone-shapedwaferforholdingicecream.假使coneê前後文出現tree，to表示是第一個意思(柴檑[松果])；假使出現ice，to表示是第二個意思(圓錐)59\n4.4詞義標注-13利用辭典解說來做WSD1986提出一個多義詞有幾lo個義項(S1,S2,…,Sm)多義詞每一個義項ti辭典內底分別lóng有解說(D1,D2,…,Dm)，每一個解說實際上代表出現ti解說內底ê詞{a1,a2,a3,…}多義詞ti具體60\n4.4詞義標注-14利用辭典解說來做WSD1986提出一個多義詞有幾lo個義項(S1,S2,…,Sm)多義詞每一個義項Siti辭典內底分別lóng有解說(D1,D2,…,Dm)，每一個解說Di實際上代表出現ti解說內底ê詞{a1,a2,a3,…}多義詞ti具體ê前後文出現ê時，前後有一kóa詞(W1,W2,W3,…)，chiaê詞當做這個多義詞ê特徵詞Wj61\n4.4詞義標注-15利用辭典解說來做WSD每一個特徵詞Wjti辭典ma分別lóng有解說(E1,E2,E3,…)，每一個解說Ewj實際上ma代表一組出現ti解說內底ê詞{b1,b2,b3,…}Beh判斷多義詞是tó一個義項Si，to是計算Di∩(∪Ewj){a1,a2,a3,…}∩({b1,b2,b3,…}∪…{b1’,b2’,b3’,…})語詞數siongchoehit個Di伊所對應êSito是多義詞ê義項62\n4.4詞義標注-16利用辭典解說來做WSDeg:英文êpen有兩個意思，一個是筆，一個是(動物)tiâu(豬tiâu、羊tiâu、…)假使有一句話”Thesheephasbeenpennedforthreedays”,chiaê詞內底，kan-nasheepê解說kahpenê其中一個解說有交集ê詞Pen有一個解說是”Apenisasmallareawithafencerounditinwhichfarmanimalsarekeptforashorttime.“，sheepê解說是“Asheepisafarmanimalwithathickwoollycoat.”所以penti這句話內底ê意思是羊tiâu63\n4.4詞義標注-17利用辭典解說來做WSD缺點：辭典ê解說khah單純，表達大概ê意思，真實語料變化choemakhah複雜正確率kan-na50%~70%64\n4.4詞義標注-18利用義類辭典做WSDThesaurus-basedWSD1992提出，利用Roget’sThesaurus一個多義詞ti義類辭典內底可能屬ti無kângê義類。Ti具體ê語境，確定一個多義詞ê義類，應該to知影伊是tó一個意思65\n4.4詞義標注-19利用義類辭典做WSDeg英文êcrane有兩個意思，一個是吊車(義類是工具/機械)，另外一個是鶴(義類是動物)。若thang知影crane出現ti具體語境ê時屬tó一個義類，to知影cranetichiaê意思66\n4.4詞義標注-20利用義類辭典做WSD對Roget辭典每一個義類(1041個義類)內底所有ê詞，收集包括chiae詞ê前後文C(頭前50後壁50個詞)，當做訓練語料(1991年電子版Grolier百科全書，規模1千萬詞)67\n4.4詞義標注-21利用義類辭典做WSD對C做統計，chhe出會tàng有效標示每一個義類ê特徵詞(Salientwords)計算chiaê特徵詞êWeightWeight(w)=log(P(w|RCat)/P(w))w:特徵詞，RCat:義類68\n4.4詞義標注-22利用義類辭典做WSDeg動物類ê特徵詞species(2.3),family(1.7),bird(2.6),fish(2.4),breed(2.2),animal(1.7),tail(2.7),…工具類特徵詞tools(3.7),machine(2.7),engine(2.6),blade(3.8),cut(2.6),saw(5.1),lever(4.1)69\n4.4詞義標注-23利用義類辭典做WSD判斷多義詞義類ê方法這個多義詞ê前後文若kan-na會tàngchhe著一個義類ê特徵詞，to屬這個義類若會tàngchhe著幾lo個義類ê特徵詞，to用條件機率(BayesRule)算無kang義類特徵詞êWeightê加總，siong大to表示屬這個義類70\n4.4詞義標注-24利用義類辭典做WSD優點：無需要人工標注實驗結果：標注英文12個多義詞(義項超過2個)，正確率kàu92%WordNetê資源會比Roget’sThesauruskoh-khah好71\n4.4詞義標注-25利用判定表(Decisionlist)做WSD規則方法法語kah西班牙語文本恢復重音音節1994提出72\n4.4詞義標注-26詞義標注ê目的機器翻譯了解語意(parser需要)73\n(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnY(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+F6IaLdPgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3bMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A74