SciELO - Scientific Electronic Library Online

 
vol.30 issue2Subordinate clauses without Que in Classical PortugueseUnaccusative verbs in Brazilian Portuguese: a possible categorization author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


DELTA: Documentação de Estudos em Lingüística Teórica e Aplicada

Print version ISSN 0102-4450

DELTA vol.30 no.2 São Paulo July/Dec. 2014

https://doi.org/10.1590/0102-445034728151307539 

ARTIGOS

Uso de corpora comparáveis para filtrar dicionários bilíngues gerados por transitividade

Using comparable corpora to filter bilingual dictionaries generated by transitivity

Pablo GAMALLO

CITIUS - Universidade de Santiago de Compostela. E-mail: pablo.gamallo@usc.es


RESUMO

Este artigo propõe um método para a construção de novos dicionários bilíngues a partir de dicionários já existentes e da exploração de corpora comparáveis. Mais concretamente, um novo dicionário para um par de línguas é gerado em duas etapas: primeiro, cruzam-se dicionários bilíngues entre essas línguas e uma terceira intermediária e, segundo, o resultado do cruzamento, que contém um número elevado de traduções espúrias causadas pela ambiguidade das palavras da língua intermediária, filtra-se com apoio em textos de temática comparável nas duas línguas alvo. A qualidade do dicionário derivado é muito alta, próxima dos dicionários construídos manualmente. Descreveremos um caso de estudo onde criaremos um novo dicionário Inglês-Português com mais de 7.000 entradas bilíngues geradas pelo nosso método.

Palavras-Chave: processamento da língua natural; extração de informação; corpora comparáveis; dicionários bilíngues

ABSTRACT

This article proposes a method for building new bilingual dictionaries from existing ones and the use of comparable corpora. More precisely, a new bilingual dictionary with pairs in two target languages is built in two steps. First, a noisy dictionary is generated by transitivity by crossing two existing dictionaries containing translation pairs in one of the two target languages and an intermediary one. The result of crossing the two existing dictionaries gives rise to a noisy resource because of the ambiguity of words in the intermediary language. Second, odd translation pairs are filtered out by making use of a set of bilingual lexicons automatically extracted from comparable corpora. The quality of the filtered dictionary is very high, close to that of those dictionaries built by lexicographs. We also report a case study where a new, non noisy, English-Portuguese dictionary with more than 7,000 bilingual entries was automatically generated.

Key words: natural language processing; information extraction; comparable corpora; bilingual dictionaries

1. Introdução

A tradução automática baseada em regras precisa de dicionários bilíngues de ampla cobertura para oferecer traduções de qualidade. Nos últimos anos, o sistema de tradução automática Opentrad, de código aberto e multilíngue, tem alargado a sua oferta de pares de línguas sobre os que trabalha até atingir mais de 20 pares. No entanto, entre as línguas consideradas, existem ainda pares não explorados, nomeadamente Inglês-Português. De facto, a taxa de crescimento do número de dicionários bilíngues que requer um sistema de tradução multilíngue é uma função quadrática do número de línguas que o sistema traduz (Wherli et al., 2009). Ajudar a automatizar o processo de construção de novos dicionários é, portanto, uma tarefa crucial para reduzir drasticamente a quantidade de trabalho.

A estratégia mais natural para criar o novo dicionário é aproveitar a informação contida nos dicionários já existentes. Da mesma maneira que um lexicógrafo precisa dominar técnicas de trabalho para aproveitar o que já foi feito, o objectivo deste artigo é apresentar um método automático de elaboração de dicionários bilíngues a partir do cruzamento entre dicionários de pares de línguas já inseridos no sistema Opentrad, filtrando o resultado do cruzamento com informação extraída de corpora comparáveis. O método proposto é totalmente não supervisado e consiste, mais concretamente, nestas duas tarefas:

  • Dados dois dicionários bilíngues para dois pares de línguas (A,B) e (B,C), geramos um novo par (A,C) por transitividade, onde B é a língua intermediária ou pivô. Por exemplo, a partir dos dicionários (Inglês, Espanhol) e (Espanhol, Português), derivamos por transitividade um novo dicionário (Inglês, Português).

  • As correspondências bilíngues geradas a partir de termos ambíguos da língua intermediária são validadas e filtradas com base na similaridade distribucional computada automaticamente em corpora comparáveis, constituídos por textos nas duas línguas alvo: A e C. É dizer, precisamos de textos em Inglês e Português para corrigir os erros do novo dicionário construído por transitividade. Para podermos calcular a similaridade distribucional dos pares bilingues, os corpora comparáveis são analisados sintaticamente mediante dependências.

Neste artigo, apresentaremos um caso de estudo no que se descreve o processo de criação por transitividade de um novo dicionário (Inglês, Português) a partir de dois existentes, (Inglês, Espanhol) e (Espanhol, Português), e filtrado com ajuda de um corpus comparável Inglês-Português. A língua intermediária é o Espanhol. Por exemplo, suponhamos que possuímos dois dicionários de verbos, (Inglês, Espanhol) e (Espanhol, Português), com as seguintes correspondências bilíngues:

Tabela 1 Exemplos de correspondências bilíngues de dois dicionários fonte 

(Inglês, Espanhol) (Espanhol, Português)
(answer, contestar) (contestar, contestar)
  (contestar, responder)

Ao combinarmos estas correspondências por transitividade, construímos um novo dicionário (Inglês, Português), com dois novos pares bilingues, um deles errado (marcado mediante asterisco na tabela 2):

Tabela 2 Correspondências bilingües derivadas por transitividade a partir da Tabela 1  

(Inglês, Português)
*(answer, contestar)
(answer, responder)

O par errado *(answer, contestar) foi gerado porque, em Espanhol, contestar é um verbo polissémico com dois significados que se lexicalizam em Português de duas maneiras diferentes: contestar e responder. Finalmente, para podermos identificar o erro, procuramos num corpus comparável Inglês-Português se existe alguma similitude distribucional entre answer e contestar, por um lado, e answer e responder, por outro. Este estudo distribucional baseado em corpus permite verificarmos que o par (answer, responder) está correto. O dicionário final filtrado não contém o par incorreto: *(answer, contestar).

As principais linhas do método apresentado foram descritas em (Gamallo, 2010), onde foi analisado um caso de estudo para a elaboração de um dicionário Inglês-Galego. As principais contribuições do artigo com respeito ao trabalho citado são, por um lado, aplicar o método a um novo par de línguas e, por outro, explicar de modo mais pormenorizado os princípios linguísticos que sustentam o método.

A seguir (seção 2), discutimos alguns trabalhos relacionados, antes de formular, na seção 3, as principais hipóteses linguísticas nas que o nosso método se baseia. Na seção 4, descreve-se em pormenor o nosso método de aprendizagem, para, na seguinte seção (5), apresentar um caso de estudo: a geração de um dicionário bilíngue Inglês-Português. No fim do artigo, comentamos algumas conclusões tiradas do nosso estudo e enumeramos linhas de investigação de trabalhos futuros.

2. Trabalho relacionado

Existem numerosos trabalhos sobre construção automática de novos léxicos bilíngues a partir dos já existentes (Paik et al., 2004; Ahn & Frampton, 2006; Zhang, Ma & Isahara, 2007; Nerima & Wehrli, 2008; Kaji et al., 2008; Simões & Guinovart, 2010; Wehrli et al., 2009).

A maioria destes trabalhos utilizam, para elaborar um novo léxico de correspondências bilíngues, dois dicionários suporte que têm em comum uma língua intermediária. O aspecto crucial desta estratégia é a validação das correspondências aprendidas que são corretas (ou eliminação das espúrias). Em (Nerima & Wehrli, 2008), a validação é feita com ajuda de corpora paralelos, i.e., só são consideradas corretas as correspondências achadas em léxicos alinhados em corpora paralelos.

Outros trabalhos, como o aqui proposto, utilizam extração a partir de corpus não paralelo para realizar a validação (Sammer & Soderland, 2007; Kaji et al., 2008). No entanto, à diferença de trabalhos anteriores sobre extração de léxicos bilíngues a partir de corpora não paralelos (Fung & McKeown, 1997; Fung & Yee, 1998; Rapp, 1999; Chiao & Zweigenbaum, 2002; Shao e Ng, 2004; Saralegui et al., 2008 ), a nossa proposta utiliza textos comparáveis analisados em dependências. Em (Gamallo, 2008), mostra-se que a precisão dos métodos baseados em dependências para a extração de equivalentes de tradução em corpora comparáveis é maior que a de métodos baseados em bag-of-words.

3. Similaridade distribucional versus conceptual

O ponto crucial deste trabalho é o processo de validação das correspondências bilíngues derivadas por transitividade, por meio de informação distribucional extraída de corpus. Este processo sustenta-se na seguinte observação: se um par derivado por transitividade também aparece na lista de pares extraídos por similaridade distribucional de corpora comparáveis, então o par é correto. Esta observação é sustentada pelas seguintes conjecturas:

  • Nos dicionários bilíngues feitos à mão, cada correspondência bilíngue consta de dois termos que partilham dois aspectos diferentes do significado: os dois têm propriedades conceptuais e distribucionaissimilares, é dizer, designam entidades ou conceitos semelhantes (propriedades conceptuais) e combinam-se com entidades ou conceitos semelhantes (distribucionais).

  • Nos dicionários bilíngues derivados por transitividade, todas as correspondências derivadas constam de pares de termos que partilham propriedades conceptuais, mas nem sempre têm as mesmas propriedades distribucionais. Isto é consequência do facto de uma palavra polissêmica ter dois ou mais sentidos relacionados conceptualmente mas não distribucionalmente.

  • Nos dicionários extraídos de corpora comparáveis, as correspondências aprendidas constam de pares de termos com as mesmas propriedades distribucionais, mas nem sempre partilham propriedades conceptuais.

Portanto, se só considerarmos corretos os pares que partilham aspectos conceptuais e distribucionais, então a intersecção dos dicionários derivados por transitividade (semelhança conceptual) com os extraídos de corpora comparáveis (semelhança distribucional) só pode devolver pares bilíngues corretos (semelhança conceptual + distribucional). Este processo de validação é muito preciso. O resultado é um léxico bilíngue limpo, desprovido de erros.

Vejamos um exemplo (figura 1). No dicionário (Espanhol, Português), o nome espanhol titularencontra-se nestes dois pares de correspondências: (titular, manchete)e (titular, titular). É portanto uma palavra ambígua (polissêmica) associada também a duas traduções no dicionário (Inglês, Espanhol): (headline, titular), (holder, titular). Os dois sentidos de titular em Espanhol estão relacionados conceptualmente: nos dois casos, um pequeno rótulo, que pode ser um nome de pessoa ou um título de notícia, serve para designar e identificar um objeto maior, nomeadamente a pessoa titular de uma conta ou a notícia principal de um jornal. Os pares (Inglês, Português)derivados por transitividade são: (headline, manchete), *(holder, manchete), *(headline, titular), (holder, titular), onde a estrelinha marca os pares incorretos. Conjecturamos que os pares são incorretos porque, embora cada um dos dois termos de um par estejam conceptualmente relacionados, não partilham as mesmas propriedades distribucionais. No caso dos pares corretos, os termos de cada par estão relacionados tanto conceptualmente como distribucionalmente.

Figura 1 Exemplo de processo de validação 

Os pares similares distribucionalmente extraídos de um corpus comparável Inglês-Português permitem identificar, e portanto validar, que pares estão relacionados distribucionalmente. Nas experiências que serão descritas mais a frente, conseguiu-se extrair uma lista de palavras portuguesas similares distribucionalmente a headline, e que contém termos como notícia, publicação, manchete, ..., onde todos partilham a mesma distribuição mas só este último descreve o mesmo conceito que headline. O termo titular não foi extraído, pois a sua distribuição é muito diferente da de headline. Analogamente, a lista de termos similares a holder está constituída por termos como detentor, titular, investidor, ..., todos com distribuição semelhante (funcionam como agentes), mas só o segundo designa um conceito ou entidade similar a holder. Aqui não foi extraído o termo manchete, pois a sua distribuição é diferente da de holder. A figura 1 mostra de maneira sintética todo o processo de derivação por transitividade e validação através de corpus comparável.

4. Descrição do método

Como já foi dito, a nossa estratégia consiste na execução de duas tarefas: gerar correspondências bilíngues por transitividade e validá-las mediante o uso de pares candidatos extraídos de corpora comparáveis.

4.1. Geração por transitividade

A primeira tarefa foi inspirada pelo trabalho descrito em (Nerima & Wehrli, 2008). Dados dois dicionários bilíngues representados como duas relações (A,B) e (B,C), gera-se um dicionário derivado (A,C) em três etapas:

  • Primeiro, cria-se a relação (A,C)' a partir dos dois dicionários existentes (A,B) e (B,C), onde B é a língua pivote ou intermediária. Para cada correspondência bilíngue pertencentes à relação (A,B), criamos um conjunto de correspondências {(ai ,c1 ), (ai ,c2 ), . . . , (a i ,cn )}, onde são os termos associados a b1 em (B,C). O dicionário derivado final (A,C)' é o conjunto de todas as novas correspondências geradas.

  • Depois, eliminam-se de (A,C)' os pares bilíngues duplicados e obtemos (A,C).

  • Finalmente, dividimos (A,C) em dois subconjuntos: (A,C)amb, que contém todos os pares com, pelo menos, um elemento derivado de um termo ambíguo de B (língua pivô ou intermediária), e (A,C)unamb, contendo só elementos derivados de termos de A não ambíguos. O primeiro subconjunto é uma relação de muitos-para-muitos, enquanto que a segunda é um-para-um.

As tabelas a seguir mostram as três etapas descritas acima. Na tabela 3, mostra-se como se constroem por transitividade os pares (Inglês, Português)', a partir de pares em (Inglês, Espanhol) e (Espanhol, Inglês). A tabela 4 mostra a redução dos pares duplicados para obtermos o léxico (Inglês, Português). Finalmente, na tabela 5, separamos os pares com termos ambíguos dos pares sem ambiguidade.

Tabela 3 Primeira etapa: construção por transitividade de (A, C)'  

(Inglês, Espanhol) (Espanhol, Português) (Inglês, Português)'
(answer, contestar) (contestar, contestar) (answer, contestar)
  (contestar, responder) (answer, responder)
(answer, responder) (responder, responder) (answer, responder)
(acquire, adquirir) (adquirir, adquirir) (acquire, adquirir)

Tabela 4 Segunda etapa: obtenção de (A, C) por redução de (A, C)'  

(Inglês, Português)' (Inglês, Português)
(answer, contestar) (answer, contestar)
(answer, responder) (answer, responder)
(answer, responder) (acquire, adquirir)
(acquire, adquirir)  

Tabela 5 Terceira etapa: partição de (A, C) em (A,C)amb e (A,C)unamb  

(Inglês, Português)amb (Inglês, Português)unamb
(answer, contestar) (acquire, adquirir)
(answer, responder)  

Como já foi mencionado em (Nerima & Wehrli, 2008), observamos que o dicionário derivado com só palavras não ambíguas, (A,C)unamb, é um recurso lexical sem ruido. Na Lexicografia, as palavras com só uma tradução equivalem a termos com pouca ou nula polissemia. Portanto, todas as correspondências derivadas de palavras não ambíguas (um-para-um) são de boa qualidade e podem ser validadas sem ajuda de outros mecanismos. Pelo contrário, como já mostramos mediante o exemplo da palavra espanhola titular na seção 3, (A,C)amb é um léxico com ruído.

Na seguinte tarefa, as boas correspondências em (A,C)ambserão identificadas e selecionadas com ajuda de pares similares distribucionalmente extraídos de um corpus comparável com textos em línguas A e C.

4.2. Validação com corpus comparável

O segundo processo é a principal contribuição do nosso trabalho. Consiste em remover as correspondências derivadas de termos ambíguos que não se encontram no léxico de pares similares distribucionalmente, gerado a partir de um corpus comparável anotado com dependências sintáticas. O léxico de pares extraídos do corpus, chamado (A,C)corpus, organiza-se desta maneira. Cada termo da língua A, ai , é associado a uma lista ordenada de termos da língua C, c1 , c2 , ..., cn , lista que contém os N melhores candidatos de ai . De maneira inversa, cada termo da língua C, ci , é associado a uma lista ordenada de termos da língua A, a1 , a2 , ..., an , que são os N melhores candidatos de c1 . Portanto, (A,C)corpus é um conjunto de pares bilíngues onde cada par está formado por um termo alvo e um dos seus candidatos de tradução inferido do corpus. Para validar (A,C)amb, selecionamos a intersecção entre (A,C)amb e (A,C)corpus. A relação resultante é um conjunto de pares bilíngues corretos, mesmo se só contêm termos ambíguos. Finalmente, o dicionário total, chamado (A,C)limpo, é a união entre este léxico já validado e o léxico de palavras não ambíguas:

  • (A,C)limpo = (A,C)amb ∩ (A,C)corpus ∪ (A,C)unamb

Na seguinte seção, descrevemos brevemente como se aprende (A,C)corpus.

4.3. Extração de equivalentes de tradução a partir de corpora comparáveis

O nosso método para extrair pares similares distribucionalmente a partir de um corpus comparável anotado sintaticamente foi descrito com detalhe em trabalho prévio (Gamallo, 2007). Faremos aqui uma breve introdução ao método. Partimos da seguinte hipótese distribucional:

Um lema da língua C é uma tradução candidata do lema da língua A se os contextos léxico-sintáticos onde ocorre são traduções dos contextos léxico-sintáticos onde também ocorre.

Esta estratégia precisa de uma lista de contextos léxico-sintáticos bilíngues (chamados contextos semente) elaborados com ajuda de, por um lado, um dicionário bilíngue existente, (A,C), e por outro, uma lista de dependências sintáticas comuns nas duas línguas: sujeito, objeto direto, modificação adjetival, complemento preposicional, etc. Com estes elementos, podemos inferir que c1 é uma tradução candidata de a1 se os dois termos tendem a ocorrer nos mesmos contextos semente.

Por exemplo, suponhamos que o dicionário (A,C) contém o par (subside, baixar). Com este par específico de verbos e a dependência Sujeito, comum a duas línguas não ergativas como o Inglês e o Português, podemos construir uma correspondência bilíngue entre dois contextos léxico-sintáticos:

  • <Sujeito; subside, NOUN>

  • <Sujeito; baixar, NOUN>

Onde <Sujeito; subside, NOUN> é o contexto utilizado para identificar os nomes ingleses que aparecem na posição de sujeito do verbo subside, enquanto que <Sujeito; baixar, NOUN> seleciona os nomes portugueses que desempenham o papel de sujeito de baixar. As correspondências bilíngues entre pares de contextos léxico-sintáticos assim construídas representam os "contextos semente" nos que se baseia o processo de extração de equivalentes de tradução (ou pares similares distribucionalmente). No nosso exemplo, se os nomes ingleses que aparecem no corpus na posição de sujeito de subside são fever ou swelling, os nomes portugueses em posição de sujeito de baixar (e.g., febre or inchaço) são candidatos a serem as suas traduções.

O método de extração consta dos seguintes processos1:

  • Parsing multilíngue Analisam-se os textos nas duas línguas com ajuda do parser multilíngue baseado em dependências, DepPattern2.

  • Contextos semente Cria-se uma lista de pares bilíngues de contextos léxico-sintáticos. Utiliza-se, por um lado, o dicionário bilíngue (A,C) derivado por transitividade e, por outro, um pequeno conjunto de dependências genéricas com o mesmo comportamento nas duas línguas. Devemos realçar aqui que o dicionário bilíngue empregue é o gerado por transitividade contendo todo o ruído derivado dos pares ambíguos sem filtrar.

  • Hash table Uma vez realizada a análise e identificados os contextos semente nos textos, constrói-se uma matriz lema-contexto armazenada em memória como uma hash table sem valores nulos (não se tomam em conta os zeros). Cada elemento da hash está constituído por um lema (ou termo multipalavra), um contexto semente e a frequência observada no corpus.

  • Similaridade Depois, calcula-se o valor de similaridade Dice (Curran & Moens, 2002) entre os pares bilíngues. Para cada lema da língua fonte, selecionamos os N mais similares (N=10) da língua alvo, os quais representam as suas traduções candidatas.

Na tabela 6, mostramos vários exemplos de pares similares ordenados de maior a menor, extraídos de um corpus comparável Inglês-Português constituído por notícias de jornais. A terceira coluna da tabela mostra o grau de similaridade Dice calculado para cada par.

Tabela 6 Pares similares distribucionalmente extraídos de corpus comparáveis 

Inglês Português Coeficiente Dice
president presidente 0,61
president consello 0,49
president chefe 0,47
president prefeito 0,46
president membro 0,46
government governo 0,63
government administração 0,54
government territóri 0,49
government autoridade 0,49
government autonomia 0,46
country país 0,56
country município 0,51
country continente 0,39
country terra 0,37
country província 0,34

No fim do processo, obtemos a relação (A,C)corpus, que será empregue para validar os pares ambíguos corretos em (A,C)amb. Como foi dito anteriormente, a validação de pares corretos é o resultado da intersecção entre (A,C)corpus e (A,C)amb.

5. A elaboração de um dicionário Inglês-Português

Para testar a utilidade do nosso método, aplicamo-lo de forma a gerar um novo dicionário ainda inexistente no sistema de tradução automática OpenTrad (Armentano-Oller et al., 2006), nomeadamente o dicionário Inglês-Português. De facto, um dos objetivos a médio-curto prazo das nossas experiências é atualizar os recursos bilíngues de OpenTrad para assim melhorar os resultados do sistema de tradução automática, que é usado por La Voz de Galicia, o sexto jornal mais lido na Espanha. Seguiremos um processo similar ao já descrito em (Gamallo, 2010) a respeito da elaboração de um novo dicionário Inglês-Galego integrável em Opentrad. Uma limitação do nosso método é o facto de, por enquanto, só extrair pares de nomes, verbos e adjetivos, pelo que a elaboração do dicionário fica restrita a essas três categorias gramaticais.

5.1. Dicionários existentes e geração por transitividade

O novo dicionário (Inglês, Português) é derivado doutros já existentes para os pares de línguas Inglês-Espanhol e Espanhol-Português. Neste experimento, o Espanhol é, portanto, a língua pivô ou intermediária entre o Inglês e o Português. Os dicionários já existentes utilizados como fonte da derivação por transitividade são três:

  • (Inglês_OT, Espanhol_OT) dicionário Inglês-Espanhol de Opentrad3, que contém 10.828 pares bilíngues com nomes, adjetivos e verbos, e está disponível com licença livre.

  • (Inglês_CO, Espanhol_CO) dicionário Inglês-Espanhol de Collins4, que contém 50.287 pares de nomes, adjetivos e verbos, e só está disponível com licença privativa.

  • (Espanhol_OT, Português_OT) dicionário Espanhol-Português de Opentrad5, que contém 10.281 pares de nomes, adjetivos e verbos, disponível com licença livre.

A partir da estratégia descrita na seção 4, foram gerados dois dicionários bilíngues: (Inglês, Português)_A e (Inglês, Português)_B(ver tabela 7). A primeira linha da tabela mostra os diferentes elementos de (Inglês, Português)_A, que foi derivado de dois dicionários de Opentrad: (Inglês_OT, Espanhol_OT) e (Espanhol_OT, Português_OT). Contém 5.659 entradas, divididas em dois subconjuntos:

  • 1.125 pares ambíguos: (Inglês, Português)_Aamb

  • 4.534 pares não ambíguos: (Inglês, Português)_Aunamb

Tabela 7 Dicionários derivados por transitividade 

dicionários derivados número de entradas entradas ambíguas entradas não ambíguas dicionários fonte
(Inglês, Português)_A 5.659 1.125 4.534 (Inglês_OT, Espanhol_OT)
(Espanhol_OT, Português_OT)
(Inglês, Português)_B 10.974 7.310 3.664 (Inglês_CO, Espanhol_CO)
(Espanhol_OT, Português_OT)
(Inglês, Português)_AB 12.206 7.584 4.622 (Inglês_CO, Espanhol_CO)
(Espanhol_OT, Português_OT)
(Espanhol_OT, Português_OT)

Na segunda linha, o dicionário (Inglês, Português)_B é derivado de duas fontes diferentes: um dicionário da Collins, (Inglês_CO, Espanhol_CO), e um outro de Opentrad: (Espanhol_OT, Português_OT). O tamanho do léxico obtido aqui é maior devido ao maior tamanho do dicionário da Collins. Também se observa que o dicionário gerado contém uma proporção muito maior de termos ambíguos, pois já estão presentes no Collins. Nos dicionários de Opentrad a ambiguidade é pequena porque foram construídos para tornar menos complexo o processo de tradução automática.

Finalmente, na terceira linha da tabela, mostra-se o dicionário resultante da união dos dois anteriores: (Inglês, Português)_AB. Este vai ser o nosso dicionário de teste. O processo de validação, cujos resultados se descrevem na seguinte seção, estará focado na identificação dos pares ambíguos corretos dentro do subconjunto (Inglês, Português)_ABamb .

5.2. Corpora comparáveis e validação

Para validar (Inglês, Português)_ABamb , utilizamos a estratégia de extração de equivalentes de tradução a partir de corpora comparáveis, tal como foi descrito anteriormente nas seções 4.2 e 4.3.

5.2.1. Corpora comparáveis

Construímos dois tipos de corpora. Um primeiro tipo são textos constituídos por notícias de jornais ou de agências de notícias do mesmo período de tempo (ano 2010). O segundo tipo é composto por artigos da Wikipédia sobre o mesmo tópico.

Por um lado, foram compilados mediante crawling cinco corpora de notícias monolíngues, três em Inglês e dois em Português, a partir de cinco jornais e agências de notícias: The Guardian, The New York Times, Reuters, Público e Jornal de Notícias. A combinação de todos eles deu lugar a 6 corpora bilíngues comparáveis. A tabela 8 mostra o tamanho (em número de tokens) de cada um dos corpora compilados. Em cada combinação, a tabela mostra o número total de tokens junto com (entre parênteses) o tamanho de cada um dos corpora monolíngues constituintes.

Tabela 8 Tamanho (em milhões de tokens) de seis corpora comparáveis elaborados com cinco fontes de notícias 

  Público J. de Notícias
NYT 13.7 (4.6 + 9.1) 16.6 (4.6 + 12)
Guardian 17.3 (8.2 + 9.1) 20.2 (8.2 + 12)
Reuters 21.1 (13 + 9.1) 25 (13 + 12)

Por outro lado, foram também elaborados mais dois corpora comparáveis mediante a extração de artigos da Wikipédia. Mais concretamente, o primeiro corpus foi constituído pelos artigos em Inglês e em Português categorizados, respectivamente, pelos termos "sports" e "desporto". O segundo foi criado selecionando os artigos Ingleses e Portugueses que continham as categorias "country" e "país", respectivamente. Na tabela 9, mostra-se o número de tokens dos dois corpora compilados a partir da Wikipédia.

Tabela 9 Tamanho (em milhões de tokens) dos dois corpora comparáveis elaborados a partir de Wikipédia 

    Desporto País
Sport 6.6 (5.1 + 1.6)  
Country   1.2 (0.9 + 0.3)

5.2.2. Extração

Para gerar as listas de equivalentes de tradução, seguimos o método de extração descrito na seção 4.3. Primeiro, os textos foram analisados sintaticamente com DepPattern de forma a extrair as dependências entre lemas. Só tomamos em conta as dependências que contêm verbos, nomes, ou adjetivos. A entrada de DepPattern é texto anotado com o etiquetador morfossintático FreeLing (Carreras et al. 2004). A seguir, com ajuda do dicionário derivado por transitividade, (Inglês, Português)_AB, e de regras sintáticas de correspondências bilíngues, geramos a lista semente de contextos léxico-sintáticos bilíngues. Como nesta tarefa, de natureza estatística, é preferível dar mais importância à cobertura do que à precisão, utilizamos o dicionário com pares ambíguos e, portanto, não deitamos fora os pares errados. Posteriormente, com base nas dependências e na lista semente de contextos bilíngues, construímos 8 matrizes (uma por corpus) onde as dimensões são os contextos bilíngues e os objetos os lemas nas duas línguas. Finalmente, calculamos um valor de similaridade entre todos os pares de palavras dentro de cada uma das matrizes. Para cada lema inglês, selecionamos os 10 portugueses com um grau maior de similaridade, considerados como possíveis traduções do inglês. Como a similaridade é uma relação assimétrica, fizemos o mesmo desde o Português para o Inglês. No final do processo, obtivemos 8 dicionários estatísticos de equivalentes de tradução:

  • (Inglês, Português) nyt-publ dicionário extraído a partir do New York Times e Público

  • (Inglês, Português) nyt-jn dicionário extraído a partir do New York Times e Jornal de Notícias

  • (Inglês, Português) guar-publ dicionário extraído a partir de The Guardian e Público

  • (Inglês, Português) guar-jn dicionário extraído a partir de The Guardian e Jornal de Notícias

  • (Inglês, Português) reut-publ dicionário extraído a partir de Reuters e Público

  • (Inglês, Português) reut-jn dicionário extraído a partir de Reuters e Jornal de Notícias

  • (Inglês, Português) sport-desp dicionário extraído a partir de artigos de desporto da Wikipédia inglesa e portuguesa

  • (Inglês, Português) country-país dicionário extraído a partir de artigos sobre países da Wikipédia inglesa e portuguesa

5.2.3. Validação

De forma a validar a correção dos pares derivados por transitividade e formados por lemas ambíguos, realizamos a simples intersecção entre esse conjunto de pares ambíguos e os dicionários estatísticos derivados de corpora comparáveis. A tabela 10 mostra o resultado de intersectar cada um dos 8 dicionários estatísticos com o conjunto (Inglês, Português)_ABamb , que contém 8.620 entradas. A primeira linha da primeira coluna da tabela mostra o valor obtido pela intersecção do léxico ambíguo (Inglês, Por tuguês)_ABamb com o (Ingl,Port)nyt-publ : 1.147 lemas, que representam o 15% do total de pares ambíguos. Nas linhas restantes, aparecem os valores da intersecção com os outros dicionários. Além do número absoluto de palavras intersectadas (quer dizer validadas), a tabela mostra também a percentagem de palavras validadas (entre parênteses) em relação com o número total de entradas no léxico original de lemas ambíguos.

Tabela 10 Validação do léxico ambíguo mediante 8 corpora comparáveis 

  (Ingl, Port)_ABamb tamanho acumulado
(Ingl, Port)nyt-publ 1147 (15%) 1147 (15%)
(Ingl, Port)nyt-jn 1069 (14%) 1384 (18%)
(Ingl, Port)guar-publ 1488 (20%) 1850 (24%)
(Ingl, Port)guar-jn 1382 (18%) 2030 (27%)
(Ingl, Port)reut-publ 1384 (18%) 2183 (29%)
(Ingl, Port)reut-jn 1264 (17%) 2247 (30%)
(Ingl, Port)sport-desp 695 (9%) 2367 (31%)
(Ingl, Port)count-país 434 (6%) 2411 (32%)

A segunda coluna representa os valores acumulados das intersecções, sendo a última linha o valor final atingido (2411 - 32%) pela união das 8 intersecções. Como se pode observar, a união sucessiva das intersecções vai aumentando o número de validações até ao 32% do total. Este valor é superior ao obtido (26%) em (Nerima & Wehrli, 2008), onde se utilizaram corpora paralelos para validar as correspondências ambíguas de um dicionário Inglês-Alemão derivado por transitividade. Além de obter melhores resultados percentuais, o facto de nós usarmos corpora comparáveis, mais fáceis de encontrar na Web do que os paralelos, deixa aberta a possibilidade de podermos atingir, com facilidade, valores ainda superiores com a exploração de novos corpora.

Por último, devemos sublinhar que a qualidade das correspondências validadas é muito alto. O número de erros é muito pequeno e próximo ao achado em dicionários elaborados manualmente. Isto prova que as hipóteses formuladas na seção 3 parecem corretas.

5.3. O léxico final sem ruído

No fim do processo, fazemos a união dos pares validados com o dicionário de pares não ambíguos (i.e., as correspondências uma-para-uma): (Ingl, Port)_ABunamb . A tabela 11 mostra o número de entradas obtido em cada uma das etapas do processo. A primeira linha representa o dicionário inicial com ruido, com 12.206 entradas, gerado por transitividade antes do filtrado. A segunda linha representa o total de pares validados com ajuda dos corpora comparáveis: 2.411. A terceira linha mostra o número de pares não ambíguos: 4.622. E a última linha representa o número total de pares limpos, 7.033, que o nosso método conseguiu gerar. Este número representa o 58% do total de pares com ruido, 12.206, resultado da derivação por transitividade.

Tabela 11 Processo de construção do dicionário limpo finalInglês-Português 

(Inglês,Português) número de entradas
OpenTrad + Collins 12.206
pares validados 2.411
pares não ambíguos 4.622
dicionário limpo total 7.033 (58%)

Em resumo, o dicionário final é o resultado das seguintes operações de conjuntos:

(Ingl, Port)_ABlimpo =
(Ingl, Port)_Aamb (Ingl, Port)_Bamb)
(Ingl, Port)nyt-publ (Ingl, Port)nyt-jn)
(Ingl, Port)guar-publ (Ingl, Port)guar-jn)
(Ingl, Port)reut-publ (Ingl, Port)reut-jn)
(Ingl, Port)sport-desp (Ingl, Port)countr-país)
(Ingl, Port)_Anamb (Ingl, Port)_Bunamb)

É importante sublinhar que o dicionário final, mesmo se só contém 58% das entradas geradas por transitividade, o seu tamanho não fica muito longe do tamanho do mais pequeno dos dicionários fonte, (Espanhol_OT, Português_OT), que contém 10.281 entradas.

Finalmente, a tabela 12 mostra um excerto de mais de 50 entradas do dicionário limpo. A terceira coluna representa a categoria morfossintáctica de cada par: NOUN (nome), VERB (verbo) e ADJ (adjectivo).

Tabela 12 Breve excerto do dicionário limpo final 

Inglês Português Categoria
stroke acariciar VERB
stroll passeio NOUN
stroll passear VERB
strong forte ADJ
structural estrutural ADJ
structure estrutura NOUN
struggle contenda NOUN
struggle luta NOUN
struggle brigar VERB
struggle lutar VERB
student estudante NOUN
student aluno NOUN
studio estúdio NOUN
study estúdio NOUN
study estudo NOUN
study estudar VERB
study thoroughly afundar VERB
stuff rechear VERB
stupid idiota ADJ
stupid estúpido ADJ
stupidity estupidez NOUN
stupidity burrice NOUN
style estilo NOUN
sub-Saharan subsaariano ADJ
subhead subtítulo NOUN
subject sujeito ADJ
subject assunto NOUN
subject matéria NOUN
subject sujeito NOUN
subject tema NOUN
subject submeter VERB
sublime sublime ADJ
submerge afundar VERB
submerge submergir VERB
submission entrega NOUN
submit submeter VERB
submit apresentar VERB
submit entregar VERB
subpoena citar VERB
subscription assinatura NOUN
subsequent posterior ADJ
subsidy subsídio NOUN
substantial substancial ADJ
substantial importante ADJ
substantial considerável ADJ
substantive fundamental ADJ
substitute substituir VERB
subtitle subtítulo NOUN
subtle subtil ADJ
subtlety subtileza NOUN
subtlety sutileza NOUN
substract restar VERB
subway metro NOUN
success sucesso NOUN
successive sucessivo ADJ
successor sucessor NOUN
sudden brusco ADJ
sudden súbito ADJ
sudden repentino ADJ

6. Conclusões e Trabalho Futuro

O método lexicográfico proposto neste artigo é totalmente automático. O novo léxico gerado não precisa de nenhum tipo de revisão manual pois a qualidade dos pares validados é muito alta, semelhante à atingida por lexicógrafos humanos. A principal contribuição do método é a utilização, para a validação das correspondências derivadas por transitividade, de equivalentes de tradução extraídos de corpora comparáveis anotados sintaticamente. O caso de estudo apresentado mostrou que para alargar a cobertura do dicionário, sem perder precisão, só é preciso ir à procura de mais fontes de informação que nos forneçam mais textos comparáveis.

O principal problema do método é o facto de ser dependente da língua, pois requer de um parser sintático para anotar o corpus. No entanto, por forma a tratar o maior número de línguas possível, utilizamos um analisador multilíngue robusto, DepPattern, facilmente adaptável a mais línguas.

Em trabalho futuro, elaboraremos um sistema de atualização automática dos dicionários do sistema de tradução Opentrad, que permita converter e adaptar os léxicos gerados com o nosso método para o formato requerido por Opentrad.

Referências bibliográficas

AHN, Kisuh & Matthew Frampton. 2006. Automatic generation of translation dictionaries using intermediary languages. In Cross-Language Knwoledge Induction Workshop of the EACL'06, p. 41-44, Trento, Italy. [ Links ]

ARMENTANO-OLLER, Carme; Rafael C. Carrasco; Antonio M. Corbí-Bellot; Mikel L. Forcada; Mireia Ginestí-Rosell; Sergio Ortiz-Rojas; Juan Antonio Pérez-Ortiz; Gema Ramírez-Sánchez; Felipe Sánchez-Martínez & Miriam A. Scalco. 2006. Open-source Portuguese-Spanish machine translation. In Lecture Notes in Computer Science, 3960, p. 50-59. [ Links ]

CARRERAS, X.; I. Chao; L. Padró & M. Padró. 2004. An Open-Source Suite of Language Analyzers. In 4th International Conference on Language Resources and Evaluation (LREC'04), Lisbon, Portugal. [ Links ]

CHIAO, Y-C. & P. Zweigenbaum. 2002. Looking for candidate translational equivalents in specialized, comparable corpora. In 19th COLING'02. [ Links ]

CURRAN, James R. & Marc Moens. 2002. Improvements in Automatic Thesaurus Extraction. In ACL Workshop on Unsupervised Lexical Acquisition, p. 59-66, Philadelphia. [ Links ]

FUNG, Pascale & Kathleen McKeown. 1997. Finding terminology translation from non-parallel corpora. In 5th Annual Workshop on Very Large Corpora, p. 192-202, Hong Kong. [ Links ]

FUNG, Pascale & Lo Yuen Yee. 1998. An IR Approach for Translating New Words from Nonparallel, Comparable Texts. In Coling'98, p. 414-420, Montreal, Canada. [ Links ]

GAMALLO P. 2007. Learning Bilingual Lexicons from Comparable English and Spanish Corpora. In Proceedings of Machine Translation Summit XI , Copenhagen, Denmark, pp. 191-198. [ Links ]

______. 2008. Evaluating two different methods for the task of extracting bilingual lexicons from comparable corpora, In LREC 2008 Workshop on Comparable Corpora, Marrakech, Marroco, pp. 19-26. [ Links ]

______. 2010. Automatic Generation of Bilingual Dictionaries Using Intermediary Languages and Comparable Corpora, Lecture Notes in Computer Science, vol. 6008, Springer-Verlag, 473-483. [ Links ]

KAJI, Hiroyuki; Shin'ichi Tamamura, & Dashtseren Erdenebat. 2008. Automatic construction of a japanese-chinese dictionary via english. In LREC'08, Marrakesh, Marocco. [ Links ]

NERIMA, Luka & Eric Wehrli. 2008. Generating bilingual dictionaries by transitivity. In LREC'08, p. 2584-2587, Marrakesh, Marocco. [ Links ]

KYONGHEE Paik; Satoshi Shirai & Hiromi Nakaiwa. 2004. Automatic construction of a transfer dictionary considering directionality. In 20th International Conference on Computational Linguistics, p. 31-38, Geneva, Switzerland. [ Links ]

RAPP, Reinhard. 1999. Automatic Identification of Word Translations from Unrelated English and German Corpora. In ACL'99, p. 519-526. [ Links ]

SAMMER, M. & S. Soderland. 2007. Building a sense-distinguished multilingual lexicon from monolingual corpora and bilingual lexicons. In Machine Translation Summit XI. [ Links ]

SARALEGUI, X.; I. San Vicente & A. Gurrutxaga. 2008. Automatic generation of bilingual lexicons from comparable corpora in a popular science domain. In LREC 2008 Workshop on Building and Using Comparable Corpora. [ Links ]

SHAO, Li & Hwee Tou Ng. 2004. Mining New Word Translations from Comparable Corpora. In 20th International Conference on Computational Linguistics (COLING 2004), p. 618-624, Geneva, Switzerland. [ Links ]

SIMÕES, Alberto & Xabier Guinovart. 2010. Translation Dictionaries by Triangulation. Fala 2010 II Iberian SLTech Workshop, p. 171-174. [ Links ]

WEHRLI, Eric; Luka Nerima & Yves Scherrer. 2009. Deep linguistic multilingual translation and bilingual dictionaries. In 4th Workshop on Statistical Machine Translation, p. 90-94, Athens, Greece. [ Links ]

ZHANG, Yujie; Quing Ma & Hitoshi Isahara. 2007. Building japanesechinese translation dictionary based on EDR japanese-english bilingual dictionary. In Machine Translation Summit XI, p. 699-706. [ Links ]

Recebido: Novembro de 2011; Aceito: Outubro de 2013

Creative Commons License This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.