tornar mais transparentes os nomes de arquivos de entrada e saída

[leoalenc]

Em TenFoldCrossVal.sh e RunTenFoldCrossVal.sh:

• results-i.txt --> raw-text-results-i.txt
• gold-tok-tags-i.txt --> gold-tok-tags-results-i.txt
• results.txt --> gold-tok-tags-results.txt
• melhorar código de ParseGoldTokResults.py
• testar nova versão do script reproduzindo experimento referido em https://github.com/dominickmaia/hartt/commit/acf651d111c0f534f2a67b9bcf9727d69d32b47a
• adaptar código de ParseGoldTokResults.py ou criar novo código para calcular média e desvio padrão de outras métricas, inclusive aquelas calculadas para parsing com texto cru

[leoalenc]

@dominickmaia , veja como extrair os valores de todas as 10 execuções do teste de décupla validação cruzada para as várias métricas do parsing de texto cru:

~/complin/nheengatu/data/experiments/issue874/exp1$ ParseResults.py raw-text-results-*.txt
parsing_sum['UAS'][74.7, 76.95, 73.01, 74.77, 73.52, 70.54, 77.25, 74.31, 73.82, 75.74]
parsing_sum['LAS'][68.84, 71.63, 66.79, 68.64, 68.66, 64.19, 71.37, 68.78, 68.17, 70.23]
{'Tokenizer tokens': {'f1': 94.643}, 'Tokenizer tokens std': {'f1_std': 0.8310776137040363}, 'Tokenizer multiword tokens': {'f1': 85.437}, 'Tokenizer multiword tokens std': {'f1_std': 5.346899516957882}, 'Tokenizer words': {'f1': 94.415}, 'Tokenizer words std': {'f1_std': 0.8003228515209758}, 'Tokenizer sentences': {'f1': 59.348}, 'Tokenizer sentences std': {'f1_std': 6.151351793621374}, 'Tagging': {'upostag': 90.01200000000001, 'xpostag': 89.182, 'feats': 86.76899999999999, 'lemmas': 91.474}, 'Parsing': {'UAS': 74.46099999999998, 'LAS': 68.72999999999999}}

tagging_std: {'upostag': 0.8413322768086311, 'xpostag': 0.8724906876293839, 'feats': 1.032746607622389, 'lemmas': 0.9823690186935305}

parsing_std: {'UAS': 1.9596170260764942, 'LAS': 2.169126808444152}

~/complin/nheengatu/data/experiments/issue874/exp2$ ParseResults.py raw-text-results-*.txt
parsing_sum['UAS'][74.36, 76.23, 75.05, 73.62, 74.1, 73.98, 75.76, 73.71, 75.71, 75.44]
parsing_sum['LAS'][68.5, 70.44, 70.15, 69.08, 69.41, 69.09, 70.6, 68.12, 70.79, 69.45]
{'Tokenizer tokens': {'f1': 94.243}, 'Tokenizer tokens std': {'f1_std': 0.7157133193923091}, 'Tokenizer multiword tokens': {'f1': 87.695}, 'Tokenizer multiword tokens std': {'f1_std': 3.2716602988560894}, 'Tokenizer words': {'f1': 94.085}, 'Tokenizer words std': {'f1_std': 0.6870589494359274}, 'Tokenizer sentences': {'f1': 62.54600000000001}, 'Tokenizer sentences std': {'f1_std': 4.017166497254832}, 'Tagging': {'upostag': 89.51700000000001, 'xpostag': 88.73, 'feats': 85.97099999999999, 'lemmas': 90.886}, 'Parsing': {'UAS': 74.796, 'LAS': 69.56300000000002}}

tagging_std: {'upostag': 0.8678459924817685, 'xpostag': 0.9138806146197526, 'feats': 1.0407523987748255, 'lemmas': 1.0117992774151312}

parsing_std: {'UAS': 0.9546983234974753, 'LAS': 0.9067653132610072}

[leoalenc]

@dominickmaia, veja que, no caso de texto cru, a probabilidade de superioridade de exp2 sobre exp1 cai para cerca de 64%. Além disso, o teste de Mann–Whitney resulta em p ≈ 0,31, o que indica que a diferença observada entre as duas listas de valores não é estatisticamente significativa e é compatível com variação aleatória entre os folds.

>>> from scipy.stats import mannwhitneyu
>>> exp1=[68.84, 71.63, 66.79, 68.64, 68.66, 64.19, 71.37, 68.78, 68.17, 70.23]
>>> exp2=[68.5, 70.44, 70.15, 69.08, 69.41, 69.09, 70.6, 68.12, 70.79, 69.45]
>>> mannwhitneyu(exp1,exp2,alternative="two-sided")
MannwhitneyuResult(statistic=36.0, pvalue=0.3074894566186813)

Cálculo da média e desvio padrão:

>>> import numpy as np
>>> np.std(exp1, ddof=1)
2.169126808444152
>>> np.mean(exp1)
68.72999999999999
>>> np.std(exp2, ddof=1)
0.9067653132610072
>>> np.mean(exp2)
69.56300000000002