php class Stemer var vowel аеиоуыэюя var perfectiveground ив ивши ивши

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
<?php
class Stemer
{
var $vowel = '/аеиоуыэюя/';
var $perfectiveground = '/((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$/';
var $reflexive = '/(с[яь])$/';
var $adjective = '/(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|ему|ому|их|ых|ую|юю|ая|яя|ою|ею)$/';
var $participle = '/((ивш|ывш|ующ)|((?<=[ая])(ем|нн|вш|ющ|щ)))$/';
var $verb = '/((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ен|ило|ыло|ено|ят|ует|уют|ит|ыт|ены|ить|ыть|ишь|ую|ю)|((?<=[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$/';
var $noun = '/(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|иям|ям|ием|ем|ам|ом|о|у|ах|иях|ях|ы|ь|ию|ью|ю|ия|ья|я)$/';
var $rvre = '/^(.*?[аеиоуыэюя])(.*)$/';
var $derivational = '/[^аеиоуыэюя][аеиоуыэюя]+[^аеиоуыэюя]+[аеиоуыэюя].*(?<=о)сть?$/';
function s(&$s, $re, $to)
{
$orig = $s;
$s = preg_replace($re, $to, $s);
return $orig !== $s;
}
function m($s, $re)
{
return preg_match($re, $s);
}
function stemWord($word)
{
$word = strtolower($word);
$word = strtr($word, 'ё', 'е');
$stem = $word;
do {
if (!preg_match($this->rvre, $word, $p)) break;
$start = $p[1];
$rv = $p[2];
if (!$rv) break;
# step 1
if (!$this->s($rv, $this->perfectiveground, '')) {
$this->s($rv, $this->reflexive, '');
if ($this->s($rv, $this->adjective, '')) {
$this->s($rv, $this->participle, '');
} else {
if (!$this->s($rv, $this->verb, ''))
$this->s($rv, $this->noun, '');
}
}
# step 2
$this->s($rv, '/и$/', '');
# step 3
if ($this->m($rv, $this->derivational))
$this->s($rv, '/ость?$/', '');
# step 4
if (!$this->s($rv, '/ь$/', '')) {
$this->s($rv, '/ейше?/', '');
$this->s($rv, '/нн$/', 'н');
}
$stem = $start.$rv;
} while(false);
return $stem;
}
function splitPhrase( $phrase ) {
$phrase = preg_replace("{[^a-zA-Z0-9абвгдеёжзийклмнопрстуфхцчшщьыъэюяАБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЬЫЪЭЮЯ_]}"," ",$phrase);
$phrase = preg_replace("{\s+}"," ",$phrase);
$words = preg_split("{\s+}",$phrase);
foreach( $words as $key => $word ) {
$words[$key] = $this->stemWord($word);
}
return $words;
}
/*function getFullTextQuery( $text, $mode = "" ) {
$words = $this->splitPhrase($text);
$q = "";
foreach( $words as $_ => $word ) {
$q .= $mode.$word."* ";
}
return $q;
}*/
}
?>