Замахнулся на «святое»?!

Дорогие пользователи!

Год назад приобрел DVD-диски известнейших баз партий, и уже потирал руки от предвкушения пользования ими для успешной заочной игры. Своя супербаза, собираемая и пестуемая около 10 лет, у меня была (7,3 миллиона партий), однако, скомпилированная из десятков источников, а с именами в ней был такой хаос, что имя того же Корчного в ней писалось четырьмя вариантами.

Но…

Начали появляться вопросы, на которые рождались ответы, неудобные для производителя. Может, эти мои заметки и вызовут неудовольствие фирмы-производителя продуктов «Chessbase», если, конечно, попадутся им в переведенном виде. Однако – «Сократ мне друг, но истина дороже». Что же меня не устроило?

Ответ – не очевидный, но самая главная претензия одна: ОБОИМИ этими базами НЕЛЬЗЯ всерьез пользоваться для подготовки к серьезным турнирам. Чтоб изучить творчество конкретного соперника – это почти пожалуйста (термин «почти» расшифрую ниже), а вот сгенерировать с помощью этих баз две дебютные книги, оценкам которых можно доверять (а такие суперкниги дебютов уже висят на торрент-трекерах!) – я бы категорически не рекомендовал. Причина – в обоих базах полным-полно (по моим оценочным прикидкам – не менее 30-35%) партий крайне слабых любителей, с рейтингом от 400 до 1600 единиц, взятых составителями базы с какого-либо школьного первенства Индонезии, либо, условно говоря, девичьего чемпионата категории до 10 лет не особо шахматного Марокко. Что может нам продемонстрировать это, с позволения сказать, творчество юных и не очень любителей? Ну уж если и не зевки фигур в дебюте, хотя и такое возможно, но в любом случае – не напряженный, мягко скажем, полет дебютной мысли. ТАКИЕ ПАРТИИ ДЛЯ ПОСТРОЕНИЯ ДЕБЮТНОЙ КНИГИ НЕ НУЖНЫ, ПОТОМУ КАК ОНИ ВСЕРЬЕЗ СМАЖУТ СТАТИСТИКУ ЛЮБОГО ВАРИАНТА – И ТАКОЙ КНИГОЙ БУДЕТ ПОЛЬЗОВАТЬСЯ ПРОСТО ОПАСНО!

Расшифрую, как обещал, смысл и вышесказанного «почти пожалуйста». Я столкнулся с безобразным фактом – фамилии шахматистов в обоих базах, как и в моей личной самопальной базе, пишутся по-разному! От 2-х – до 5-ти вариантов написаний! И если вы наберете в поисковике, к примеру, «Rich…», вы рискуете никогда не увидеть имя того же игрока в транслитерации «Rych…». Кроме того, и это особенно неприятно для тех, кто платит за эти продукты приличные деньги, в базах полным-полно дублей! Нет, не партий, но – имен! Вот, неверующие могут любоваться или проверить сами:

Понятно, что это – не три разных человека, а один, поданный под тремя «соусами» написания в базе троекратно.

 Очевидно, что составители баз допустили в этом плане небрежности, могли бы нанять десяток студентов, раскидав между ними буквы латиницы, и под руководством опытного шахматного куратора исправить эти дефекты.

Кроме того, в базе очных партий полным-полно (что-то около 20 тысяч) игр с …нулевым количеством ходов, где в швейцарках играл «Bye», их, конечно, тоже не мешало бы с базы вовремя убрать.

Также не понравилось то, что для того, чтобы познакомиться в полном объеме с творчеством конкретного шахматиста, надо рыскать по обоим этим базам. Ведь десятки тысяч шахматистов, в том числе ну очень известных, баловались не просто игрой по переписке, но и до сих пор играют заочно на сервере ИКЧФ. Пример, который напрашивается – Вячеслав Рагозин, хотя есть не столь громкие имена….

 Но… Что есть – то есть, однако в результате приходит на ум единственное решение – объединить обе этих супербазы вместе и самостоятельно эти шероховатости устранить. С тем, чтобы потом, «на выходе», получить как ДОСТОВЕРНУЮ дебютную книгу, так и навести вручную (вместо так и не нанятых фирмой-производителем студентов) порядок с именами.

Слил обе базы в одну, на выходе, как и предполагал, получил ожидаемый результат, можно любоваться:

Понятно, что тот же Рагозин сыграл 711 партий за доской и 37 – по переписке. Однако в ряде случаев, что было уже приятно, имена, не отличавшиеся по транслитерации в обоих базах, в единой - слились в одну.  

Но для формирования полноценной единой супербазы, а на ее основе – единой дебютной суперкниги - которые, как представляется, не будут иметь аналогов, я  предпринял следующие шаги 

А. Удалены результаты с «шахматистом» «Bye».

Б. Удалены все партии, завершившиеся вничью до 7-го хода, Такие гроссмейстерские ничьи, может, и исказят на выходе статистику тех или иных шахматистов, однако дебютная книга будет информативнее и достовернее.

В. Удалены все партии шахматистов с рейтингом ниже 2100 единиц, и здесь пришлось попотеть, так как приходилось учитывать тот факт, что система ЭЛО введена сравнительно недавно, так что ни Петросян, ни Таль, творившие в 70-е годы и не имевшие рейтинга, не «пострадали». При этом, путем визуального просмотра вручную (!) оставлены все партии безрейтинговых шахматистов, ИГРАВШИХ по переписке или под никами на серверах, ведь отсутствие в подобных случаях рейтинга вовсе не означает, что игрок играет слабо, или что под ником не скрывается мастер или гросс. Здесь, согласитесь, лучше все же недобдеть, чем перебдеть - и отсечь десятки тысяч вполне приличных для дебютной теории партий.

Г. Отдельный вопрос – компьютерное творчество. При решении этого вопроса я исходил из той логичной аксиомы, что ЛЮБОЙ движок, за небольшими исключениями, играет практически уж никак не менее силы обозначенного мною рейтинга  2100 – и поэтому компьютерные партии в мою единую базу будут мною включены, все они пока идет работа, болтаются в моей имеющейся старой мегабазе. Причем могу обрадовать, что ВСЕ блиц-партии движков мною ИСКЛЮЧЕНЫ, оставлены лишь те, что шли с контролем от 30 минут на партию и выше. Таковых – порядка 1,8 миллионов (а вообще на сайтах, с учетом 1- и 3-минуток, «оптом» можно накачать около 5-ти миллионов).

Д. Партии вслепую (тот же Амбер-турнир) и блиц-партии «белковых» шахматистов в единой базе оставлены. Понятно, что в миттельшпиле в подобных случаях ведущие шахматисты могут не блистать, но уж дебют, в любом случае, поставят солидно и в полную силу.

…Исходя из желания иметь ЕДИНУЮ мегабазу, свободную от «косяков», я и приступил, как тот студент, к работе. Уже «почищены» буквы с «А» по «П», по моим прикидкам, «ползти» мне еще несколько месяцев, так как на сегодня в объединенной мною базе – около 300000 имен, из которых, исходя из того, как я часто щелкаю по клавиатуре, клонов по именам – не менее 50-70 тысяч. Рабочий процесс несколько замедляется тем, что в процессе «чистки» я «раскидываю» сколько-нибудь значимые имена по личным именным базам сыгранных ими партий, по двум папкам – «завершили карьеру» и «продолжают играть». Более конкретного и умного определения папок мне подобрать не удалось, так как перестать играть можно в силу разных причин, увы, хотя бы той же смерти.

Можно посмотреть, например, что уже получилось с буквой «А»:

ЗАВЕРШИЛИ КАРЬЕРУ

ПРОДОЛЖАЮТ КАРЬЕРУ

В этих папках - базы упомянутых шахматистов в формате CBH, в том числе в разделе «завершили карьеру» - дебютные книги таких шахматистов (до 25-го хода). Кто-то ушел из них в мир иной сотни лет назад, кто-то – недавно, и пусть эти книги будут им своеобразным памятником… Ну а кто-то просто действительно просто перестал играть в шахматы, но, слава Богу, жив. Тем, кто еще играет,  книги, конечно, «рисовать» не нужно, их базы партий мною просто ежегодно будут пополняться!

«На выходе» ожидаю объединенную супербазу размером примерно те те же 7 миллионов партий, но с учетом игр 2014 года, как компьютерных движков с нормальным контролем, так и белковых шахматистов с рейтингом не ниже 2100. И это действительно будет Union Megabase.

Не знаю, есть ли у меня в этом плане предшественники, и выполнил ли уже кто-либо ранее, до меня, столь необходимую и кропотливую работу. Навряд ли. Но если кому понадобится эта ЕДИНАЯ СУПЕРБАЗА, обращайтесь, как будет готова – вывешу на Яндекс-Диск , пишите: 

oipdet@rambler.ru

The Union Megabase will be completed soon!

Dear users!

A year ago I bought a DVD-discs well-known database of chess games, and I was going to use them for a successful correspondence games. I had my database, which I collected about 10 years (7.3 million games), however, the database is compiled from a variety of sources, it contained chaos with the spelling of names, name of Viktor Korchnoi, for example, it was written in four variants.

But…

I have some questions, and the answers were inconvenient for the producer. What does not suit me? The biggest complaint is the same: BOTH of these databases CAN’T seriously use to prepare for a major tournament. To study the creation of a particular opponent - it's almost please (the term "almost" decipher below), but generated using these bases, two opening books, which are estimated to be trusted (and such superbook debuts already on torrent trackers!) - I would categorically not recommended. The reason for this - both database is full (by my count - at least 30-35%) parties novice chess players with a rating of 400 to 1600, taken by the compilers base with any school championship Indonesia, or, let's say, a girl's Championship category up to 10 years of African Morocco. What can demonstrate this, I may say, the work of young and not so fans? Well if not views of figures in the opening, although this is possible, but anyway - simple the thought of opening. FOR CONSTRUCTING DEBUT BOOKS THESE GAMES  ARE NOT NECESSARY BECAUSE THEY SPOIL THE STATISTICS OF ANY VARIANT – AND USE THE BOOK WILL JUST DANGEROUS!

I transcribe as promised the meaning of the above "almost please." I faced with a bad fact - the names of chess players in both databases, as well as in my personal home-made database, are written in different ways! There are from two to five spellings! And if you type in a search engine, for example, «Rich ...», you risk never see the name of the same player in transliteration «Rych ...». In addition, and this is especially frustrating for those who pay for these products good money, databases are  full of duplicates! No, not the games, but names! Here, unbelievers can see or check for yourself:

Clearly, this is not three different people but one that is saved in base three times and three spellings. It is obvious that compilers of database made negligence, they could hire a dozen students and gave them the letters of the Latin alphabet, and under the guidance of an experienced chess curator they could correct these defects.

In addition, the database is full of face to face games (about 20 thousand)  ... zero number of moves, where tournaments held on the swiss system, played the famous «Bye». Its, of course, also need to remove the base in time.

Also I did not like the fact that to get to know the works of a particular chess player I need to search in both bases. In fact there are tens of thousands of players, including the very well-known, which is not just indulged the game by correspondence, but still played by correspondence on ICCF server and other less well-known servers. For example Viacheslav Ragozin, although there is not so big names ....

But ... as a result it comes to my mind as the only solution - to combine both of these superbases together and independently to eliminate these disadvantages. To the end of this technical work, I get reliable debut book and bring order to the names.

I combined the two database into the one and get the expected results, you can see:

It is clear that this Ragozin played 711 games over the board and 37 - by correspondence. However, in some cases, the names which do not differ in transliteration in both databases, merged into one in a single database.

But to form a full-fledged single super base, and on its basis - the debut single super book - which seems to have no parallel, I have taken the following steps:

A.              I deleted the results with the «chess» «Bye».

B.             I deleted all the games, which ended a dead heat until the seventh move. These  games maybe distort the output statistics of certain players, but opening book will be informative and reliable.

C.             I deleted all the players  games with rated below 2100 units, and I'm haveto work hard, because I had to take into account the fact that the ELO system was introduced relatively recently, so no Tigran Petrosian nor Michael Tal happening in the 70s of last century, and did not have a rating, were not injured. At the same time, by visually browsing manually (!) I did not remove all the games unrated players who play by correspondence or by nicknames on servers. Because in such cases the absence of a rating does not mean that a player plays bad, or that master or grandmaster not hiding by the nickname.

D.             Computer creativity is a separate question . In addressing this question, I start from the logical axioms that ANY engine, with a few exceptions, plays almost certainly not less power rating indicated by me 2100 - and therefore computer games in my single database will be included me. While I was working on, they are all available in my old mega base. And I was glad that I exclude all blitz games engines and I left only the ones that came with control of 30 minutes per game and above. There is about 1.8 million this games (as at all sites, taking into account the 1- and 3-minutes and, in bulk, you can download about 5 million).

E.              I left the blindly game (like Amber tournament) and blitz games "protein" players in a single database. Clearly, in such cases, in the middlegame leading chess players can not shine, but they will play solid and in full force debut anyway.

... Based on the desire to have a single Megabase free from all defects, I started as the student,  to work. Already cleaned letters from «A» to «P». By my estimation, I'll work a few more months, as of today in the database, which I combined - about 300,000 names, of which, based on how often I clicks on the keyboard, clones by the names - at least 50-70 thousand. The working process is slowed by the fact that during the cleaning process, I allot any meaningful names players on personal names bases played their parties on the two folders - "they finished their career" and " they continue their careers." More specific definitions and smart folders, I can not find, as you can stop playing for various reasons, alas, even for the death.

These folders have mentioned chess database format CBH, including in the "completed a career" - opening books of players (up to the 25th move).  Someone of them died hundreds of years ago, someone - recently, and these books will be peculiar monument ... Well, someone just stopped playing chess, but thank God is alive. Those who are still play, books, of course, not necessary to generate. I'll just fill up their base of the games every year!  The result of this long work will besuper base combined size of about 7 million games. And it really will be the Union Megabase, with the addition of games  2014 and games computer engines.

I don’t know if I have predecessors in this business and someone has already done this previously much-needed and hard work ...  I think not. I will upload it in the March-April 2015 on Yandex-Disk for public download. If someone needs a Union Megabase - let me know in advance on my address

oipdet@rambler.ru

Genna Primorsky