Kolmogorov complexity in the USSR (1975--1982): isolation and its end
KKolmogorov complexity in the USSR (1975–1982):isolation and its end ∗ V.V.V’yugin † Abstract
These reminiscences are about the “dark ages” of algorithmic information theory inthe USSR. After a great interest in this topic in 1960s and the beginning of 1970s thenumber of people working in this area in the USSR decreased significantly. At that timeL.A. Levin published a bunch of papers that were seminal for the modern algorithmicinformation theory. Then he left the USSR, and the new wave of interest was triggered bythe talk of A.N. Kolmogorov at a Moscow State (Lomonosov) University MathematicalDepartment (Logic and Algorithms Division) seminar organized by him; several youngerresearchers obtained some new results in algorithmic information theory.
I met Leonid Levin during the academic year 1971/2. At that time I was a first-year graduatestudent and lived (as well as many of them) in a dormitory called “The Graduate Studentsand Interns House” (Dom aspiranta i stazhera). This was a large dormitory; each room wasoccupied by four or five persons The inhabitants were a mixture of graduate students from allthe departments of the Moscow State University, interns, visitors and many other strangers.Leonid (Lenya) Levin graduated from the Moscow State University mathematics department(“mekh-mat”) a year before myself, in 1970. He was not accepted to the graduate school despitethe support of Andrei Kolmogorov and despite of his obvious talents and achievements (e.g., healready published a survey [8] about Kolmogorov complexity, with many new results, togetherwith Alexander Zvonkin). This was impossible due to the veto of the Russian secret service,KGB, and the communist party commitee (because of political reasons; moreover, as if itwere not enough, Levin was of Jewish origin). He managed to get some temporary positionsdue to the help of Kolmogorov (if I remember correctly, Kolmogorov managed to obtain anintern position in his laboratory for Levin) and others (e.g., the vice-director of the Instituteof Information Transmission Problems, Iosif Abramovich Ovseevich, secured later a temporaryposition in the Institute for Levin). From time to time one could see Lenya waiting in the queueof visitors to the dormitory manager when he tried to extend his official stay in the dormitory.On the other hand, one could illegally live there with some friends (if one has enough of them).Lenya was acquainted, it seems, with all the graduate students of the math department(and some students from other departments) who lived in this dormitory, including myself.Everybody knew him, and we all called him Lenya. His had extremely wide interests at thetime. It was difficult to find some topic in science (and not only in science) that was ofno interest to him, and he had a strong opinion on most topics. He discussed virtually allmathematical results obtained at the time. ∗ Translated from Russian by Alexander Shen. † Institute of information transmission problems, Russian Academy of Sciences. a r X i v : . [ c s . G L ] J u l oreover, often people from different applied fields came to Lenya and discussed their work.This (volunteer) consulting sometimes provided solutions for their problems.At that time we never discussed Kolmogorov complexity. But I remember that Lenya toldme about his (strong) results connected with step-counting functions, Rabin’s compressiontheorem and Blum’s speedup theorem. These were a hot topic at the time. These results werepublished together with the Russian translation of one of Blum’s papers [16]. He told me aboutthese results.The topic of my graduate work (1971–1974) was the semilattice of computable numbering ofrecursively enumerable sets. (Now these sets are called ‘computably enumerable’.) The notionof a computable numbering was introduced by Kolmogorov, and his student of 50s, VladimirUspensky, was my thesis advisor. In 1970s this topic was intensively developed in NovosibirskInstitute of Mathematics. People there were interested in my work; it became a topic of severalexpository talks at their “Algebra and logic” seminar.I did not learn about Kolmogorov complexity and algorithmic randomness before 1975.However, I remember being (in 1970 or 1971) in a rather crowded room; it was a seminarorganized by Kolmogorov, and more than 30 people were there (except for Kolmogorov, Iremember also Levin, Max Kanovich and Nikolai Petri). Probably this was a predecessor ofthe Kolmogorov complexity seminar organized by him later in the beginning of 1980s.I remember Kolmogorov’s attitude at the time: he considered Levin as a colleague ratherthan a student or a young researcher. I remember an occasion when Kolmogorov and Levindiscussed some problem that Levin was working on; this problem was just solved by somebodyelse. Kolmogorov said to Levin something like “we are mature enough mathematicians not tobe disappointed when somebody else was the first to solve the problem”.One more reminiscence: during the seminar Kolmogorov asked Levin whether he could givea talk about something. Levin answered (in his style) that yes, he is able to give a talk on anytopic at any time and in any place.My contacts with Levin continued in 1975. At that year I finished my thesis, defendedit and was sent for obligatory work to Bashkir State University in Ufa (a center of Bashkiriaregion in the USSR; after graduation, Soviet students have to work for three years at the placechosen by the authorities, only later they were allowed to change the job). There were goodmathematicians in Ufa, but they were mostly interested in mathematical analysis or differentialequations, and I had no chances for scientific collaboration there.I visited Moscow quite often, and once met with Levin at the Moscow State University.He invited me to the apartment he rented in Moscow. It was near the subway station called“Kakhovskaya”, near the street called “Chernomorsky bulvar” (boulevard).At that time he got some better position in some applied research institute where he hasenough free time to work on his own topics. He had some Soviet-reasonable salary and wasable to rent an apartment in Moscow. At the same time his life was quite stressful. He had(and not without a reason!) a permanent feeling that at any moment the Soviet secret servicescould interfere and force him to be fired and sent out of Moscow.Lenya liked visitors and was quite happy if they stayed with him for a while. I think thatmany people (of approximately the same age as him) remember the apartment he rented, hishospitality, nice and joyful people and interesting talks (often oppositional to the authorities,as it was then taken among the intelligentsia). Often foreign visitors joined the company.I remember a funny philosophical discussion of freedom and non-freedom in the USSR. TheAmerican guest, a woman named Judy, who visited the USSR several times and liked thejoyful companies and discussions, noted that freedom is an internal feeling. Lenya replied witha (metaphorical?) story. Peter Gacs (his Hungarian friend and colleague since 1970s, nowthey work both in Boston University) comes to Moscow with very tasty hungarian sausage roll.Each day he cuts and eats a small piece of the roll. When the sausage is over, he goes back to2ungary (that was considered at the time as a bit more developed country than USSR).During the summer of 1975 I came to Moscow for a long time, and during July we madelong walks with Lenya. While walking in the Bitsa park (a rather large park that was onthe boundary of Moscow at that time), we discussed almost everything: politics, philosophy,mathematics, universal prediction and universal semimeasure, the notion of information contentfor infinite sequences. Sometimes Albert Abramovich Muchnik (of Muchnik – Friedberg fame)joined our discussions.Levin was a fast thinker and usually was ahead in the conversation and could convince otherparticipants. However, it was easy to speak with him. He never tried to enforce his opinionupon the others. He just provided rational arguments that usually convinced others withoutpressing them to accept Levin’s viewpoint. This made him a popular person and many peoplehad high regard for him. It seems that local party bosses and the KGB understood this andwere suspicious about possible influence of Levin. People like him had no place in the USSR.In 1975 Levin formulated a question that he considered as philosophically important. Aftersome simplification, this problem was stated as follows. Consider infinite binary sequencesmodulo Turing reductions, i.e., Turing degrees. One can say that two mutually reduciblesequences can be transformed one into another by a computable operators (oracle machines),and therefore “contain the same information” (up to the finite amount of information hiddenin the reductions). We consider Borel sets (properties) of infinite sequences that are invariantunder these reductions, i.e., unions of arbitrary families of Turing degrees. One of these invariantfamilies is formed by (Turing degrees) of Martin-L¨of random sequences. Levin showed earlierthat one can consider only sequences that are random with respect to the uniform Bernoullimeasure: every sequence that is Martin-L¨of random with respect to some computable measure,has the same degree as some sequence that is Martin-L¨of random with respect to the uniformmeasure [8]. The only exceptions are computable sequences. They are random with respectto computable measures where they are atoms (have positive measure), but are not Turing-equivalent to sequences that are Martin-L¨of random with respect to the uniform measure (thosesequences cannot be computable for obvious reasons). The computable sequences form anotherinvariant class. Now the question is whether they exist other non-trivial invariant classes.Of course, this question should be formulated more precisely to be interesting. Note thatthe union of an arbitrary family of Turing degrees is an invariant class (if measureble). Forexample, one may consider just one non-computable Turing degree, i.e., the set of all sequencesthat are Turing-equivalent to a given non-computable sequence. However, such a propertyis not “real” in a sense that no probabilistic process (algorithm with access to a fair coin)producing a finite or infinite binary sequences can produce a sequence with this property (froma fixed non-computable Turing degree) with positive probability. Indeed, the famous theoremof de Leuuw, Moore, Shannon and Shapiro [22] guarantees this. There are other invariantsets of sequences with the same property of being “non-real” (no probabilistic process cangenerate their elements with positive probability). Levin gave a description for classes withthis property. Namely, for each set with this property there is some sequence α such that everysequence from the set contains infinite amount of information about α . Moreover, for each α the set of sequences that contain infinite amount of information about α , has this property(see [15]). In this way we get invariant sets of sequences whose universal measure (maximallower semicomputable continuous semimeasure, called also a priori probability) is zero. Levin Levin gave some definitions of mutual information in two infinite sequences in this paper and subsequentones. The quantity of information I ( α : β ) should have an invariance property: it cannot be increased byrandom or deterministic (recursive) processing of α or β (see, e.g., [33]). He insisted that this notion is veryimportant and different approaches to its definition should be developed. The semicomputable universal (a priori) measure was introduced in [8]. The a priori measure of a Borelset of infinite sequences is equal to the probability that the corresponding probabilistic Turing machine willproduce a sequence from this set. negligible .We want to ignore negligible sets. Formally, consider the equivalence relation on invariantsets: two sets are equivalent if their symmetric difference is negligible. In this way we get astructure that was called the algebra of invariant properties . The operations in this algebraare restrictions of the usual set-theoretic operations to invariant sets. The minimal element isthe equivalence class of negligible sets. The maximal element is the class of all sequences.There are two naturally defined elements in this algebra: the class r generated by Martin-L¨ofrandom sequences, and the class c generated by computable sequences.Levin told me that the elements c and r are atoms of the algebra of invariant properties,i.e., cannot be represented as a union of two other non-zero elements from this algebra.Levin [8, definition 4.4] called “proper” (this term is used in the English translation ofthat article; Russian name was «правильная последовательность» ) or “complete” [32, 33] thesequences that are Martin-L¨of random with respect to some computable measure. Sequencesthat are Turing-equivalent to complete sequences are called regular (see [33]).Every regular sequence α is either computable or Turing-equivalent to some sequence β that is random with respect to uniform Bernoulli measure (see [8]). The prefixes of β havemonotone complexity equal to their length (up to a constant). Therefore one could say thatinformation contained in a regular sequence can be compressed maximally. The property ofbeing atoms (for c and r ) can be interpreted as follows: the only invariant information about aregular sequence is the amount of information in it that can be either finite ( c ) or infinite ( r ).The information in the elements of r , after being compressed optimally, is indistinguishablefrom random noise.Levin then asked me: is it true that there are no other elements (except for the elementsgenerated by computable and Martin-L¨of random sequences, and, of course, and ) in thisalgebra, i.e., c ∪ r = , or some other elements exist?When I returned to Ufa from Moscow (in the summer of 1975), I managed to construct acounterexample to the conjecture that no other elements exist, i.e., a probabilistic algorithmwhose output is with positive probability (that can be made close to 1 but not equal to 1)a noncomputable sequence that is not Turing-equivalent to any Martin-L¨of random sequence.Therefore, c ∪ r = and the algebra contains more elements (not only the four elementsmentioned), see [3].From a philosophical viewpoint one could say that there is a natural process that withpositive probability generates arrays of information that cannot be “explained” as being randomwith respect to some computable measure. One can even say that these non-regular sequencescannot be optimally compressed without infinite information loss. This can be considered as anapplication of computability theory to the foundations of probability theory (and foundationsof mathematics in general).As we already mentioned, Levin has proven that c and r are atoms in the algebra of invariantproperties (cannot be presented as non-trivial unions of smaller elements). Levin then asked:what about other atoms in this algebra? It is easy to see that there is at most countable setof atoms. Approximately in 1977–1978 I managed to construct indeed a countable family ofatoms, and an infinitely divisible element (that has no atoms as subsets). Therefore, we havethe disjoint union c ∪ r ∪ ∞ [ i =1 a i ∪ d = , where a i are atoms that do not contain computable sequences, and d is the rest that is theinfinitely divisible element. It seems that this result has no impact on further research, and itis a pity that the properties of these a i are still not studied.At that time Levin was developing a general theory of random objects. He wanted todefine uniform randomness deficiency (with respect to semimeasures, i.e., measures on the set4f finite and infinite sequences) in such a way that every infinite binary sequence would berandom with respect to the maximal semimeasure (now also sometimes called “the continuousa priori probability”). He also dreamed about a universal language that would allow us togive concise definition for mathematical objects and functions. The hope was that by using thislanguage one could make the hidden constants in the statements about Kolmogorov complexityreasonable. We discussed these questions again and again in 1975–1978.Levin also told me about the “brute force search problem” (¡¡problema perebora¿¿ in Rus-sian) that later become famous as P = NP question. He stated the problem in a short note [13]published in “Information Transmission Problems” journal; this note contained several exam-ples of NP-complete problems. It went almost unnoticed at that time, but later became ratherfamous. The history of the early attempts to approach this problem in the USSR is explained inan excellent survey by Boris Trakhtenbrot [36]. In the same paper Levin noted that there is analgorithm (sometimes called “L-search”) that is optimal in the sense that if there is an efficient(e.g., polynomial) algorithm for NP-complete problems, then Levin’s algorithm is almost asfast. (Of course, the catch is that nobody knows whether this algorithm is polynomial.) Theargument that Levin had in mind used some new version of Kolmogorov complexity that takesinto account not only the program size but also the (logarithm) of its computational time.However, the paper was rather short (as usual for Levin), and the result was stated not onlywithout proof, but also without the description of the search algorithm. That time Levin toldme about this algorithm and the corresponding complexity. Levin suggested that I should work on P = NP question: at that time the situation doesnot look as hopeless as now. Probably it was a good luck for me that my personal life hasdistracted me from concentrating on this problem.In 1978 Levin decided to emigrate to the US using the Israel invitation as a tool (as manypeople did: getting an invitation to repatriate to Israel was an unreliable but essentially theonly way to get out of the USSR). It is remarkable that Levin waited so long. This way out ofthe USSR was possible (at least for some people, mostly Jews) already for several years, andthe KGB people who summoned Levin gave advices to leave Moscow, e.g., to go to Armenia(that was at that time a part of the USSR). This could be a hint that Levin emigration wouldbe desirable for KGB and he would be allowed to leave.At that time Soviet border, like Styx, was essentially one-way. The emigrant should renouncethe Soviet citizenship (i.e., write a letter asking for that; during some periods, there was a quitesignificant fee for such a procedure). Of course, there were other problems, like language barrier.We both knew enough English to read a mathematical paper almost without a dictionary, butLevin’s knowledge of Russian language and culture was magnificent: for example, he knew alot about Alexander Blok, Russian poet (“Silver Age” of Russian culture, the beginning of XXcentury) and could read by heart his poems for hours.During our cooperation in 1975–1978 Lenya was quite isolated in a scientific sense; hecannot go to conferences and seminars abroad (the authorities definitely would not let him out,so he did not even try). His PhD thesis (under the supervision of Kolmogorov) was failed inNovosibirsk despite of the positive reports of all the reviewer and the advisor (Kolmogorov).(See more details in [25]. The translated version of this thesis was published in [31].)Once Levin was invited to a computer science conference (Mathematical Foundations ofComputer Science) in Czechslovakia; at that time it was a Soviet-controlled country (so au-thorities could not worry about a chance to escape) but nevertheless none of us could go thereofficially. (The invitation was sent to Levin by some member of the organizing committee. Hesuggested that I could try to go there, but my Ufa bosses told me that I have no chance — oneshould get 18 different kinds of permissions for that.) Still we sent a paper [32] there, though it Some results in this direction were later published in [33]. Later this algorithm was presented in [33], see also the survey [38].
Reports of the Academy of Sciences journal (“Doklady AN SSSR”), and quite a few Levin’s papers were published there. Levin wasalso able to publish papers in another reputable journal,
Information Transmission Problems ,published by the IITP (Institute for Information Transmission Problems).However, this was more a hobby than a regular activity in the framework of some academicor research institution. The problems of the algorithmic information theory were not discussedat the university, in particular, Levin could not be a student supervisor. The algorithmicinformation theory was “a marginal” science.It is not a coincidence that Levin published more during a difficult periods of his life. Hereare some papers that cover his main results in the algorithmic information theory: [14, 15, 17,18, 19, 20, 21].It seems I was the only collaborator of Levin from the USSR working with him on algorithmicinformation theory. But Peter Gacs that came several times from Hungary worked with Leonidand obtained significant results in the field.Looking back, I feel that I was lucky that Levin has so much time to discuss mathematics(and other topics) with me. Were he a prominent and recognized scientist in the USSR (at thelevel of his international recognition later), he would be rather busy and we would have muchshorter and much more formal meetings.Trying to follow Judy’s example and find some advantages of Soviet life, I could say thatthe management of our official jobs did not care much about what we are doing and oftenallowed us to do what we wanted not caring about the results, there was no pressure to getpapers published, to write grant applications and reports, etc. Having few career opportunities,we could be “mentally free people” and could work for a long time on some abstract (almostphilosophical) problems — or just relax and do nothing.In 1977 I got married and was allowed to come to Moscow. Looking for a job in Moscow wasa hard task. It was impossible to get a teaching position in some higher education institution:there were many qualified people who did not want to lose their right to live in Moscow by goingelsewhere. The only jobs available were the so-called “otraslevye instituty”, centers organizedby government to work on the problems of specific industry. I changed three jobs of this type.In the first and the second ones I was able to work only for a year, or, better to say, to be paid.The “work” there was completely disorganized, people did not do anything (and often knewnothing about the industry they were assumed to help), the management gave idiotic orders,etc. On the other hand, people with PhD, including myself, were given a good (according toSoviet standards) salary. At that time I tried to ignore the surrounding farce and finish mypaper about invariant properties.In 1978 Lenya and his wife Larissa got a permission to emigrate and went to Vienna bya train (from the “Belorusskaya” railroad station). Many people came to this station to saygoodbye to them. When leaving, Lenya told me that he believes that algorithmic informationtheory will get more attention in the USSR. He also wrote a reference and gave a specific advice:to show my paper about the algebra of invariant properties to Kolmogorov, and gave me hisphone number. 6eonid Levin (3rd from the left) and his wife Larissa (8th from the left) and their friends justbefore their departure from the USSR (also Eduard Dumanis (5) and his wife (4), VladimirV’yugin (5) and his wife Elena (7), Albert Muchnik (9))
When my paper was ready, approximately in 1979, I phoned Kolmogorov and said that LenyaLevin suggested that I show my paper on the algorithmic information theory to him (Kol-mogorov). Kolmogorov gave me his address (he lived in the building of the Moscow StateUniversity, near the department of mathematics) and told me when to come. When I arrived,he opened the door, asked who I am and took my paper. He asked me to call him again in twoweeks. When I did that, he started to apologize that he has no time to read the paper, andasked me to call again in two weeks. The same thing repeated for a long time, it took may be ayear and a half. Of course, sometimes I waited longer than two weeks, sometimes Kolmogorovwas ill for few months, etc.Levin was right predicting that interest in Kolmogorov complexity would revive. My the-sis advisor, Vladimir Uspensky, asked me (around 1980) to write a survey about Kolmogorovcomplexity and algorithmic randomness. I never tried to approach systematically the notionsof algorithmic information theory, but I remembered our discussions with Levin (while walk-ing), also his papers of 1973–1977 (mostly in
Soviet Math. Doklady ) were accessible. Also Istarted to read papers of Chaitin [26, 27, 28, 29] and others, starting with a seminal paper ofKolmogorov [9] (in
Information Transmission Problems ). Following the path of history, oneshould start with the definition of plain Kolmogorov complexity and the notion of randomnessdeficiency for a finite sequence in a finite set. (My opinion is that frequency definitions of ran-domness are now obsolete and are interesting only from the historical viewpoint.) All this canbe called Kolmogorov’s approach to the definition of a random finite object. Then one shouldgive a definition of randomness given by Martin-L¨of for infinite sequences, and show that a7ifficulty arises when we try to characterize randomness of the sequence in terms of the plaincomplexity of its prefixes (Martin-L¨of’s result saying that every sequence has prefixes wheredifference between length and complexity is large). The next step was the prefix and monotonecomplexities as invented by Levin, the theorem of Levin that characterizes randomness in termsof monotone or prefix complexity. Finally, one should introduce the notion of a Levin universalsemimeasure and the corresponding criterion of randomness.This was my plan; I had to reconstruct most of the proofs since they often were missing inoriginal Levin’s papers. It would be nice to have some general framework for different flavorsof Kolmogorov complexity, but I did not succeed in doing this. While writing the paper, I gotsome useful feedback from Sasha Shen (whom I met then for the first time). Later (in his PhDthesis) he managed to provide a general scheme for different versions of complexity in termsof computable continuous mappings (that characterization was translated to a more accessiblelanguage later by Uspensky and Shen).This survey was published in the series of volumes called
Semiotics and Informatics in1981 [4]. Li and Vitanyi [34, page 193] wrote that “another source for the Russian schoolis the survey by V.V. Vyugin,
Selecta Mathematica , formerly
Sovietica , :4 (1994), 357–389(translated from the Russian Semiotika and Informatika , (1981), 14–43).” For Russianreaders it was the second available survey paper after [8], and it included main Levin’s resultsabout randomness with proofs.The experienced people explained me how the Levin’s papers could be cited still keeping thepaper publisheable: references to his papers are more or less OK, assuming that name ‘Levin’never appears in the text of the paper, only in the list of references. (In particular, I couldn’texpress my gratitude to him in the text.)When I called Kolmogorov next time (about September 1980), he said that he has read mypaper and finds it interesting. However, he does not agree completely with the interpretationof the results. He said also that he would like to write a commentary and later entire paperthat explains his views, and it would be nice to publish these papers together in one volume ofsome journal. He said also that he has read my survey and likes it (and later he even made areference to it in his paper [12]).Kolmogorov invited me to his apartment and typed (while I was there) his commentary,using his electric typewriter. At that time he was more and more struggling with the Parkinsondisease and it was difficult for him to type, several letters were typed repeatedly. So I went tothe office of the Logic Division of the Mathematics Department of Moscow State University toretype the commentary. I still keep the copy of the Kolmogorov’s typescript.Kolmogorov never wrote an article he planned, and I submitted my article to the Informa-tion Transmission Problems journal . The editorial office told me that they never accept anycommentaries together with the paper. The paper was published in 1982 as [5].After our meeting Kolmogorov gave a talk at the seminar that was organized by him, AlexeiSemenov and Alexander Shen, called “Definition complexity and computational complexity”(Slozhnost’ opredelenii i slozhnost’ vychislenii). One could say that this was a continuation ofa seminar led by Kolmorogov and Levin many years earlier.In his talk Kolmogorov gave the definition of an ( α, β )-stochastic sequence. As peopleremember, Kolmgorov had the similar notions much earlier, even before 1974 (see [30]). I guessthat my phone calls reminded him of this notion and he suggested to study its properties. Nowthis approach is developed as a part of the so-called “algorithmic statistics” (see [37]).I would explain Kolmogorov’s definition as follows. Fix arbitrary non-negative numbers α and β . A string x is called ( α, β )-stochastic if it is a “ β -random” element of some “ α -simple” The prefix complexity and its application to the definition of randomness also was invented by Schnorrand Chaitin. Schnorr proposed two different definitions of monotone complexity using monotone functions andmonotone operators, see details in [4]. x ∈ A and K( x | A ) > log | A | − β for some finite set A of stringswith K( A ) α . Here | A | is the cardinality of A , and K( x | A ) is the conditional Kolmogorovcomplexity of x if A is given (by list of its elements), and all logarithms are binary.If x is not ( α, β )-stochastic, this means that there is no simple model that “explains” x isstatistical sense.Kolmogorov asked in his talk whether non-stochastic strings exist (for reasonable values of α and β ) and, if yes, how many of them can be found among strings of given length. For sucha sequence we have d ( x | A ) = log | A | − K( x | A ) > β for every finite set A containing x such thatK( A ) α . Let us call d ( x | A ) the randomness deficiency of x ∈ A with respect to a finite set A see [11]).Later A. Shen [24] answered Kolmogorov’s question in its simplest version: he gave condi-tions on α and β that guarantee the existence of non-stochastic sequences and proved that thefraction of nonstochastic sequences among all strings of given length decreases exponentially as α and β increase. I thought it would be important to consider not only the fraction of non-stochastic sequences(i.e., their measure according to the uniform distribution), but the probability to get a non-stochastic sequence as an output of some randomized algorithm. Formally speaking, one shouldfind the a priori probability of the set of all non-stochastic strings of given length. Working in this direction, I established in [6] some lower and upper bounds for the a prioriprobability of the set of all ( α, β )-nonstochastic strings of length n (in terms of α and β ).An asymptotic version of these results can be stated as follows. Consider the a prioriprobability of the set of all ( α, β )-nonstochastic strings of length n . Here α = α ( n ) and β = β ( n ) are considered as functions of n . This measure decreases as 2 − α ( n ) if α ( n ) and β ( n )are unbounded computable functions. However, if we do not require the functions α ( n ) and β ( n ) to be computable, then (as shown in [6]) one can find two non-decreasing unboundedsfunction α ( n ) and β ( n ) and a probabilistic machine that generates with positive (or even closeto 1) probability an infinite sequence whose n -bit prefixes are not ( α ( n ) , β ( n ))-stochastic forinfinitely many n . It is easy to see that infinite sequences with this property cannot be Martin-L¨of random withrespect to any computable measure. One can modify the argument to guarantee that machinegenerates (with positive probability) sequences that have this property and at the same timeare not Turing-equivalent to Martin-L¨of random sequences.One could say that the philosophical question about “real existence” of non-stochastic ob-jects could have different answers depending on its interpretation. If we fix some computablebounds α ( n ) and β ( n ) for non-stochasticity, the a priori probability of the set of all non-stochastic sequences decreases exponentially. On the other hand, by choosing non-computablebounds, we may generate (with probability close to 1) infinite sequences who have infinitelymany non-stochastic prefixes.It seems to me that Kolmogorov and Levin have different philosophical views on what shouldbe the subject of algorithmic randomness theory. Kolmogorov thought that the most importantnotion of randomness deals with finite objects (binary strings), and should not use the notion ofmeasure (probability distribution). He believed that one should derive the properties of a stringfrom the assumption that this string has maximal complexity in some class of strings [12]. Moreprecisely, consider some equivalence relation on the set of n -bit strings. This relation definesequivalence classes; n -bit string x is considered as m -random with respect to a partition if In 1998 Levin told me that he had discussed all these issues with Kolmogorov in the early 1970s and andgot the relevant results but not published them. More correctly, we consider the a priory measure of all continuations of strings from this set. This value isequal to the probability with which a probabilistic Turing machine can print an ( α, β )-non-stochastic sequence(or its continuation). Here the function α ( n ) can be made upper semicomputable and the function β ( n ) can be made computable. x | D ) > log | D | − m where D is the equivalence class containing x (it is used as a conditionin the conditional complexity of x ), and | D | denotes its cardinality. Encoding objects by theirordinal numbers, we get K( x | D ) log | D | + c where c is some constant.As an example, the definition of the m -Bernoulli sequence given by Kolmogorov in [10] canserve. A finite sequence x is called m -Bernoulli if K ( x | n, k ) > log (cid:0) nk (cid:1) − m , where n is the lengthof this sequence and k is number of ones. The element of the corresponding partition consistsof all sequences of a given length and with a given number of ones.This approach was developed by Eugene Asarin (one of the last Kolmogorov’s students), itsmain findings are presented in his unpublished thesis (see also [1]).Levin believed that the algorithmic randomness theory should be applicable both to finiteand infinite objects, and the notion of randomness depends on the assumed measure, so measureshould be used. Therefore he used monotone complexity that is better suited to the definitionof randomness for infinite sequences. For the same reason he considered infinite sequences andtheir degrees when discussing non-stochasticity.It is possible that this philosophical difference (what is more important: finite or infiniteobjects) was meant by Kolmogorov when he said that he disagrees with the interpretation ofresults from my paper. And, indeed, he always considered finite objects when speaking aboutnon-stochasticity.After Kolmogorov’s talk mentioned above the interest in algorithmic information theoryrevived in the USSR. Kolmogorov, Uspensky and Semenov had several good students thatworked in this field, including Asarin, Vladimir Vovk, Shen, Andrei Muchnik. Uspensky, Se-menov and Shen wrote a survey [23]; recently a monograph [2] appeared. But this period ofthe development of algorithmic information theory in the USSR and later Russia is beyond thispaper.The author is grateful to Alexander Shen for useful discussions that led to the clarificationof many concepts and results. References [1]
Е. А. Асарин. О некоторых свойствах ∆ -случайных по Колмогорову конечных по-следовательностей. Теория вероятностей и её применения , (3), 1987, 556–558 .(E.A. Asarin. Some properties of Kolmogorov ∆-random finite sequences, Theory Probab.Appl. , , 1987, 507–508)[2] Н. К. Верещагин, В. А. Успенский, А. Шень.
Колмогоровская сложность и алгорит-мическая случайность . — М.: МЦНМО, 2013. 575с. (A. Shen, V.A. Uspensky,N. Vereshchagin,
Kolmogorov complexity and algorithmic randomness . Mathematical Sur-veys and Monographs, volume 220. American Mathematical Society, Providence, RI, 2018.)[3]
В. В. Вьюгин. Об инвариантных по Тьюрингу множествах,
Доклады АН СССР , (4), 1976, 790–793. (V.V. V’jugin. On Turing invariant sets. Soviet Mathematics Dok-lady , , 1976, 1090–1094)[4] В. В. Вьюгин. Алгоритмическая энтропия (сложность) конечных объектов и её при-менения к определению случайности и количества информации. — В сборнике:
Се-миотика и информатика , вып. 16. М.: ВИНИТИ, 1981, с.14–43. (V.V. Vyugin,
SelectaMathematica formerly
Sovietica , (4), 1994, 357–389)[5] В. В. Вьюгин. Алгебра инвариантных свойств двоичных последовательностей.
Про-блемы передачи информации , (2), 1982, 83–100. (V.V. V’yugin. Algebra of InvariantProperties of Binary Sequences, Problems Inform. Transmission , (2), 1982, 147–161)106] В. В. Вьюгин. О нестохастических объектах,
Проблемы передачи информации , (2),1985, 3–9. (V.V. V’yugin. On Nonstochastic Objects. Problems Inform. Transmission , (2), 1985, 77–83)[7] В. В. Вьюгин. О дефекте случайности конечного объекта относительно мер с задан-ными границами их сложности.
Теория вероятностей и ее применения , (3), 1987,558–563. (V.V. Vjugin. On Randomness Defect of a Finite Object Relative to Measureswith Given Complexity Bounds, Theory Probab. Appl. , (3), 1987, 508–512)[8] А. К. Звонкин, Л. А. Левин. Сложность конечных объектов и обоснование понятий ин-формации и случайности с помощью теории алгоритмов.
Успехи математическихнаук , (6), 1970, 85–127. (A.K. Zvonkin, L.A. Levin. The complexity of finite objectsand the development of the concepts of information and randomness by means of thetheory of algorithms. Russian Math. Surveys , (6), 1970, 83–124).[9] А. Н. Колмогоров. Три подхода к определению понятия «количество информации».
Проблемы передачи информации , (1), 1965, 3–11. (A.N. Kolmogorov. Three approachesto the quantitative definition of information. Problems Inform. Transmission , (1), 1965,1–7)[10] А. Н. Колмогоров. К логическим основам теории информации и теории вероятностей.
Проблемы передачи информации , (3), 1969, 3–7. (A.N. Kolmogorov. On the logicalfoundations of information theory and probability theory. Problems Inform. Transmission , (3), 1969, 1–4).[11] А. Н. Колмогоров. Комбинаторные основания теории информации и исчисления веро-ятностей.
Успехи математических наук , (4), 1983, 27–36. (A.N. Kolmogorov. Com-binatorial foundations of information theory and the calculus of probabilities. RussianMath. Surveys , (4),1983, 29–40)[12] А. Н. Колмогоров. О логических основаниях теории вероятностей. — В кн.:А. Н. Колмогоров,
Теория вероятностей и математическая статистика , М.: Наука,1986, 467–471. (A.N.Kolmogorov. On logical foundations of probability.
Lecture Notes inMathematics , , 1983, 1–5)[13] Л. А. Левин. Универсальные задачи перебора,
Проблемы передачи информации , (3),1973, 115–116. (L.A. Levin. Universal Sequential Search Problems, Problems Inform.Transmission , (3), 1973, 265–266. For a corrected translation see [36]).[14] Л. А. Левин. О понятии случайной последовательности.
Доклады АН СССР , (3),1973, 548–550. (L.A. Levin. On the Notion of a Random Sequence. Sov. Math. Doklady , , 1973, 1413–1416)[15] Л. А. Левин. Законы сохранения (невозрастания) информации и вопросы обоснованиятеории информации.
Проблемы передачи информации , (3), 1974, 30–35. (L.A. Levin.Laws of Information Conservation (Nongrowth) and Aspects of the Foundation of Proba-bility Theory. Problems Inform. Transmission , (3), 1974, 206–210)[16] Л. А. Левин. Сигнализирующие вычислимых функций.
Сложность вычислений иалгоритмов , сборник переводов. Библиотека Кибернетического Сборника, М.: Мир,1974, 174–185. [17]
Л. А. Левин. О принципе сохранения информации в интуиционистской математике.
Доклады АН СССР , (6), 1976, 1293–1296. (L.A. Levin. On the principle of conserva-tion of information in intuitionistic mathematics. Soviet Math. Doklady , , 1976, 601–605)1118] Л. А. Левин. О различных мерах сложности конечных объектов (аксиоматическое опи-сание).
Доклады АН СССР , (4), 1976, 804–807. (L.A. Levin. Various measures of com-plexity for finite objects (axiomatic description). Soviet Math. Doklady , , 1976, 522–526)[19] Л. А. Левин. Равномерные тесты случайности.
Доклады АН СССР , (1), 1976, 33–35. (L.A. Levin. Uniform tests for randomness. Soviet Math. Doklady , (1), 1976, 337–340)[20] Л. А. Левин. О различных мерах сложности конечных объектов (аксиоматическое опи-сание),
Доклады АН СССР , (4), 1976, 804–807. (L.A. Levin. Various measures of com-plexity for finite objects (axiomatic description). Soviet Math. Doklady , , 1976, 522–526)[21] Л. А. Левин. Об одном конкретном способе задания сложностных мер.
Доклады АНСССР , (3), 1977, 536–539. (L.A. Levin, On a concrete method of assigning complexitymeasures, Soviet Math. Doklady , , 1977, 727–731.)[22] К. де Леу, Э.Ф. Мур, К. Шеннон, Н. Шапиро, Вычислимость на вероятностных маши-нах, Автоматы (сб. переводов), М., ИЛ, 1956. (K. de Leeuw, E.F. Moore, C.E. Shannon,N. Shapiro. Computability by Probabilistic Machines. – In:
Automata studies , edited byC.E. Shannon and J. McCarthy,
Annals of Mathematics Studies , , lithoprinted, Prince-ton University Press, 183–212).[23] В. А. Успенский, А. Л.,Семёнов, А. Х. Шень. Может ли (индивидуальная) последова-тельность нулей и единиц быть случайной?
Успехи математических наук , (1),1990, 105–162. (V.A. Uspensky, A.L. Semenov, and A.K. Shen. Can an individual se-quence of zeros and ones be random? Russian Math. Surveys , (1), 1990, 121–189)[24] А. Х. Шень. Понятие ( α, β ) -стохастичности по Колмогорову и его свойства. ДокладыАН СССР , (6), 1983, 1337–1340. (A.K. Shen. The concept of Kolmogorov ( α, β )-stochasticity and its properties. Soviet Math. Doklady , , 1983, 295–299)[25] L. Bienvenu, A. Shen, Algorithmic information theory and martingales , https://arxiv.org/abs/0906.2614 .[26] G.J. Chaitin. On the length of programs for computing binary sequences, Journal of theAssociation for Computing Machinery , , 1966, 547–569.[27] G.J. Chaitin. On the length of programs for computing binary sequences: Statistical con-siderations, Journal of the Association for Computing Machinery , , 1969, 145–159.[28] G.J. Chaitin. A theory of program size formally identical to information theory, Journalof the Association for Computing Machinery , , 1975, 329–340.[29] G.J. Chaitin. Algorithmic information theory, IBM Journal of Research and Development , , 1977, 350–359.[30] T.M. Cover, P. G´acs, R.M. Gray. Kolmogorov’s contributions to information theory andalgorithmic complexity. Annals of Probability , (1), 1989, 840–865.[31] L.A. Levin. Some theorems on the algorithmic approach to probability theory and informa-tion theory. (1971 Ph.D. thesis, advisor: A.N. Kolmogorov). Annals of Pure and AppliedLogic , (3), 2010, 224–235.[32] L.A. Levin, V.V. V’yugin. Invariant properties of informational bulks. MFCS 1977: Math-ematical Foundations of Computer Science . Lecture Notes on Computer Science , ,Springer, 1977, 359–364. 1233] L.A. Levin. Randomness conservation inequalities; information and independence in math-ematical theories. Information and Control , (1), 1984, 15–37.[34] M. Li, P. Vit´anyi. An Introduction to Kolmogorov Complexity and Its Applications , 3rded. New York: Springer–Verlag, 2008.[35] P. Martin-L¨of. The definition of random sequences.
Information and Control , , 1966,602–619.[36] Boris A. Trakhtenbrot. A Survey of Russian Approaches to Perebor (Brute-Force Search)Algorithms. Annals of the History of Computing , (4), 1984, 384–400.[37] N.K. Vereshchagin, P. Vitanyi. Kolmogorov’s Structure Functions and Model Selection. IEEE Transactions on Information Theory , (12), 2004, 3265–3289.[38] V.V. V’yugin. Algorithmic complexity and stochastic properties of finite binary sequences. The Computer Journal , 1999, (4), 1999, 294–317.13 олмогоровская сложность в СССР в 1975–1982:в изоляции и выход из нее В.В. Вьюгин ∗ Аннотация
Эти воспоминания относятся к наиболее «тёмному» периоду развития алгорит-мической теории информации в СССР, когда после большого интереса к этой темев 60-х годах и в самом начале 70-х годов число людей, интересующихся этой те-мой, резко уменьшилось. В это время Л. А. Левин, незадолго перед своей эмиграцией,опубликовал серию статей, в которых он ввёл основные понятия современной алгорит-мической теории информации. Возрождение интереса к колмогоровской сложностиначалось после знаменитого доклада А. Н. Колмогорова на семинаре в МГУ (кафедраматематической логики мехмата) в 1981 году. Примерно в это же время образоваласьгруппа молодых последователей Колмогорова, которые позже значительно развилиэто направление.
С Лёней Левиным я познакомился зимой 1971–72 учебного года, когда как аспирант пер-вого года обучения я жил в Доме аспиранта и стажера МГУ (ДАС). Это было огромноеобщежитие, в котором по 4–5 человек в комнате вперемешку жили аспиранты первого го-да со всех факультетов, а также стажеры, командировочные и много других постороннихличностей.Лёня Левин закончил МГУ на год раньше меня в 1970 году. По указанию парткомаи КГБ в аспирантуру его не взяли, несмотря на его известные научные достижения (на-пример, он уже тогда был автором обзора [8]) и поддержку Колмогорова, и с тех пор онпостоянно находился во временном положении. Кажется, тогда Колмогоров устроил егона временную работу в МГУ в свою лабораторию стажёром, потом заместитель директо-ра ИППИ И. А. Овсеевич принял Левина тоже на временную работу в ИППИ (Институтпроблем передачи информации). Иногда Лёню можно было видеть в очереди к директоруДома студентов, когда он пытался продлить свое официальное место в ДАСе. Впрочем,при наличии большого количества знакомых там можно было некоторое время жить инеофициально.Лёня был знаком, наверное, со всеми аспирантами-математиками (и не только матема-тиками), живущими в этом общежитии, в том числе и со мной. Он был широко известенв научных и молодёжных кругах Москвы, все просто называли его — Лёня Левин. Егоинтересы были чрезвычайно широки, трудно найти область науки и жизни, которой бы онне интересовался и не имел своего мнения. Лёня обсуждал каждый новый математическийрезультат, который появлялся в то время.Кроме этого, к нему постоянно приходили специалисты по разным областям приклад-ной математики из московских научно-исследовательских институтов, которые рассказы-вали про свои задачи и получали его консультации, а иногда Лёня решал их проблемы. ∗ Институт проблем передачи информации им.А.А.Харкевича, РАН a r X i v : . [ c s . G L ] J u l то время про колмогоровскую сложность мы с ним никогда не разговаривали. Пом-ню, что Лёня Левин получил тогда сильные результаты о сигнализирующих (ёмкости)вычислимых функций, связанные с теоремой Рабина о сжатии и с теоремой Блюма обускорении, которые в то время много обсуждались. Его статья [16] была опубликована втом же сборнике, где был помещён перевод на русский язык одной из статей Блюма наэту тему. Эти результаты он мне рассказывал.В то время (1971–1974), в аспирантуре, я занимался изучением полурешёток вычис-лимых нумераций семейств рекурсивно перечислимых множеств. Понятие вычислимойнумерации ввел Колмогоров, первым развивал это направление В. А. Успенский, которыйбыл моим научным руководителем. В 1970-х годах это направление интенсивно разви-валось в Новосибирском институте математики, там интересовались моими работами иразбирали их на семинаре «Алгебра и логика».До 1975 года я не знал, что такое колмогоровская сложность и алгоритмическая слу-чайность. Правда, помню, что примерно в 1970 или 1971 году я присутствовал на много-людном заседании какого-то семинара под руководством Колмогорова. По-видимому, этобыл прообраз семинара по колмогоровской сложности, который он организовал в начале1980-х годов. В аудитории было более тридцати человек, некоторым не хватило места,и они стояли. Среди присутствующих, кроме Колмогорова, помню Левина, М. Кановича,Н. Петри.Тогда уже Колмогоров обращался к Левину с большим уважением как к сравнимомус ним по заслугам математику. Помню, они обсуждали какую-то задачу, которую решалЛевин и кто-то сказал, что её только что решил другой математик. Колмогоров сказалЛевину: «Мы с вами уже достаточно зрелые математики, чтобы не огорчаться из-за того,что не мы первые решили задачу».Ещё одно воспоминание. На семинаре Колмогоров спросил Левина — не может ли онсделать доклад на такую-то тему. Левин отвечал, в свойственной ему манере, что можетсделать доклад на любую тему, в любое время, в любом месте.Второй период знакомства с Левиным начался в 1975 году. В этом году я закончиласпирантуру, защитил диссертацию и был направлен (по распределению, на три года) наработу в Уфу в Башкирский государственный университет. В Уфе были неплохие мате-матики, но все они занимались математическим анализом и дифференциальными урав-нениями. Мне общаться там было не с кем.Я часто приезжал в Москву и как-то случайно встретил Левина в МГУ. Он пригла-сил меня к себе на квартиру, которую он в то время снимал в Москве, в районе метро«Каховская» и Черноморского бульвара.В то время его положение относительно стабилизировалось, он устроился на работу вкакой-то прикладной институт, где от него не требовали постоянного присутствия, полу-чал зарплату, снял квартиру. В то же время в его жизни чувствовалось напряжение — онпонимал, что в любое время КГБ может в очередной раз вмешаться в его жизнь, сделатьтак, чтобы его уволили с работы и лишили места жительства.Лёня любил гостей и был не против, когда они некоторое время жили у него. Я ду-маю, что очень много людей близкого возраста помнят эту квартиру, его гостеприимство,веселые компании и интересные разговоры (часто оппозиционные к власти, как это то-гда было принято в среде интеллигенции). Часто в компании были иностранцы. Примеродного смешного разговора: говорили о том, что такое свобода и про несвободу в СССР.Американка Джуди (которой очень нравилось в таких компаниях и которая несколькораз приезжала в СССР) заметила, что свобода — это внутреннее ощущение, на что Лёняпривел такую метафору. Петер Гач (его венгерский коллега; сейчас они оба работают вBoston University) приезжает в Москву с очень вкусной венгерской колбасой и каждыйдень отрезает от нее кусочек. Когда колбаса заканчивается, Петер возвращается в Вен-2рию (которая тогда воспринималась как немного «менее социалистическая» страна).Летом 1975 года я надолго приехал в Москву, и почти весь июль мы гуляли по Бит-цевскому лесопарку и разговаривали обо всём: о политике, философии, математике, проуниверсальные предсказания и универсальную полумеру, про понятие количества инфор-мации для бесконечных последовательностей. Иногда к нам присоединялся Альберт Аб-рамович Мучник.Несмотря на то, что Левин обычно соображал значительно быстрее своего собеседникаи всегда мог убедить его в своей правоте, разговаривать с ним было легко. Он никогдане навязывал свое мнение — он просто путем рациональных рассуждений в процессе дис-куссии убеждал собеседника в своей правоте, нисколько не унижая его. Эта особенностьпривлекала к нему людей, делала их его последователями. По-видимому, эти его качествапонимали в парткоме и в КГБ, боялись его влияния и пытались его изолировать. В СССРтаким людям не было места.Тогда же (в 1975 году) Лёня сформулировал задачу, которой он придавал принципиаль-ное значение. После некоторых упрощений она свелась к следующему. Рассматриваютсявсе бесконечные двоичные последовательности с точностью до тьюринговой эквивалент-ности (тьюринговы степени). Если две последовательности переводятся друг в друга вы-числимыми операторами, можно считать, что они содержат одну и ту же информацию (сточностью до задания этих вычислимых операторов). Мы хотим рассматривать свойства(борелевские множества) бесконечных последовательностей, инвариантные относительнотаких перекодировок (множества тьюринговых степеней или «информационные масси-вы»). Одно из таких множеств порождено случайными по Мартин-Лёфу последователь-ностями. Ранее Левин показал, что всякая последовательность, случайная относительновычислимой меры, эквивалентна некоторой последовательности, случайной относительноравномерной меры. Это не относится к вычислимым последовательностям, которые тожеслучайны относительно мер, сконцентрированных на них. Так что все невычислимые слу-чайные по Мартин-Лёфу относительно вычислимых мер последовательности попадают водин инвариантный класс. Другой инвариантный класс образуют вычислимые последова-тельности. Возникает вопрос, а есть ли другие нетривиальные инвариантные классы.Конечно, этот вопрос требует уточнения. Оба рассмотренных инвариантных классасостоят из последовательностей, которые отражают некоторую реальность — в том смыс-ле, что их можно генерировать с помощью алгоритмов или случайных процессов. Можнопредположить, что существуют искусственно построенные инвариантные классы, элемен-ты которых нельзя генерировать с помощью алгоритмических и случайных процессов,точнее, вероятность получить такой элемент равна нулю. Например, таким классом явля-ется тьюрингова степень одной невычислимой последовательности (см. известную теоремуДе Леу – Мура – Шеннона – Шапиро [22]). Другие примеры таких классов были построеныпозже. Левин описал все такие классы. А именно, для каждого такого класса существуетединственная последовательность, о которой каждая последовательность из этого классаимеет бесконечное количество информации. Кроме того, множество всех последователь-ностей, содержащих бесконечное количество информации о заданной невычислимой по-следовательности, обладает этим свойством (см. [15]). Универсальная полувычислимая(априорная) мера подобного инвариантного множества равна нулю. Левин назвал такие Л.А. Левин предложил в этой и других более поздних статьях (см., например, [33]) несколько опре-делений понятия количества информации в одной бесконечной последовательности о другой бесконечнойпоследовательности. Количество информации I ( α : β ) должно удовлетворять свойствам инвариантности:эта величина не должна возрастать в случайных и детерминированных (рекурсивных) преобразованияхпоследовательностей α и β (подробнее см. в [33]). Он считал, что понятие количества информации длябесконечных последовательностях требует дальнейшего уточнения и развития. Универсальноая (априорная) мера была введена в работе [8]. Априорная мера множества бесконеч-ных последовательностей равна вероятности того, что соответствующая вероятностная машина Тьюринга пренебрежимыми .Мы хотим игнорировать все свойства, образующие пренебрежимые множества. Дляэтого факторизуем все инвариантные множества по отношению эквивалентности: два та-ких множества эквивалентны, если их симметрическая разность образует пренебрежимоемножество. Получим нашу основную структуру — алгебру инвариантных свойств. Говоряоб алгебре, мы имеем в виду теоретико-множественные операции. Класс эквивалентностипренебрежимых множеств образует нулевой элемент этой алгебры . Все последователь-ности образуют наибольший элемент . Другие примеры элементов: класс r , порождённыйслучайными последовательностями, класс c , порождённый вычислимыми последователь-ностями.Левин рассказал мне, что элементы c и r являются атомами алгебры инвариантныхсвойств — в том смысле, что не могут быть представлены в виде объединения другихненулевых элементов.Левин назвал последовательности, случайные по Мартин-Лёфу относительно вычис-лимых мер, правильными (см. [8], определение 4.4) или полными (см. [32, 33]). Последо-вательности, которые эквивалентны по Тьюрингу полным последовательностям, называ-ются регулярными (см. [33]).Каждая регулярная последовательность либо вычислима, либо эквивалентна по Тью-рингу некоторой последовательности, случайной по Мартин-Лёфу относительно равно-мерной меры (см. [8]. Поскольку для каждой случайной по Мартин-Лёфу последователь-ности относительно равномерной меры последовательности монотонная колмогоровскаясложность всех её начальных фрагментов равна их длине (с точностью до аддитивнойконстанты), можно сказать, что информация, содержащаяся в регулярной последователь-ности, допускает оптимальное сжатие. Свойство элементов c и r быть атомами означает,что единственным инвариантным свойством регулярных последовательностей являетсяколичество информации — конечное или бесконечное. Про элементы, образующие атом r , можно сказать, что информация в наиболее плотной своей кодировке неотличима отслучайного шума.Левин задался вопросом: исчерпывают ли эти два элемента (порождённые множества-ми случайных и вычислимых последовательностей) все возможные инвариантные свой-ства информационных массивов: верно ли, что c ∪ r = или есть и другие элементы?Летом 1975 года по возвращению в Уфу мне удалось ответить на этот вопрос, постро-ив вычислимый оператор, который с близкой к 1 вероятностью выдавал невычислимыепоследовательности, не эквивалентные по Тьюрингу никакой случайной последователь-ности. Тем самым было доказано, что c ∪ r = и алгебра инвариантных свойств неисчерпывается приведёнными выше четырьмя элементами (см. [3]).Этот результат можно интерпретировать так, что можно с положительной вероятно-стью генерировать носители информации, которые имеют «нестохастический» характер,т.е. лежат за пределами применимости теории вероятностей. Такие последовательностине являются регулярными и не допускают оптимального сжатия без потери бесконечногоколичества информации. Это типичный результат применения общей теории алгоритмовк основаниям математики (и теории вероятностей).Как было замечено ранее, элементы c и r являются атомами алгебры инвариантныхсвойств, в том смысле, что не могут быть представлены в виде объединения нетривиаль-ных элементов. Левин задал ещё один вопрос: есть ли другие атомы в алгебре инвари-антных свойств? Из определения легко следует, что атомов не более чем счётное число.Примерно в 1977–1978 годах я построил счётное семейство атомов и бесконечно делимый выдаст последовательность из этого множества. c ∪ r ∪ ∞ [ i =1 a i ∪ d = , где a i — атомы, порожденные неслучайными последовательностями, а d — остаток, ко-торый является бесконечно делимым элементом. Данная работа, к сожалению, не име-ла дальнейшего продолжения, свойства новых элементов алгебры инвариантных свойствостаются не изученными.В то время Левин разрабатывал абстрактную теорию случайности индивидуальныхобъектов. Он рассказывал о попытках дать с помощью теории алгоритмов определениеравномерного дефекта случайности относительно полумер (мер на множестве конечныхи бесконечных последовательностей) так, чтобы любая бесконечная последовательностьбыла бы случайной относительно априорной полумеры. Он также думал о построенииуниверсального языка для компактной записи всех математических объектов и функций.В таком языке константы, возникающие в основных неравенствах для колмогоровскойсложности, были бы небольшими. Все эти вопросы мы бесконечно обсуждали в 1975–1978годах.Лёня также рассказал мне про проблему перебора (P=NP), которую он сформулиро-вал в заметке [13], опубликованной в журнале
Проблемы передачи информации , и ставшейпотом знаменитой. Нужно заметить, что в отличие от Кука, Левин не только сформулиро-вал проблему и привел примеры NP-полных задач, но и предложил алгоритм (L-search),решающий эту проблему за наименьшее время (только время работы этого алгоритма досих пор не известно, это и есть проблема перебора). Алгоритм был основан на исполь-зовании нового вида сложности, в которой минимизируется не только длина программы,но и логарифм времени её работы. Как обычно, заметка Левина была максимально крат-кой и не содержала доказательств — и даже описания алгоритма: то, что он используетновый вид сложности, понять из неё нельзя. История попыток решения проблемы пере-бора в СССР изложена в прекрасном обзоре Бориса Трахтенброта [36]. Про алгоритм исоответствующую сложность Левин мне рассказывал. Левин советовал заняться решением проблемы перебора. Тогда эта проблема не каза-лась такой неразрешимой, как сейчас. Может быть, к счастью, личная жизнь отвлекламеня от этой проблемы.Дружеское общение с Левиным продолжалось до 1978 года, когда он решил эмигриро-вать в США с помощью визы в Израиль. Нужно заметить, что Левин удивительно долгоне собирался эмигрировать. Куратор из КГБ еще в начале 70-х советовал ему уехать изМосквы куда-нибудь подальше, например, в Армению. Можно было понять это как намекна эмиграцию.В те времена отъезд за границу был безвозвратным. Отъезжающий подавал заявлениев Верховный Совет СССР с просьбой о лишении его советского гражданства (кроме того,за эту процедуру надо было довольно много заплатить). Эмигранта ожидали языковыетрудности. Английский мы знали на уровне возможности разобрать математическую ста-тью со словарём. Лёня тонко чувствовал русский язык, например, он был знатоком поэзииАлександра Блока и мог часами наизусть декламировать его стихи.Во время нашего общения в 1975–1978 годах Лёня находился в относительной научнойизоляции, его не приглашали делать доклады на семинарах и конференциях. Диссертациюему не позволили защитить, провалив в Новосибирске, несмотря на положительные от- Некоторые результаты в этом направлении были позже опубликованы в [33]. Позже этот алгоритм был представлен в работе [33], алгоритм Левина также приведен в обзорнойстатье [38].
Доклады Академии наук , его статьи также печатали в журнале
Проблемы передачи ин-формации .Однако, как заметил сам Левин, это была деятельность частных лиц, которая про-исходила вне рамок какой-либо научной организации. Вопросы алгоритмической теорииинформации не обсуждались в университете, в частности, Левин не мог руководить сту-дентами. В то время алгоритмическая теория информации была “подозрительной” наукой.Можно заметить, что наибольшую публикационную активность Лёня проявлял в тепериоды, когда у него возникали жизненные трудности. Вот некоторые статьи опубли-кованные Левиным в эти годы; в них представлены его основные результаты в областиалгоритмической теории информации: [14, 15, 17, 18, 19, 20, 21].По вопросам, связанным с алгоритмической теорией информации, других сотрудниковв СССР, кроме меня, тогда у Левина не было. Из Венгрии регулярно приезжал Гач, онполучил значительные результаты в алгоритмической теории информации.Я думаю, что мне повезло с тем, что у Лени Левина было так много времени дляобщения со мной. Если бы он был официально признанным в СССР знаменитым ученым(которым он с мировой точки зрения и являлся), то он был бы очень занят и наши встречибыли бы более короткими и формальными.В тоталитарном СССР наши начальники по месту работы не понимали, чем мы зани-маемся, да и не очень этим интересовались. Поскольку у нас не было особых карьерныхвозможностей и должностей, мы были духовно свободными людьми (здесь я присоединя-юсь к Джуди), мы думали о чём хотели, мы не обязаны были регулярно печатать статьи,у нас не было дедлайнов и отчётов. Мы могли подолгу заниматься очень абстрактными(почти философскими) задачами. И, конечно, мы много бездельничали.В 1977 году я женился и переехал в Москву. В смысле работы Москва встретила ме-ня неприветливо. Преподавать в учебные заведения не брали, Москва была переполненавысококвалифицированными специалистами, которые ни за что не хотели уезжать в про-винцию. Мне пришлось устраиваться в отраслевые институты, сначала в один, потом вдругой, а потом и в третий. В первых двух институтах я продержался по году, работа тамбыла совсем не организована, сотрудники ничего не делали, как правило, их специаль-ность не соответствовала тематике института, а начальники давали идиотские задания.Впрочем, там мне как кандидату наук неплохо платили. В это время я, не обращая внима-ния на окружающую обстановку, дописывал статью про алгебру инвариантных свойств.В 1978 году Лёня и его жена Лариса получили разрешение на эмиграцию и уехалипоездом в Вену, толпа друзей провожала их на Белорусском вокзале. На прощание Лёнясказал мне, что после его отъезда алгоритмическая теория информации начнет наконецразвиваться в СССР. Он также написал отзыв и посоветовал мне показать статью проалгебру инвариантных свойств Колмогорову и дал мне его телефон.6.Левин (3-ий слева) с женой Ларисой (8-слева) и их друзьями перед эмиграцией (такжеЭ.Думанис (6) и его жена (4), В.Вьюгин (5) и его жена Лена (7), Альберт АбрамовичМучник (9))
Когда моя статья была готова, где-то в 1979 году, я позвонил Колмогорову и сказал, чтоЛёня Левин посоветовал показать ему мою статью про алгоритмическую теорию инфор-мации. Колмогоров сказал свой адрес и сказал, когда прийти. В назначенное время онсам открыл мне дверь, спросил, кто я такой — и взял статью. Он велел мне позвонитьему через две недели. Через две недели я позвонил. Он стал извиняться, что не успел ещёпрочитать, и попросил позвонить еще через две недели. Так продолжалось примерно пол-тора года. Я не всегда звонил каждые две недели, были перерывы на несколько месяцев,когда он болел.Примерно, в начале 1980 года интерес к колмогоровской сложности и в самом деле воз-ник. Мой научный руководитель Успенский попросил меня написать обзорную статью проколмогоровскую сложность и алгоритмическую случайность. Я никогда ранее не систе-матизировал свои знания по алгоритмической теории информации, но что-то осталось отпрогулок с Левиным, были также его статьи 1973–1977 годов в
Докладах Академии Наук .Правда, там не было доказательств. Кроме этого, я стал просматривать статьи Г. Чейтина(см. [26, 27, 28, 29]). Начал я со статьи Колмогорова [9] в журнале
Проблемы передачи ин-формации . В исторической последовательности: сначала было определение простой колмо-горовской сложности и понятия дефекта случайности конечной последовательности (мнекажется, что частотные определения случайности имеют только исторический интерес).Это назовем колмогоровским подходом к определению случайности конечного объекта.Потом надо было привести определение случайности по Мартин-Лефу для бесконечныхпоследовательностей и результат о невозможности описать эту случайность с помощью7ростой колмогоровской сложности (теорему Мартин-Лёфа о том, что у любой после-довательности есть начальные отрезки, где разница между длиной и сложностью скольугодно велика). Потом шли префиксная и монотонная сложности (по Левину), описание вих терминах понятия случайности по Мартин-Лёфу и, наконец, универсальная полумера(по Левину) и определение случайной последовательности в её терминах. Приходилосьвосстанавливать доказательства всех утверждений. Было бы естественно изложить всеопределения сложности с каких-нибудь общих позиций, но мне не удалось это сделать.Мне помогла критика Саши Шеня, с которым я тогда впервые познакомился. Многие егосоветы помогли улучшить статью. Позже в своей диссертации Шеню удалось представитьразличные определения колмогоровской сложности с общей топологической точки зрения.Обзор был опубликован в сборнике “Семиотика и информатика” в 1981г.( [4]) и стал,как пишут Ли и Витаньи [34, с. 197], одним из источников о советских работах по колмо-горовской сложности (а для русскоязычных читаталей — вторым обзором после [8], и внего вошли с доказательствами главные результаты Левина о случайности).Авторитетные люди объяснили мне правила цитирования работ Л.А.Левина — онибыли вполне сносными: ссылаться можно, но нельзя, чтобы его фамилия встречалась втексте статьи, в частности, нельзя объявлять благодарность.Однажды, в сентябре 1980г., в ответ на мой очередной звонок, Колмогоров сказал,что он прочитал мою статью, всё это интересно, но он не совсем согласен с интерпрета-цией результатов. Он также сказал, что хочет составить отзыв и написать свою статьюсо своим взглядом на эту проблему. Надо напечатать, продолжал он, эти статьи вместев одном выпуске какого-нибудь журнала. Он также сказал, что прочитал мой обзор и онему понравился (позже он даже сослался на него в своей статье [12]).Колмогоров пригласил меня к себе на квартиру и сам при мне напечатал отзыв наэлектрической пишущей машинке. Тогда вследствие нарастающей болезни координациядвижений у него была не очень хорошая, некоторые буквы пропечатывались по два трираза. Мне пришлось пойти на кафедру и перепечатать отзыв Колмогорова (отзыв до сихпор хранится у меня). Кажется, он предварительно давал эту статью А.К.Звонкину, ко-торый также написал положительный отзыв.Свою статью Колмогоров так и не написал, а мою статью я сдал в журнал Проблемыпередачи информации . В редакции мне сказали, что никакие отзывы вместе со статьейони не принимают. Статья была опубликована в 1982 году [5].После нашего разговора Колмогоров сделал доклад на возродившемся тогда по егоинициативе семинаре по сложности. Он назывался «Сложность определений и сложностьвычислений»; его руководителями были сам Колмогоров, А. Л. Семенов и Шень. В каком-то смысле это было реинкарнацией его прежних семинаров по сложности с участием Ле-вина.В этом докладе Колмогоров предложил определение ( α, β ) -стохастической последова-тельности. Судя по воспоминаниям современников, Колмогоров придумал схожие поня-тия гораздо раньше, ещё до 1974 года (см. [30]). Получается, что смысл моих звонковзаключался в том, что благодаря созданному мною беспокойству Колмогоров вспомнилсвое определение и поставил задачу изучения этого понятия. После его доклада возник-ло направление, связанное с этим понятием, которое развивается и в настоящее время(алгоритмическая статистика, см. [37]).В моем изложении определение Колмогорова выглядит следующим образом. Зада-ны произвольные неотрицательные числа α и β . Конечная двоичная последовательность(строка битов) x называется ( α, β ) -стохастической, если она является « β -случайным» эле- Префиксная сложность также была введена Шнорром и Чейтиным и применена ими для определенияслучайной бесконечной последовательности. Шнорр предложил два различных определения монотоннойсложности, использующие монотонные функции и монотонные операторы, см. [4]. α -простого» множества A . Точнее, конечная двоичная строка x на-зывается ( α, β ) -стохастической, если x ∈ A и K( x | A ) > log | A | − β для некоторого ко-нечного множества A сложности K( A ) α ; здесь | A | – число элементов множества A ,а K( x | A ) — условная колмогоровская сложность строки x относительно конечного мно-жества строк A ; здесь и далее логарифмы по основанию 2. Те последовательности, длякоторых это неверно, называются ( α, β ) -нестохастическими. Для таких последовательно-стей невозможно подобрать простую стохастическую модель, объясняющую их поведение.Колмогоров в своем докладе поставил вопрос о существовании ( α, β ) -нестохастическихпоследовательностей и о частоте их встречаемости среди всех последовательностей задан-ной длины. Если x – нестохастическая последовательность, то d ( x | A ) = log | A | − K( x | A ) >β для любого конечного множества A , если x ∈ A и K( A ) α . Называем величину d ( x | A ) дефектом случайности x ∈ A относительно конечного множества A (см. [11]).Позже Шень [24] ответил на вопрос Колмогорова: он привел условия на α и β , прикоторых такие последовательности существуют и показал, что их доля экспоненциальноубывает в зависимости от α и β . Мне казалось важным выяснить не только частоту ( α, β ) -нестохастических последова-тельностей, но и оценить вероятность генерации таких последовательностей с помощью ве-роятностных алгоритмов. На математическом языке это означает, что надо оценивать уни-версальную (априорную) полувычислимую меру множества всех ( α, β ) -нестохастическихпоследовательностей заданной длины. В [6] были получены верхние и нижние оценки оценки априорной полувычислимоймеры множества ( α, β ) -нестохастических последовательностей длины n в зависимости от α и β .Асимптотический вариант этих результатов выглядит следующим образом. Мож-но оценивать в зависимости от n априорную полувычислимую меру всех ( α, β ) -нестохастических последовательностей длины n , где α = α ( n ) и β = β ( n ) – некоторыефункции. Тогда априорная полувычислимая мера множества всех таких последователь-ностей длины n убывает примерно как − α ( n ) в том случае, если α ( n ) и β ( n ) — неогра-ниченные вычислимые функции. Однако если отказаться от требования вычислимостиэтих функций, то, как было показано в [6], для некоторых неограниченных неубывающихфункций α ( n ) и β ( n ) можно с близкой к единице вероятностью генерировать (с помощьювероятностной машины Тьюринга) бесконечные последовательности, у которых беско-нечно много начальных фрагментов длины n являются ( α ( n ) , β ( n )) -нестохастическимипоследовательностями. Легко видеть, что такие бесконечные последовательности не могут быть случайны-ми по Мартин-Лёфу относительно какой-либо вычислимой меры. Можно также добиться,чтобы они не были эквивалентны по Тьюрингу случайным по Мартин-Лёфу последова-тельностям.Таким образом, вопрос о существовании нестохастических объектов не имеет однознач-ного решения. Если задать вычислимые границы для нестохастичности, то априорная ме-ра множества всех таких последовательностей экспоненциально убывает, а если границыневычислимые, то можно с близкой к единице вероятностью порождать бесконечные по-следовательности, среди начальных фрагментов которых бесконечно часто встречаютсянестохастические последовательности. В 1998 г. Левин рассказал мне, что он обсуждал все эти вопросы с Колмогоровым еще в начале 70-хгодов и получил соответствующие результаты, но не публиковал их. Точнее, универсальную полувычислимую меру множества всех последовательностей, продолжающихэлементы этого множества. Эта величина равна вероятности, с которой соответствующая вероятностнаямашина Тьюринга может напечатать ( α, β ) -нестохастическую последовательность (или ее продолжение). При этом функция β ( n ) может быть вычислимой, а функция α ( n ) — перечислимой сверху. n на конечные попарно непересекающиеся под-множества, удовлетворяющие каким-либо ограничениям, например, с ограничениями насложность. Конечная последовательность x является m -случайной относительно разбие-ния, если K( x | D ) > log | D | − m , где m – натуральное число, D — тот элемент разбиения,которому принадлежит x , а | D | — число его элементов. Из теории кодирования следует,что K( x | D ) log | D | + c для любого x ∈ D , где c — константа.В качестве примера может служить определение m -бернуллиевской последовательно-сти, данное Колмогоровым в работе [10]. Конечная последовательность x называется m -бернуллиевской, если K ( x | n, k ) > log (cid:0) nk (cid:1) − m , где n длина этой последовательности, а k –число единиц. Элемент соответствующего разбиения состоит из всех последовательностейзаданной длины и с заданным числом единиц. В наиболее последовательном виде этотподход развивал ученик Колмогорова Е. А. Асарин, его основные результаты представле-ны в неопубликованной диссертации (см. также [1]).Левин, напротив, считал, что развитая теория должна быть одинаково хорошо при-менима как к конечным, так и к бесконечным последовательностям, и что понятие ме-ры может использоваться при изучении случайности. Поэтому он рассматривал понятиемонотонной сложности как более приспособленное к определению бесконечной случайнойпоследовательности. По этой же причине он рассматривал проблему существования несто-хастических объектов для бесконечных последовательностей, а точнее, для порождаемыхими информационных массивов (тьюринговых степеней).По-видимому, этим различием в подходах можно объяснить несогласие Колмогорова синтерпретацией результатов из моей статьи, а также его интерес к проблеме нестохастич-ности конечных объектов.После упомянутого выше доклада Колмогорова началось возрождение интереса к ал-горитмической теории информации. У Колмогорова, Успенского и Семёнова появилисьочень сильные ученики (Е. Асарин, В. Вовк, А. Шень, Андрей Мучник). Позже к ним при-соединился Н. К. Верещагин. Семинар по колмогоровской сложности в МГУ стал работатьна регулярной основе и работает до сих пор. Появился обзор Успенского, Семенова, Ше-ня [23] и множество других публикаций, в частности, монография [2]. Но это уже другойпериод развития колмогоровского подхода к теории вероятностей и теории информации.Автор благодарен Александру Шеню за полезные обсуждения, которые привели куточнению многих понятий и результатов. Список литературы [1] Е. А. Асарин. О некоторых свойствах ∆ -случайных по Колмогорову конечных по-следовательностей. Теория вероятностей и её применения , (3), 1987, 556–558.(E.A. Asarin. Some properties of Kolmogorov ∆ -random finite sequences, Theory Probab.Appl. , , 1987, 507–508) 102] Н. К. Верещагин, В. А. Успенский, А. Шень. Колмогоровская сложность и алгорит-мическая случайность . — М.: МЦНМО, 2013. 575с. (A. Shen, V.A. Uspensky,N. Vereshchagin,
Kolmogorov complexity and algorithmic randomness . MathematicalSurveys and Monographs, volume 220. American Mathematical Society, Providence, RI,2018.)[3] В. В. Вьюгин. Об инвариантных по Тьюрингу множествах,
Доклады АН СССР , (4), 1976, 790–793. (V.V. V’jugin. On Turing invariant sets. Soviet MathematicsDoklady , , 1976, 1090–1094)[4] В. В. Вьюгин. Алгоритмическая энтропия (сложность) конечных объектов и её при-менения к определению случайности и количества информации. — В сборнике: Се-миотика и информатика , вып. 16. М.: ВИНИТИ, 1981, с.14–43. (V.V. Vyugin,
SelectaMathematica formerly
Sovietica , (4), 1994, 357–389)[5] В. В. Вьюгин. Алгебра инвариантных свойств двоичных последовательностей. Про-блемы передачи информации , (2), 1982, 83–100. (V.V. V’yugin. Algebra of InvariantProperties of Binary Sequences, Problems Inform. Transmission , (2), 1982, 147–161)[6] В. В. Вьюгин. О нестохастических объектах, Проблемы передачи информации , (2),1985, 3–9. (V.V. V’yugin. On Nonstochastic Objects. Problems Inform. Transmission , (2), 1985, 77–83)[7] В. В. Вьюгин. О дефекте случайности конечного объекта относительно мер с задан-ными границами их сложности. Теория вероятностей и ее применения , (3), 1987,558–563. (V.V. Vjugin. On Randomness Defect of a Finite Object Relative to Measureswith Given Complexity Bounds, Theory Probab. Appl. , (3), 1987, 508–512)[8] А. К. Звонкин, Л. А. Левин. Сложность конечных объектов и обоснование понятий ин-формации и случайности с помощью теории алгоритмов. Успехи математическихнаук , (6), 1970, 85–127. (A.K. Zvonkin, L.A. Levin. The complexity of finite objectsand the development of the concepts of information and randomness by means of thetheory of algorithms. Russian Math. Surveys , (6), 1970, 83–124).[9] А. Н. Колмогоров. Три подхода к определению понятия «количество информации». Проблемы передачи информации , (1), 1965, 3–11. (A.N. Kolmogorov. Three approachesto the quantitative definition of information. Problems Inform. Transmission , (1), 1965,1–7)[10] А. Н. Колмогоров. К логическим основам теории информации и теории вероятностей. Проблемы передачи информации , (3), 1969, 3–7. (A.N. Kolmogorov. On the logicalfoundations of information theory and probability theory. Problems Inform. Transmission , (3), 1969, 1–4).[11] А. Н. Колмогоров. Комбинаторные основания теории информации и исчисления ве-роятностей. Успехи математических наук , (4), 1983, 27–36. (A.N. Kolmogorov.Combinatorial foundations of information theory and the calculus of probabilities. RussianMath. Surveys , (4),1983, 29–40)[12] А. Н. Колмогоров. О логических основаниях теории вероятностей. — В кн.:А. Н. Колмогоров, Теория вероятностей и математическая статистика , М.: Наука,1986, 467–471. (A.N.Kolmogorov. On logical foundations of probability.
Lecture Notes inMathematics , , 1983, 1–5) 1113] Л. А. Левин. Универсальные задачи перебора, Проблемы передачи информации , (3),1973, 115–116. (L.A. Levin. Universal Sequential Search Problems, Problems Inform.Transmission , (3), 1973, 265–266. For a corrected translation see [36]).[14] Л. А. Левин. О понятии случайной последовательности. Доклады АН СССР , (3),1973, 548–550. (L.A. Levin. On the Notion of a Random Sequence. Sov. Math. Doklady , , 1973, 1413–1416)[15] Л. А. Левин. Законы сохранения (невозрастания) информации и вопросы обоснованиятеории информации. Проблемы передачи информации , (3), 1974, 30–35. (L.A. Levin.Laws of Information Conservation (Nongrowth) and Aspects of the Foundation ofProbability Theory. Problems Inform. Transmission , (3), 1974, 206–210)[16] Л. А. Левин. Сигнализирующие вычислимых функций. Сложность вычислений иалгоритмов , сборник переводов. Библиотека Кибернетического Сборника, М.: Мир,1974, 174–185.[17] Л. А. Левин. О принципе сохранения информации в интуиционистской математи-ке.
Доклады АН СССР , (6), 1976, 1293–1296. (L.A. Levin. On the principle ofconservation of information in intuitionistic mathematics. Soviet Math. Doklady , , 1976,601–605)[18] Л. А. Левин. О различных мерах сложности конечных объектов (аксиоматическое опи-сание). Доклады АН СССР , (4), 1976, 804–807. (L.A. Levin. Various measures ofcomplexity for finite objects (axiomatic description). Soviet Math. Doklady , , 1976, 522–526)[19] Л. А. Левин. Равномерные тесты случайности. Доклады АН СССР , (1), 1976, 33–35. (L.A. Levin. Uniform tests for randomness. Soviet Math. Doklady , (1), 1976, 337–340)[20] Л. А. Левин. О различных мерах сложности конечных объектов (аксиоматическое опи-сание), Доклады АН СССР , (4), 1976, 804–807. (L.A. Levin. Various measures ofcomplexity for finite objects (axiomatic description). Soviet Math. Doklady , , 1976, 522–526)[21] Л. А. Левин. Об одном конкретном способе задания сложностных мер. Доклады АНСССР , (3), 1977, 536–539. (L.A. Levin, On a concrete method of assigning complexitymeasures, Soviet Math. Doklady , , 1977, 727–731.)[22] К. де Леу, Э.Ф. Мур, К. Шеннон, Н. Шапиро, Вычислимость на вероятностных маши-нах, Автоматы (сб. переводов), М., ИЛ, 1956 (K. de Leeuw, E.F. Moore, C.E. Shannon,N. Shapiro. Computability by Probabilistic Machines. – In: Automata studies , editedby C.E. Shannon and J. McCarthy,
Annals of Mathematics Studies , , lithoprinted,Princeton University Press, 183–212).[23] В. А. Успенский, А. Л.,Семёнов, А. Х. Шень. Может ли (индивидуальная) последова-тельность нулей и единиц быть случайной? Успехи математических наук , (1),1990, 105–162. (V.A. Uspensky, A.L. Semenov, and A.K. Shen. Can an individual sequenceof zeros and ones be random? Russian Math. Surveys , (1), 1990, 121–189)[24] А. Х. Шень. Понятие ( α, β ) -стохастичности по Колмогорову и его свойства. ДокладыАН СССР , (6), 1983, 1337–1340. (A.K. Shen. The concept of Kolmogorov ( α, β ) -stochasticity and its properties. Soviet Math. Doklady , , 1983, 295–299)1225] L. Bienvenu, A. Shen, Algorithmic information theory and martingales , https://arxiv.org/abs/0906.2614 .[26] G.J. Chaitin. On the length of programs for computing binary sequences, Journal of theAssociation for Computing Machinery , , 1966, 547–569.[27] G.J. Chaitin. On the length of programs for computing binary sequences: Statisticalconsiderations, Journal of the Association for Computing Machinery , , 1969, 145–159.[28] G.J. Chaitin. A theory of program size formally identical to information theory, Journalof the Association for Computing Machinery , , 1975, 329–340.[29] G.J. Chaitin. Algorithmic information theory, IBM Journal of Research and Development , , 1977, 350–359.[30] T.M. Cover, P. G´acs, R.M. Gray. Kolmogorov’s contributions to information theory andalgorithmic complexity. Annals of Probability , (1), 1989, 840–865.[31] L.A. Levin. Some theorems on the algorithmic approach to probability theory andinformation theory. (1971 Ph.D. thesis, advisor: A.N. Kolmogorov). Annals of Pure andApplied Logic , (3), 2010, 224–235.[32] L.A. Levin, V.V. V’yugin. Invariant properties of informational bulks. MFCS 1977:Mathematical Foundations of Computer Science . Lecture Notes on Computer Science , ,Springer, 1977, 359–364.[33] L.A. Levin. Randomness conservation inequalities; information and independence inmathematical theories. Information and Control , (1), 1984, 15–37.[34] M. Li, P. Vit´anyi. An Introduction to Kolmogorov Complexity and Its Applications , 3rd ed.New York: Springer–Verlag, 2008.[35] P. Martin-L¨of. The definition of random sequences.
Information and Control , , 1966,602–619.[36] Boris A. Trakhtenbrot. A Survey of Russian Approaches to Perebor (Brute-Force Search)Algorithms. Annals of the History of Computing , (4), 1984, 384–400.[37] N.K. Vereshchagin, P. Vitanyi. Kolmogorov’s Structure Functions and Model Selection. IEEE Transactions on Information Theory , (12), 2004, 3265–3289.[38] V.V. V’yugin. Algorithmic complexity and stochastic properties of finite binary sequences. The Computer Journal , 1999,42