diff --git a/README-ru.md b/README-ru.md index 8d828004..b1ddd199 100644 --- a/README-ru.md +++ b/README-ru.md @@ -609,15 +609,17 @@ Check out the following links to get a better idea of what to expect: * [How to ace a systems design interview](https://www.palantir.com/2011/10/how-to-rock-a-systems-design-interview/) * [The system design interview](http://www.hiredintech.com/system-design) * [Intro to Architecture and Systems Design Interviews](https://www.youtube.com/watch?v=ZgdS0EUmn70) +* [System design template](https://leetcode.com/discuss/career/229177/My-System-Design-Template) l10n:p --> ### Источники и другие ссылки -Посмотрите следующие ссылки, чтобы понять, что можно ожидать (внешние ссылки без перевода): +Посмотрите следующие ссылки, чтобы лучше понимать, что можно ожидать (внешние ссылки без перевода): -* [Use back of the envelope calculations](http://highscalability.com/blog/2011/1/26/google-pro-tip-use-back-of-the-envelope-calculations-to-choo.html) -* [Таблица степеней двойки](#таблица-степеней-двойки) -* [Время выполнения, которое должен знать каждый программист](#время-выполнения-которое-должен-знать-каждый-программист) +* [How to ace a systems design interview](https://www.palantir.com/2011/10/how-to-rock-a-systems-design-interview/) +* [The system design interview](http://www.hiredintech.com/system-design) +* [Intro to Architecture and Systems Design Interviews](https://www.youtube.com/watch?v=ZgdS0EUmn70) +* [System design template](https://leetcode.com/discuss/career/229177/My-System-Design-Template) #### AP - Доступность и Устойчивость к разделению -При таком решении ответы на запросы возвращают данные, которые могут быть не самыми актуальными. Операция на запись может занять некоторое время, если придется ожидать восстановления потерянного соединения с одним из узлов распределённой системы. +При таком решении запросы возвращают готовую версию данных, доступную на каком-либо узле распределённой системы на данный момент, хотя она может быть не самой актуальной. Операция записи может занять некоторое время, если придется ожидать восстановления потерянного соединения с одним из узлов. AP решение подходит для систем, где система должна продолжать работать несмотря на внешние ошибки и допустима [Согласованность в конечном счете](#согласованность-в-конечном-счете). @@ -1029,6 +1031,7 @@ AP решение подходит для систем, где система д * [CAP theorem revisited](http://robertgreiner.com/2014/08/cap-theorem-revisited/) * [A plain english introduction to CAP theorem](http://ksat.me/a-plain-english-introduction-to-cap-theorem) * [CAP FAQ](https://github.com/henryr/cap-faq) +* [The CAP theorem](https://www.youtube.com/watch?v=k-Yaq8AHlFA) l10n:p --> ### Источники и дополнительные ссылки @@ -1036,6 +1039,7 @@ l10n:p --> * [CAP theorem revisited](http://robertgreiner.com/2014/08/cap-theorem-revisited/) * [A plain english introduction to CAP theorem](http://ksat.me/a-plain-english-introduction-to-cap-theorem) * [CAP FAQ](https://github.com/henryr/cap-faq) +* [The CAP theorem](https://www.youtube.com/watch?v=k-Yaq8AHlFA) ## Шаблоны доступности -Для обеспечения высокой доступности существует два основных паттерна: **отказоустойчивость** и **репликация**. +Для обеспечения высокой доступности существует два паттерна: **отказоустойчивость** и **репликация**. ## Систем доменных имен @@ -1341,8 +1345,8 @@ DNS иерархична и имеет несколько корневых се * предотвращает попадания трафика на сервера, находящиеся на обслуживании * балансирует трафик для кластера, размер которого может меняться * может использоваться для A/B тестирования -* на основе задержки отклика серверов -* на основе гео-распределения серверов +* [на основе задержки отклика серверов](https://docs.aws.amazon.com/Route53/latest/DeveloperGuide/routing-policy.html#routing-policy-latency) +* [на основе гео-распределения серверов](https://docs.aws.amazon.com/Route53/latest/DeveloperGuide/routing-policy.html#routing-policy-geo) @@ -1399,6 +1403,11 @@ l10n:p --> Сеть доставки содержимого (Content Delivery Network, CDN) - это глобальная распределённая сеть прокси-серверов, которые доставляют содержимое с серверов, наиболее близко находящихся к пользователю. Обычно в CDN размещаются статические файлы, такие как HTML/CSS/JS, фотографии и видео. Некоторые сервисы, как, например Amazon CloudFront, поддерживают доставку динамического содержимого. DNS запрос на сайт даст ответ на какой DNS сервер клиент должен делать запрос. +Раздача содержимого из CDN может значительно улучшить производительность по двум причинам: + +* Пользователи будут получать содержимое из дата-центров, которые находятся ближе к ним +* Вашим серверам не придется обрабатывать запросы, которые может обработать CDN + @@ -1579,7 +1588,7 @@ l10n:p --> ### Disadvantage(s): load balancer * The load balancer can become a performance bottleneck if it does not have enough resources or if it is not configured properly. -* Introducing a load balancer to help eliminate single points of failure results in increased complexity. +* Introducing a load balancer to help eliminate a single point of failure results in increased complexity. * A single load balancer is a single point of failure, configuring multiple load balancers further increases complexity. l10n:p --> @@ -2066,7 +2075,7 @@ l10n:p --> Денормализация - это попытка улучшить скорость чтения за счет производительности записи. Избыточные копии данных записываются в несколько таблиц для избежания сложных операций соединения данных. Некоторый СУБД, например [PostgreSQL](https://ru.wikipedia.org/wiki/PostgreSQL) и Oracle поддерживают [материализованное представление](https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D1%82%D0%B5%D1%80%D0%B8%D0%B0%D0%BB%D0%B8%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BF%D1%80%D0%B5%D0%B4%D1%81%D1%82%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5), которые выполнюят задачу хранения избыточных данных и поддержку их согласованности. -При использовании [Федерализации](#федерализация) и [Шардирования](#шардирование), данные становятся распределенными. В результате выполнение операций соединения данных усложняется. Денормализация может позволить избавиться от необходимости в сложных JOIN запросах. +При использовании [Федерализации](#федерализация) и [Шардирования](#шардирование), данные становятся распределенными. В результате выполнение операций соединения данных, которые могут находится в разных дата-центрах, усложняется. Денормализация может позволить избавиться от необходимости в сложных JOIN запросах. В большинстве систем, количество операций на чтение значительно больше операций на запись (100:1, или даже 1000:1). Операция на чтение в результате сложного соединения данных может быть очень ресурсоемкой и требовать значительного времени, потраченного на операции c жестким диском. @@ -2327,7 +2336,7 @@ l10n:p --> A wide column store's basic unit of data is a column (name/value pair). A column can be grouped in column families (analogous to a SQL table). Super column families further group column families. You can access each column independently with a row key, and columns with the same row key form a row. Each value contains a timestamp for versioning and for conflict resolution. -Google introduced [Bigtable](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/chang06bigtable.pdf) as the first wide column store, which influenced the open-source [HBase](https://www.mapr.com/blog/in-depth-look-hbase-architecture) often-used in the Hadoop ecosystem, and [Cassandra](http://docs.datastax.com/en/cassandra/3.0/cassandra/architecture/archIntro.html) from Facebook. Stores such as BigTable, HBase, and Cassandra maintain keys in lexicographic order, allowing efficient retrieval of selective key ranges. +Google introduced [Bigtable](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/chang06bigtable.pdf) as the first wide column store, which influenced the open-source [HBase](https://www.edureka.co/blog/hbase-architecture/) often-used in the Hadoop ecosystem, and [Cassandra](http://docs.datastax.com/en/cassandra/3.0/cassandra/architecture/archIntro.html) from Facebook. Stores such as BigTable, HBase, and Cassandra maintain keys in lexicographic order, allowing efficient retrieval of selective key ranges. Wide column stores offer high availability and high scalability. They are often used for very large data sets. l10n:p --> @@ -2344,7 +2353,7 @@ l10n:p --> Основной единицей данных в колоночных хранилищах является колонка - пара имя/значение. Колонки могут быть сгруппированы в семейства колонок (по аналогии с SQL таблицей). Следующим уровнем будет супер-семейство колонок. Значение каждой колонки можно получить по ключу строки. Все колонки с одинаковым ключом строки формируют строку. Каждое значение содержит временную метку для версионности и разрешения конфликтов. -Google представили [Bigtable](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/chang06bigtable.pdf), как первую колоночную базу данных, которая была создана под влиянием [HBase](https://www.mapr.com/blog/in-depth-look-hbase-architecture), часто используемой в экосистеме Hadoop, и [Cassandra](http://docs.datastax.com/en/cassandra/3.0/cassandra/architecture/archIntro.html) от Facebook. BigTable, HBase, and Cassandra и другие базы данных этого типа хранят ключи в лексикографическом порядке, позволяя делать эффективные запросы по диапазону ключей. +Google представили [Bigtable](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/chang06bigtable.pdf), как первую колоночную базу данных, которая была создана под влиянием [HBase](https://www.edureka.co/blog/hbase-architecture/), часто используемой в экосистеме Hadoop, и [Cassandra](http://docs.datastax.com/en/cassandra/3.0/cassandra/architecture/archIntro.html) от Facebook. BigTable, HBase, and Cassandra и другие базы данных этого типа хранят ключи в лексикографическом порядке, позволяя делать эффективные запросы по диапазону ключей. Колоночные хранилища имеют высокую доступность и масштабируемость. Часто они используются для очень больших объемов данных. @@ -2353,7 +2362,7 @@ Google представили [Bigtable](http://www.read.seas.harvard.edu/~kohle * [SQL & NoSQL, a brief history](http://blog.grio.com/2015/11/sql-nosql-a-brief-history.html) * [Bigtable architecture](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/chang06bigtable.pdf) -* [HBase architecture](https://www.mapr.com/blog/in-depth-look-hbase-architecture) +* [HBase architecture](https://www.edureka.co/blog/hbase-architecture/) * [Cassandra architecture](http://docs.datastax.com/en/cassandra/3.0/cassandra/architecture/archIntro.html) l10n:p --> @@ -2361,7 +2370,7 @@ l10n:p --> * [SQL & NoSQL, a brief history](http://blog.grio.com/2015/11/sql-nosql-a-brief-history.html) * [Bigtable architecture](http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/chang06bigtable.pdf) -* [HBase architecture](https://www.mapr.com/blog/in-depth-look-hbase-architecture) +* [HBase architecture](https://www.edureka.co/blog/hbase-architecture/) * [Cassandra architecture](http://docs.datastax.com/en/cassandra/3.0/cassandra/architecture/archIntro.html) Tasks queues receive tasks and their related data, runs them, then delivers their results. They can support scheduling and can be used to run computationally-intensive jobs in the background. -**Celery** has support for scheduling and primarily has python support. +**[Celery](https://docs.celeryproject.org/en/stable/)** has support for scheduling and primarily has python support. l10n:p --> ### Очереди задач Очереди сообщений принимают задачи и связанные с ними данные, выполняют их, и затем доставляет их результаты. Они могут поддерживать планирование и использоваться для выполнения задач, которые требуют высоких вычислительных мощностей, в фоне. -Планирование есть в **Celery**, который в основном поддерживается на Python. +Планирование есть в **[Celery](https://docs.celeryproject.org/en/stable/)**, который в основном поддерживается на Python. Считать 1 MB последовательно из памяти 250,000 ns 250 us Полный обход внутри дата-центра 500,000 ns 500 us Считать 1 MB последовательно с SSD* 1,000,000 ns 1,000 us 1 ms ~1GB/sec SSD, 4X памяти -Поиск на диске 10,000,000 ns 10,000 us 10 ms 20x полного обхода дата-центра +Поиск на HDD 10,000,000 ns 10,000 us 10 ms 20x полного обхода дата-центра Считать 1 MB последовательно по сети 1 Gbps 10,000,000 ns 10,000 us 10 ms 40x памяти, 10X SSD -Считать 1 MB последовательно с диска 30,000,000 ns 30,000 us 30 ms 120x памяти, 30X SSD +Считать 1 MB последовательно с HDD 30,000,000 ns 30,000 us 30 ms 120x памяти, 30X SSD Послать пакет данных Калифорния->Нидерланды->Калифорния 150,000,000 ns 150,000 us 150 ms Заметки @@ -3597,7 +3606,7 @@ l10n:p --> Некоторые значения на основе данных выше -* Последовательное чтение с диска - скорость 30 MB/s +* Последовательное чтение с HDD - скорость 30 MB/s * Последовательное чтение из канала 1 Gbps сети Ethernet - скорость 100 MB/s * Последовательное чтение с SSD - скорость 1 GB/s * Последовательное чтение из основной памяти - скоростью 4 GB/s @@ -3659,6 +3668,7 @@ l10n:p --> | Design an online multiplayer card game | [indieflashblog.com](http://www.indieflashblog.com/how-to-create-an-asynchronous-multiplayer-game.html)
[buildnewgames.com](http://buildnewgames.com/real-time-multiplayer/) | | Design a garbage collection system | [stuffwithstuff.com](http://journal.stuffwithstuff.com/2013/12/08/babys-first-garbage-collector/)
[washington.edu](http://courses.cs.washington.edu/courses/csep521/07wi/prj/rick.pdf) | | Design an API rate limiter | [https://stripe.com/blog/](https://stripe.com/blog/rate-limiters) | +| Design a Stock Exchange (like NASDAQ or Binance) | [Jane Street](https://youtu.be/b1e4t2k2KJY)
[Golang Implementation](https://around25.com/blog/building-a-trading-engine-for-a-crypto-exchange/)
[Go Implemenation](http://bhomnick.net/building-a-simple-limit-order-in-go/) | | Add a system design question | [Contribute](#contributing) | l10n:p --> @@ -3690,6 +3700,7 @@ l10n:p --> | Design an online multiplayer card game | [indieflashblog.com](http://www.indieflashblog.com/how-to-create-an-asynchronous-multiplayer-game.html)
[buildnewgames.com](http://buildnewgames.com/real-time-multiplayer/) | | Design a garbage collection system | [stuffwithstuff.com](http://journal.stuffwithstuff.com/2013/12/08/babys-first-garbage-collector/)
[washington.edu](http://courses.cs.washington.edu/courses/csep521/07wi/prj/rick.pdf) | | Design an API rate limiter | [https://stripe.com/blog/](https://stripe.com/blog/rate-limiters) | +| Design a Stock Exchange (like NASDAQ or Binance) | [Jane Street](https://youtu.be/b1e4t2k2KJY)
[Golang Implementation](https://around25.com/blog/building-a-trading-engine-for-a-crypto-exchange/)
[Go Implemenation](http://bhomnick.net/building-a-simple-limit-order-in-go/) | | Add a system design question | [Добавить](#содействуйте) | * [Box Blogs](https://blog.box.com/blog/category/engineering) * [Cloudera Developer Blog](http://blog.cloudera.com/) * [Dropbox Tech Blog](https://tech.dropbox.com/) -* [Engineering at Quora](http://engineering.quora.com/) +* [Engineering at Quora](https://www.quora.com/q/quoraengineering) * [Ebay Tech Blog](http://www.ebaytechblog.com/) * [Evernote Tech Blog](https://blog.evernote.com/tech/) * [Etsy Code as Craft](http://codeascraft.com/) @@ -3866,9 +3877,8 @@ l10n:p --> * [Microsoft Engineering](https://engineering.microsoft.com/) * [Microsoft Python Engineering](https://blogs.msdn.microsoft.com/pythonengineering/) * [Netflix Tech Blog](http://techblog.netflix.com/) -* [Paypal Developer Blog](https://devblog.paypal.com/category/engineering/) +* [Paypal Developer Blog](https://medium.com/paypal-engineering) * [Pinterest Engineering Blog](https://medium.com/@Pinterest_Engineering) -* [Quora Engineering](https://engineering.quora.com/) * [Reddit Blog](http://www.redditblog.com/) * [Salesforce Engineering Blog](https://developer.salesforce.com/blogs/engineering/) * [Slack Engineering Blog](https://slack.engineering/) @@ -3892,7 +3902,7 @@ l10n:p --> * [Box Blogs](https://blog.box.com/blog/category/engineering) * [Cloudera Developer Blog](http://blog.cloudera.com/) * [Dropbox Tech Blog](https://tech.dropbox.com/) -* [Engineering at Quora](http://engineering.quora.com/) +* [Engineering at Quora](https://www.quora.com/q/quoraengineering) * [Ebay Tech Blog](http://www.ebaytechblog.com/) * [Evernote Tech Blog](https://blog.evernote.com/tech/) * [Etsy Code as Craft](http://codeascraft.com/) @@ -3912,9 +3922,8 @@ l10n:p --> * [Microsoft Engineering](https://engineering.microsoft.com/) * [Microsoft Python Engineering](https://blogs.msdn.microsoft.com/pythonengineering/) * [Netflix Tech Blog](http://techblog.netflix.com/) -* [Paypal Developer Blog](https://devblog.paypal.com/category/engineering/) +* [Paypal Developer Blog](https://medium.com/paypal-engineering) * [Pinterest Engineering Blog](https://medium.com/@Pinterest_Engineering) -* [Quora Engineering](https://engineering.quora.com/) * [Reddit Blog](http://www.redditblog.com/) * [Salesforce Engineering Blog](https://developer.salesforce.com/blogs/engineering/) * [Slack Engineering Blog](https://slack.engineering/)