Аннотация:
Совет по оценке производительности обработки транзакций (TPC.org) прикладывает немало усилий, чтобы создаваемые под его эгидой эталонные тесты для СУБД шли в ногу со временем, были объективными и нефальсифицируемыми, обеспечивали практическую сравнительную ценность результатов. Поддержка актуального профиля нагрузки информационных систем в TPC-E, универсальный аналитический бенчмарк TPC-DS, применимый как к реляционным СУБД, так и к системам на основе Spark, серия экспресс-тестов для систем из категории «больших данных» — всё это шаги навстречу современности. Но несмотря на все эти труды, востребованность тестов от TPC.org неуклонно снижается с середины 2000-х, результаты бенчмарков публикуются всё реже и реже, зато обретают популярность эталонные тесты новой волны, куда более поверхностные и страдающие болезнями, преодолёнными Советом ещё в начале 1990-х, неизбежно порождая новую волну «бенчмаркингового маркетинга». Не менее интересным в связи с этими обстоятельствами видится фокус производителей машин баз данных не на результатах синтетических тестов, а на атомарных показателях производительности, таких как число операций ввода-вывода на SQL-нагрузке и пропускная способность на SQL-нагрузке.
Данный доклад — широкий обзор существовавших и существующих эталонных тестов производительности, нацеленный на то, чтобы подобрать объяснение складывающейся ситуации, и наметить наиболее перспективные направления развития эталонного тестирования для СУБД.
Website:
https://synthesis.ipi.ac.ru/sigmod/seminar/s20170427
Список литературы
-
Nambiar, Raghunath Othayoth and Poess, Meikel, “The Making of TPC-DS”, Proceedings of the 32$\mathrm{^{nd}}$ International Conference on Very Large Data Bases (VLDB ’06), VLDB Endowment, Seoul, Korea, 2006, 1049–1058 http://dl.acm.org/citation.cfm?id=1182635.1164217
-
Llanos, Diego R., “TPCC-UVa: An Open-source TPC-C Implementation for Global Performance Measurement of Computer Systems”, SIGMOD Record, 35:4, December (2006), 6–15, ACM, NY
 -
Poess, Meikel, “Controlled SQL Query Evolution for Decision Support Benchmarks”, Proceedings of the 6$\mathrm{^{th}}$ International Workshop on Software and Performance (WOSP ’07), ACM, Buenos Aires, 2007, 38–41
-
Chen, Shimin and Ailamaki, Anastasia and Athanassoulis, Manos and Gibbons, Phillip B. and Johnson, Ryan and Pandis, Ippokratis and Stoica, Radu, “TPC-E vs. TPC-C: Characterizing the New TPC-E Benchmark via an I/O Comparison Study”, SIGMOD Record, 39:3, September (2011), 5–10, ACM
-
Nambiar, Raghunath and Poess, Meikel, “Keeping the TPC Relevant!”, Proc. VLDB Endowment, 6:11, August (2013), 1186–1187, VLDB Endowment
-
Bog, Anja and Sachs, Kai and Zeier, Alexander, “Benchmarking Database Design for Mixed OLTP and OLAP Workloads”, Proceedings of the 2$\mathrm{^{nd}}$ ACM/SPEC International Conference on Performance Engineering (ICPE ’11), ACM, Karlsruhe, 2011, 417–418
-
Tözün, Pinar and Pandis, Ippokratis and Kaynak, Cansu and Jevdjic, Djordje and Ailamaki, Anastasia, “From A to E: Analyzing TPC’s OLTP Benchmarks: The Obsolete, the Ubiquitous, the Unexplored”, Proceedings of the 16$\mathrm{^{th}}$ International Conference on Extending Database Technology (EDBT ’13), ACM, Genoa, 2013, 17–28
-
Alexandrov, Alexander and Brücke, Christoph and Markl, Volker, “Issues in Big Data Testing and Benchmarking”, Proceedings of the Sixth International Workshop on Testing Database Systems (DBTest ’13), ACM, NY, 2013, 1, 1:1–1:5
-
V. Kistowski, Jóakim and Arnold, Jeremy A. and Huppler, Karl and Lange, Klaus-Dieter and Henning, John L. and Cao, Paul, “How to Build a Benchmark”, Proceedings of the 6$\mathrm{^{th}}$ ACM/SPEC International Conference on Performance Engineering (ICPE ’15), ACM, Austin, Texas, 2015, 333–336
-
Joishi, Jeevan and Sureka, Ashish, “Vishleshan: Performance Comparison and Programming Process Mining Algorithms in Graph-Oriented and Relational Database Query Languages”, Proceedings of the 19$\mathrm{^{th}}$ International Database Engineering & Applications Symposium (IDEAS ’15), ACM, Yokohama, 2014, 192–197
-
Yassien, Amal W. and Desouky, Amr F., “RDBMS, NoSQL, Hadoop: A Performance-Based Empirical Analysis”, Proceedings of the 2$\mathrm{^{nd}}$ Africa and Middle East Conference on Software Engineering (AMECSE ’16), ACM, Cairo, 2016, 52–59
-
Oliveira, Fábio Roberto and del Val Cura, Luis, “Performance Evaluation of NoSQL Multi-Model Data Stores in Polyglot Persistence Applications”, Proceedings of the 20$\mathrm{^{th}}$ International Database Engineering & Applications Symposium (IDEAS ’16), ACM, 2016 \publinfo Montreal, QC, 230–235
|
