Пересказ статьи Sarikasharma. 7 Python Mistakes That Make Your Code Slow (And How to Fix Them)
Когда люди говорят, что Python медленный, они обычно обвиняют язык.
В действительности это часто зависит от того, как мы пишем код.
Python является выразительным, читабельным и мощным. Но небольшие ошибки в структуре и обработке данных могут незаметно влиять на производительность...особенно в серверных системах или приложениях с большим объемом данных.
Вот семь распространенных ошибок Python, которые делают ваш код медленней, чем он мог бы быть, и то, как их исправить.
Continue reading "7 ошибок Python, которые делают ваш код медленным (и как их исправить)"
Пересказ статьи Karthik. The curious case of display(df)
Вы просто хотите посмотреть ваши данные. Вы быстро набираете display(df) в ячейке notebook и жмете Выполнить. Это кажется совершенно безобидно - кроме того, это всего лишь предварительный просмотр вашего фрейма данных, не так ли?
Но через несколько мгновений ваш кластер начинает вращаться, ячейка работает намного дольше, чем ожидалось, и ваш браузер может даже заикаться.
Хотя display() является фантастическим инструментом для интерактивного исследования, но, если слишком сильно полагаться на него, он может незаметно задушить ваши задания Apache Spark. Давайте заглянем под капот, чтобы точно выяснить, что происходит, когда вы вызываете display(), почему все замедляется, и как простое переключение на show() может радикально улучшить вашу производительность.
Continue reading "Любопытный случай с display(df)"
